Semalt: Kif Uża Il-Python Biex Jinbarax Websajt?

Id-dejta għandha rwol kritiku fl-investigazzjonijiet, hux? Jista 'jwassal għal mod ġdid kif tħares lejn l-affarijiet u tiżviluppa għarfien ieħor. L-iktar ħaġa sfortunata hija li d-dejta li qed tfittex normalment mhix disponibbli faċilment. Tista 'ssibha fuq l-Internet, iżda jista' ma jkunx f'format li jista 'jitniżżel. F'każ bħal dan, tista 'tuża t-teknika tal-brix tal-web biex tipprogramma u tiġbor id-dejta li għandek bżonn.

Hemm diversi approċċi tal-brix u lingwi ta 'programmazzjoni li jistgħu jkunu ta' għajnuna permezz ta 'dan il-proċess. Dan l-artikolu jiggwidak dwar kif tuża l-lingwa python biex skrappja sit. Inti se tikseb ħafna għarfien dwar l-operazzjoni tal-paġni tal-web. Int ikollok ukoll tifhem kif l-iżviluppaturi jistrutturaw id-dejta fuq kwalunkwe websajt.

L-aħjar punt tat-tluq huwa li tniżżel u tinstalla l-Anaconda Python Distribution fuq il-magna tal-kompjuters tiegħek. Tista 'wkoll tieħu xi tutorials dwar il-bażi ta' dan il-lingwa ta 'programmar. L-aħjar post biex titlaq jista 'jkun Codecademy speċjalment jekk ma jkollokx idea f'dan il-qasam.

Din il-gwida tagħmel użu mis-sit attwali tal-elenkar tal-Pajjiż Polk għall-ħabsin. Aħna niggwidawk dwar kif tuża skritt Python biex tiġbed lista ta 'rikoverati u tikseb xi dejta bħall-belt ta' residenza u razza għal kull priġunier. L-iskrittura kollha li se nkunu qed nieħdu miegħek permezz hija maħżuna u miftuħa f'GitHub. Din hija waħda mill-pjattaformi popolari online li jippermettu l-qsim ta 'kodiċi tal-kompjuter. Il-kodiċi għandhom lista twila ta 'kummentarji li jistgħu jkunu ta' għajnuna kbira għalik.

Meta tqaxxar kwalunkwe sit, l-ewwel għodda li tfittex hija web browser. Ħafna mill-browsers jagħtu lill-utenti għodod ta 'spezzjoni HTML li jgħinu fl-irfigħ ta' bokkaporti tal-magna u biex jifhmu l-istruttura tal-paġna. Il-mod kif taċċessa kull għodda jvarja minn browser għall-ieħor. Madankollu, il-pedament huwa s-sors tal-paġna 'tara', u tista 'tiksbu billi tikklikkja fuq il-paġna direttament.

Hekk kif tara s-sors HTML tal-paġna, huwa rrakkomandat li telenka sewwa d-dettalji tal-links għall-ħabsin fir-ringieli tat-tabella. Il-pass li jmiss huwa li tikteb skript li se nużaw biex estratt din l-informazzjoni. Iż-żewġ pakketti Python li se nkunu qed nużaw fil-proċess ta 'rfigħ tqil huma l-Beautiful Soup u t-Talbiet. Kun żgur li tinstallahom qabel tibda tmexxi l-kodiċi.

L-iskritt tal-brix tal-web se jagħmel tliet affarijiet. Dawn jinkludu t-tagħbija tal-paġni tal-elenkar u l-estrazzjoni ta 'links għall-paġni tad-dettalji, it-tagħbija ta' kull paġna ta 'dettall u l-estrazzjoni tad-dejta, u l-istampar tad-dejta estratt skont kif tkun iffiltrata bħall-belt ta' residenza u razza. Ladarba tifhem dan, il-pass li jmiss huwa li tibda l-proċess ta 'kodifikazzjoni billi tuża s-Soppa u t-Talbiet Sabiħa.

L-ewwelnett, loġikament tgħabbi l-paġna tal-elenkar tal-ħabsin billi tuża l-URL requests.get u mbagħad tuża s-soppa sabiħa biex issegwiha. Wara dan, aħna estratt il-link għall-paġni tad-dettalji billi nissolvi permezz ta 'kull ringiela. Wara li jiġu analizzati d-dettalji tal-ħabsin, il-pass li jmiss huwa li jiġu estratti s-sess, l-età, ir-razza, il-ħin tal-prenotazzjoni u l-valuri tal-isem fid-dizzjunarju. Kull rikoverat ikollu d-dizzjunarju tiegħu, u d-dizzjunarji kollha se jiġu mehmuża mal-lista tal-ħabsin. Fl-aħħarnett, aqbad il-valuri tat-tellieqa u tal-belt qabel ma fl-aħħar tipprintja l-lista tiegħek.

mass gmail