Semalt Expert: Python és BeautifulSoup. Kaparja könnyedén a webhelyeket
Adatelemzés vagy gépi tanulási projektek végrehajtása során előfordulhat, hogy le kell kaparnia a webhelyeket a szükséges adatok megszerzéséhez és a projekt befejezéséhez. A Python programozási nyelvnek erőteljes eszköz- és modulgyűjteménye van, amely erre a célra használható. Például használhatja a BeautifulSoup modult a HTML elemzéshez.
Itt áttekintjük a BeautifulSoup-ot, és megtudjuk, miért használják azt most olyan széles körben az internetes kaparásban .
A BeautifulSoup funkciói
- Különféle módszereket biztosít az egyszerű navigációhoz, az elemzett fák kereséséhez és módosításához, lehetővé téve ezzel a dokumentum könnyű boncolását és mindent, amire szüksége van, anélkül, hogy túl sok kódot kellene írni.
- Automatikusan átalakítja a kimenő dokumentumokat UTF-8-ra, a bejövő dokumentumokat pedig a Unicode-ba. Ez azt jelenti, hogy nem kell aggódnia a kódolások miatt, ha a dokumentum megadott egy kódolást, vagy a Beautiful Soup képes automatikusan észlelni.
- A BeautifulSoup jobbnak tartja a többi népszerű Python elemzőt, mint például a html5lib és az lxml. Ez lehetővé teszi a különböző elemzési stratégiák kipróbálását. Ennek a modulnak az egyik hátránya azonban, hogy nagyobb rugalmasságot biztosít a sebesség rovására.
Mire van szüksége a weboldal lekaparásához a BeautifulSoup segítségével?
A BeautifulSoup-szal való munka elindításához a Python programozási környezetet (helyi vagy szerver alapú) be kell állítania a gépen. A Python általában előre telepítve van az OS X rendszerben, de ha Windows rendszert használ, akkor a nyelvet le kell töltenie és telepítenie kell a hivatalos webhelyről.
Telepítenie kell a BeautifulSoup és a Requests modulokat.
Végül, a HTML-címkézéssel és a struktúrával való ismerős és kényelmes munka mindenképpen hasznos, mivel webes adatokkal fog dolgozni.
Kérések és BeautifulSoup könyvtárak importálása
A Python programozási környezet megfelelő beállításával most már létrehozhat egy új fájlt (például nano segítségével) bármilyen tetszőleges névvel.
A Kérések könyvtár lehetővé teszi az ember számára olvasható HTTP forma használatát a Python programjain belül, miközben a BeautifulSoup gyorsabban végzi el a kaparást. Az import utasítás segítségével mindkét könyvtárat beszerezheti.
Hogyan gyűjthetünk és elemezhetünk egy weboldalt
A kérelmek.get () metódust használva gyűjtheti annak a weboldalnak az URL-jét, amelyről adatokat kíván kivonni. Ezután hozzon létre egy BeautifulSoup objektumot vagy elemző fát. Ez az objektum argumentumként veszi a Requests dokumentumot, majd elemzi azt. Az összegyűjtött, elemzett és BeautifulSoup objektumként beállított oldallal folytathatja a szükséges adatok gyűjtését.
A kívánt szöveg kibontása az elemzett weboldalról
Ha webes adatokat szeretne gyűjteni, akkor tudnia kell, hogy ezeket az adatokat hogyan írja le a weboldal Document Object Model (DOM). A böngészőben kattintson a jobb gombbal (ha Windows rendszert használ) vagy a CTRL + kattintással (MacOS használata esetén) az egyik elemre, amely a kérdéses adatok részét képezi. Például, ha adatokat szeretne kihozni a hallgatók nemzetiségéről, kattintson a hallgatók egyikére. Megjelenik egy helyi menü, amelyen belül megjelenik egy olyan elem, amely hasonló az Ellenőrizni az elemet (Firefox esetén) vagy az Vizsgálni (Chrome esetén). Kattintson a megfelelő Vizsgálja menüpontra, és a webfejlesztő eszközök megjelennek a böngészőben.
A BeautifulSoup egy egyszerű, mégis hatékony HTML-elemző eszköz, amely nagy rugalmasságot biztosít a webhelyek kaparásakor . Használata közben ne felejtse el betartani az általános kaparási szabályokat, például ellenőrizze a weboldal Általános Szerződési Feltételeit; rendszeresen felülvizsgálja a webhelyet, és frissíti a kódot a webhelyen elvégzett változásoknak megfelelően. A Python és a BeautifulSoup használatával megismerve ezeket a webhelyeket, mostantól könnyen beszerezheti a projekthez szükséges webes adatokat.