SEO log elemzés alapjai a hatékony indexelésért

SEO log elemzés alapjai: botok és indexelési minták

A keresőoptimalizálás (SEO) technikai oldalának egyik legfontosabb, mégis sokszor figyelmen kívül hagyott eleme a szerverlogok elemzése. Míg a legtöbb SEO-s eszköz a weboldal tartalmát és struktúráját vizsgálja, addig a logfájlok közvetlen betekintést nyújtanak abba, hogyan viselkednek a keresőmotorok robotjai az oldalunkon. Ez különösen hasznos lehet a technikai SEO finomhangolásában, különösen nagyobb weboldalaknál, webáruházaknál, vagy komplex, több ezer oldalas portáloknál, mint amilyenekkel az 05.hu is gyakran foglalkozik.

Mi az a logfájl és miért fontos a SEO szempontjából?

A szerverlogfájlok (access logok) olyan nyers adatokat tartalmaznak, amelyek minden egyes oldalmegtekintésről, botlátogatásról vagy erőforrás-kérésről tájékoztatnak. Minden látogatás egy sorban jelenik meg, amely tartalmazza többek között az IP-címet, a felhasználói ügynököt (user-agent), a kért URL-t, a válaszkódot (pl. 200, 301, 404), valamint az időbélyeget.

Amikor például a Googlebot feltérképezi az oldalunkat, az minden egyes oldalra, kép- vagy CSS fájlra tett kérésével nyomot hagy a logban. Ezek az adatok aranyat érnek, ha pontos képet akarunk kapni arról, mit és hogyan lát a keresőmotor a weboldalunkból.

Botok azonosítása és megértése

Az egyik első lépés a log elemzés során, hogy kiszűrjük a valódi keresőmotor botokat. Ehhez a user-agent mező adhat elsődleges támpontot, de önmagában nem megbízható, mivel bárki megadhatja magát Googlebotnak. Éppen ezért érdemes az IP-cím alapján is visszaellenőrizni a keresőmotor saját dokumentációja alapján (pl. Googlebot IP hitelesítés).

Miután megbizonyosodtunk róla, hogy valóban keresőmotorral van dolgunk, figyelni kell arra, milyen URL-eket látogat meg, milyen gyakran tér vissza, és vajon az új tartalmainkat indexeli-e. A túl gyakori látogatás például erőforrás-problémákhoz vezethet, míg a ritka feltérképezés arra utalhat, hogy az oldal nem elég fontos a keresőmotor számára – ez utóbbi különösen problematikus lehet egy növekvő oldalméretű portálnál.

Indexelési minták felismerése

A logfájlokban nemcsak az derül ki, hogy a Googlebot (vagy más bot) meglátogatta az oldalt, hanem az is, hogy milyen minták szerint teszi ezt. Például:

Feltérképezi-e a paginációkat (pl. /blog?page=2)?

Követi-e a rel=canonical jelzéseket?

Visszatér-e rendszeresen bizonyos aloldalakra?

Melyik struktúrájú URL-eket keresi gyakrabban?

Indexelni próbál-e nem létező vagy tiltott (pl. robots.txt által korlátozott) oldalakat?

Ezekre a kérdésekre csak logelemzéssel kaphatunk valóban pontos választ, mivel a Search Console például csak az indexelt oldalakra ad visszajelzést, nem arra, amit a bot megnézett, de elvetett.

SEO optimalizálási döntések a logok alapján

Az 05.hu csapata gyakran használ logfájlokat technikai auditok során, mivel ezek lehetővé teszik a következő döntések meghozatalát:

Crawl budget optimalizálás: Ha a bot túl sok időt tölt kevésbé fontos oldalakon (pl. szűrők, archívumok), akkor érdemes lehet robots.txt-vel vagy meta noindex-szel korlátozni a hozzáférést.

Átirányítások kezelése: A 301-es vagy 302-es válaszkódokat is érdemes figyelni, különösen, ha a bot újra és újra átirányításon keresztül jut el bizonyos aloldalakra – ez pazarlás.

404-es hibák kezelése: A logfájlban látható 404-es kérések segítenek feltárni törölt vagy elgépeléssel létrejött URL-eket, amelyek javítása javíthatja a felhasználói élményt és a keresőrobotok navigációját is.

Friss tartalom figyelése: Az új tartalmak logban való megjelenése arra utal, hogy a bot észlelte az új oldalt – ha ez nem történik meg, az belső linkelési problémát vagy sitemap hiányosságot jelezhet.

Hogyan kezdj hozzá?

A legtöbb modern tárhely szolgáltató (vagy saját VPS esetén a rendszeradminisztrátor) képes a nyers logfájlokat elérhetővé tenni, de ha nem férünk hozzájuk, alternatív megoldás lehet egy reverse proxy (pl. Cloudflare, NGINX logok) bekötése is. Az 1b.hu tárhelyei például lehetővé teszik az access.log fájlok napi szintű elérését, így a SEO szakemberek és fejlesztők naprakészen figyelhetik az indexelési mintákat.

Elemzéshez használhatunk Python szkripteket, Excel-táblákat vagy dedikált eszközöket is, például Screaming Frog Log File Analyzer, Botify, vagy ELK stack (Elasticsearch, Logstash, Kibana).

Összefoglalás

A szerverlogok elemzése nem csupán egy technikai játék, hanem elengedhetetlen része a tudatos SEO optimalizálásnak. Segít megérteni, hogyan látja a keresőmotor az oldalunkat, milyen tartalmakat tart fontosnak, és hol vesznek el lehetőségek. Az 05.hu gyakorlati tapasztalatai azt mutatják, hogy a logok alapján végzett finomhangolás hosszú távon jelentős organikus forgalomnövekedést eredményezhet.

Aki komolyan veszi a SEO-t, annak nem szabad kihagynia ezt az eszköztárból. A logfájl nem hazudik – csak értelmezni kell tudni.