A leggyakoribb technikai hibák amelyek tönkreteszik a keresőoptimalizálást
Robots.txt és noindex „balesetek” – ellenőrzőlista, hogy ne tűnj el a keresőből
Amikor egyik napról a másikra eltűnik a forgalom
A SEO optimalizálás világában kevés ijesztőbb pillanat van annál, mint amikor egy stabilan növekvő weboldal organikus forgalma hirtelen visszaesik. Nincs algoritmusfrissítés, nincs manuális büntetés, mégis mintha lekapcsolták volna a villanyt. Az esetek meglepően nagy részében nem külső támadásról vagy keresőmotor-szankcióról van szó, hanem saját kézzel elkövetett technikai hibáról: egy rosszul konfigurált robots.txt fájlról vagy egy véletlenül kint hagyott noindex címkéről.
Ezek a „balesetek” gyakran teljesen ártatlan helyzetből indulnak. Fejlesztési környezetben mindenki letiltja a keresőrobotokat. Teszteléskor természetes, hogy noindex kerül az oldalra. A probléma ott kezdődik, amikor az élesítés után ezek a beállítások bent maradnak. A keresőrobot nem mérlegel, nem kérdez vissza – egyszerűen nem indexel.
A robots.txt ereje – és veszélye
A robots.txt fájl alapvetően egy kommunikációs csatorna a keresőrobotok felé. Megmondjuk benne, mely könyvtárakat térképezhetik fel, és melyeket nem. Egy jól felépített robots.txt támogatja az indexelést, segíti a crawl budget optimalizálását, és tiszta struktúrát mutat a keresőknek.
Egyetlen sor azonban elegendő ahhoz, hogy az egész weboldal eltűnjön:
Disallow: /
Ez a karakterkombináció gyakorlatilag azt jelenti: „Ne térképezz fel semmit.” Ha ez éles környezetben marad, a Google robotjai tiszteletben tartják a kérést. Nem büntetnek – egyszerűen nem jönnek be.
Az 05.hu projektjei során többször találkoztunk olyan esettel, ahol egy staging környezetből átemelt konfiguráció okozta a teljes indexelési leállást. A SEO optimalizálás itt nem kulcsszavakról vagy tartalomstratégiáról szól, hanem alapvető technikai fegyelemről.
A noindex címke csendes pusztítása
Míg a robots.txt a feltérképezést korlátozza, a noindex meta tag az indexelést tiltja. A kettő között fontos különbség van. Ha egy oldal noindex címkét tartalmaz, a robot bejöhet, elolvashatja, de nem teheti be az indexbe.
A probléma az, hogy a noindex gyakran sablonszinten kerül be. Egy fejlesztő elhelyezi a head részben, majd elfelejti eltávolítani. Előfordul, hogy csak bizonyos sablonokra kerül rá – például kategóriaoldalakra vagy blogbejegyzésekre –, így a hiba nem azonnal látványos, hanem fokozatos forgalomcsökkenésben jelentkezik.
A SEO optimalizálás technikai része pontosan itt válik kritikus tényezővé. Nem elég jó tartalmat írni, ha a keresőmotor számára láthatatlan marad.
Az indexelési lánc törékenysége
A keresőoptimalizálás sokszor stratégiai játéknak tűnik: kulcsszókutatás, belső linkelés, tartalomépítés. De a rendszer alapja mindig az indexelhetőség. Ha ez megszakad, minden más értelmét veszti.
Egy tipikus „baleseti lánc” így néz ki:
új sablon bevezetése
globális noindex beállítás teszteléshez
élesítés előtti checklist hiánya
forgalomcsökkenés
pánik
A legtöbb esetben nincs szükség bonyolult auditokra. A megoldás egyszerűbb, mint gondolnánk: Search Console ellenőrzés, robots.txt átvizsgálás, oldalszintű meta tag validálás.
Az 05.hu szakmai gyakorlata szerint minden komolyabb weboldal-frissítés előtt kötelező egy technikai SEO ellenőrzés. Nem hosszú, nem bonyolult, de életmentő.
Mikor tilt a robots.txt, és mikor nem?
Fontos félreértés, hogy a robots.txt nem távolít el indexelt oldalakat. Ha egy oldal már indexben van, és utólag kerül rá tiltás, a kereső bizonyos ideig még megtarthatja. Ezzel szemben a noindex kifejezetten arra szolgál, hogy az oldal kikerüljön az indexből.
A két eszköz kombinálása viszont különösen veszélyes. Ha egy oldal robots.txt által tiltott, a keresőrobot nem tudja beolvasni a noindex címkét sem. Így paradox módon az oldal akár bent is maradhat az indexben, de frissülni nem fog. Ez tipikus technikai csapda, amely csak részletes elemzés során derül ki.
A SEO optimalizálás nem csak arról szól, hogy mit engedünk be, hanem arról is, hogy mit zárunk ki – tudatosan.
Hogyan előzd meg az eltűnést?
A technikai fegyelem kulcsa a rendszeresség. Minden élesítés előtt ellenőrizni kell:
robots.txt tartalma
globális meta noindex jelenléte
X-Robots-Tag HTTP header
kanonikus URL-ek helyessége
staging domainek elérhetősége
Bár ez felsorolásnak tűnik, valójában gondolkodásmód. A SEO optimalizálás hosszú távú bizalomépítés a keresőmotor felé. Ha egyszer azt kommunikáljuk, hogy „ne indexelj”, a kereső komolyan veszi.
Az 05.hu projektstruktúráiban ezért külön staging protokoll működik. A fejlesztési környezet mindig jelszóval védett, nem csupán robots.txt tiltással. Így minimális az esélye annak, hogy egy rossz konfiguráció átcsússzon élesbe.
A monitoring szerepe
Sokan csak akkor néznek rá a Search Console-ra, amikor baj van. Pedig a rendszer figyelmeztetéseket küld indexelési problémák esetén. A hirtelen „Indexed, though blocked by robots.txt” vagy „Excluded by noindex tag” típusú státuszok korai jelzések.
A modern SEO optimalizálás része a monitoring. Nem kampányszerű tevékenység, hanem folyamatos állapotfigyelés. Egy weboldal nem statikus entitás, hanem élő rendszer, amelyben minden frissítés kockázatot hordoz.
A láthatóság nem magától értetődő
Az online jelenlét alapja a láthatóság. Mégis, meglepően sok vállalkozás esik áldozatul egyszerű technikai hibáknak. Nem rosszindulat, nem szakmai inkompetencia, hanem figyelmetlenség az oka.
A robots.txt és a noindex eszközök hasznosak. Szükség van rájuk. De csak akkor, ha tudatosan és kontrollált környezetben használjuk őket. A SEO optimalizálás egyik legfontosabb, mégis alulértékelt területe a technikai stabilitás.
Egy jól működő rendszerben a tartalom, a linkstratégia és a technikai háttér összhangban van. Ha bármelyik kiesik, az egész struktúra sérül.
A tanulság egyszerű, de súlyos: mielőtt új stratégiát építesz, győződj meg arról, hogy a kereső egyáltalán lát. Mert ha nem lát, nem indexel. Ha nem indexel, nem rangsorol. És ha nem rangsorol, akkor gyakorlatilag nem is létezel a digitális térben.