K čemu je robots.txt a co do něj patří?

Robots.txt je malý textový soubor v kořeni webu, který vyhledávacím robotům radí, které části mají procházet a které ne. Na první pohled jde o nenápadnou záležitost, ale jedna chybná řádka dokáže z procházení vyřadit celý web. A naopak, dobře napsaný soubor ušetří roboty zbytečné práce a usměrní je k obsahu, na kterém vám záleží. Projděte si, co soubor umí, co neumí a jak ho napsat tak, abyste si neublížili.

Co robots.txt je a čím není

Soubor leží vždy na stejné adrese: za názvem domény a lomítkem se jmenuje robots.txt. Každý web nebo subdoména má svůj vlastní, jeden soubor neplatí pro celou skupinu adres. Roboty ho čtou před procházením stránek a zpravidla se jím řídí.

Je to ale dohoda, ne zámek. Seriózní vyhledávače pravidla dodržují, zlovolné skripty je ignorují. Citlivé informace tedy nikdy nechráníte tím, že je ze souboru zakážete, protože samotný soubor si může přečíst kdokoli a snadno z něj zjistí, kde se skrývá něco zajímavého.

Syntaxe, kterou potřebujete znát

Soubor se skládá z bloků, kde každý začíná určením robota a pokračuje pravidly. Základní příkazy shrnuje tabulka.

Příkaz	Co dělá
User-agent	Určí robota, pro kterého pravidla platí. Hvězdička znamená všechny.
Disallow	Zakáže procházení adres začínajících danou cestou.
Allow	Povolí výjimku uvnitř zakázané cesty.
Sitemap	Ukáže robotům úplnou adresu mapy webu.

Cesty se zapisují od lomítka za doménou a rozlišují velikost písmen. Prázdný příkaz Disallow nezakazuje nic, kdežto samotné lomítko zakazuje všechno.

Co do robots.txt patří

Hodí se pro oblasti, které nemají pro hledání hodnotu a stojí procházení. Typicky jde o výsledky interního vyhledávání, košík a pokladnu, administraci, nekonečné kombinace filtrů a řazení nebo parametry, které vytvářejí tisíce téměř shodných adres.

Smysl to dává u velkých webů, kde roboty plýtvají časem na bezcenné adresy. Malý web s desítkami stránek obvykle nic blokovat nepotřebuje a soubor může obsahovat jen odkaz na mapu webu.

Co do něj nepatří

Nezakazujte soubory se styly a skripty. Robot potřebuje vykreslit stránku podobně jako návštěvník, a pokud mu zablokujete potřebné zdroje, vidí web zkreslený. To se může projevit horším hodnocením použitelnosti na mobilu.

Největší omyl je blokovat stránky, které chcete z výsledků odstranit. Zákaz procházení neznamená zákaz indexace: adresa s odkazy zvenku se může objevit i bez popisu. Navíc robot, který stránku nesmí otevřít, nepřečte ani značku noindex. Pro vyřazení z hledání nechte stránku procházet a opatřete ji značkou noindex.

Jak soubor otestovat a nasadit

Před nasazením projděte několik důležitých adres a ověřte, že nejsou zakázané. Nástroj Search Console ukazuje, jak vyhledávač soubor načetl, a upozorní na chyby. Změny se projeví po znovunačtení souboru robotem, což trvá hodiny až dny.

Kontroly provádějte i po vydání nové verze webu. Při vývoji se na testovacích verzích často používá úplný zákaz procházení a při spuštění se zapomene vrátit zpět.

Chyby, které se opakují

• Zapomenutý příkaz Disallow s lomítkem po spuštění z testovacího prostředí.
• Překlep v cestě nebo nesprávná velikost písmen, takže pravidlo nic nezachytí.
• Jeden soubor pro hlavní doménu, ale žádný pro subdomény, kde je pak nechtěný obsah.
• Pravidla pro jednoho robota, která zcela přebijí obecný blok, protože roboty čtou jen nejpřesnější odpovídající skupinu.

Můj tip: Doporučil bych před každou úpravou uložit starou verzi souboru a po nasazení hned otestovat pět nejdůležitějších adres. Zabere to pár minut a ušetří týdny hledání příčiny, proč zmizely výsledky.

Časté otázky

Musí mít každý web robots.txt?

Nemusí. Bez souboru roboty procházejí všechno, co najdou. Hodí se ale alespoň jednoduchý soubor s odkazem na mapu webu, protože usnadňuje objevování nových stránek.

Skryje robots.txt stránku z výsledků hledání?

Ne spolehlivě. Zákaz procházení brání čtení obsahu, ne zobrazení adresy, pokud na ni vedou odkazy. K vyřazení použijte značku noindex na stránce, kterou robot smí otevřít.

Kde má soubor ležet?

V kořenovém adresáři domény, tedy na adrese za doménou a lomítkem. Ve složce nebo podstránce ho roboty nehledají. Každá subdoména potřebuje vlastní soubor.

Zdroje

• Dokumentace vyhledávače Google pro vývojáře (Search Central)
• Standard Robots Exclusion Protocol (RFC 9309)