Robots.txt a odkazy: co blokace opravdu dělá

Soubor robots.txt říká robotům, kam nemají chodit, ale neříká, co smí vyhledávač zobrazit ve výsledcích. Zablokovaná stránka se může v indexu objevit, pokud na ni vedou odkazy. Hodnota odkazů na blokovanou stránku navíc neproudí dál, protože robot neuvidí, kam stránka odkazuje. Níže jsou nejčastější omyly a co platí doopravdy.

Omyl: blokace znamená neindexování

Robots.txt řídí procházení, ne indexaci. Vyhledávač se k zablokované stránce nedostane, ale adresu zná z odkazů. Může ji zobrazit ve výsledcích bez popisu.

Chcete-li stránku vyřadit z výsledků, použijte značku noindex nebo ochranu heslem. Podmínkou je, aby robot stránku směl načíst a značku viděl. Zablokování robots.txt noindex znemožní.

Klasická chyba je kombinace obojího. Stránka zůstane v indexu, protože robot noindex nenačte. Nejprve povolte procházení a nechte stránku vyřadit.

Omyl: odkazy z blokované stránky se předávají

Robot nenačte obsah blokované stránky, takže nevidí její odkazy. Hodnota se tudy dál nepředává. Pokud jsou na ní důležité odkazy, ztrácí se.

Také odkazy směřující na zablokovanou stránku mohou hodnotu nabrat, ale dál ji nepředají. Stránka funguje jako slepá ulička. Pro interní prolinkování je to nevýhodné.

Zablokujte jen to, co opravdu nemá být procházeno, třeba administraci nebo filtrační kombinace. Obsah, který má přinášet návštěvy, blokovat nechcete.

Omyl: blokace skriptů a stylů nevadí

Zablokování souborů potřebných k zobrazení stránky může vést k chybnému vykreslení. Vyhledávač pak stránku vidí jinak než uživatel. Může špatně vyhodnotit její použitelnost.

Soubory se styly, skripty a obrázky nechávejte dostupné. Pravidla pro ně vyjímejte z blokací. Prověřte je v nástroji pro kontrolu adresy.

Starší návody doporučovaly blokovat složky se skripty. Dnes už to neplatí. Vždy čtěte aktuální dokumentaci.

Co robots.txt opravdu dělá

Cíl	Vhodný nástroj
Šetřit procházení nepodstatných adres	robots.txt
Vyřadit stránku z výsledků	značka noindex nebo ochrana heslem
Určit hlavní verzi duplicit	kanonická adresa
Skrýt důvěrná data	přihlášení a oprávnění

Soubor je veřejný, každý si ho může přečíst. Nikdy v něm neuvádějte citlivé adresy, protože jejich seznam odhalíte.

Typické chyby v praxi

Jednou z nejhorších je omylem zablokovat celý web. Řádek zakazující vše zůstane po testovacím nasazení. Web pak zmizí z výsledků.

Další je překlep v cestě. Pravidlo blokuje víc, než autor zamýšlel. Vždy ho vyzkoušejte.

Také se stává, že po redesignu zůstane staré pravidlo. Blokuje novou sekci. Po větších změnách soubor zkontrolujte.

Jak to ověřit

Otevřete soubor v prohlížeči na adrese kořene webu a přečtěte si ho. Rozumíte každému řádku? Pokud ne, ověřte jeho význam.

Ve Search Console zkontrolujte, zda důležité stránky nejsou blokované. Nástroj pro kontrolu adresy to uvede. Zjistíte tak problém dřív než návštěvnost klesne.

Po každé změně souboru jej uložte i s datem. Při problému se můžete vrátit ke starší verzi.

Časté otázky

Musí mít každý web robots.txt?

Není to povinné. Bez něj mohou roboti procházet vše. Soubor se hodí, když chcete omezit procházení vybraných částí.

Zruší blokace nofollow odkazy?

Ne, jde o jiné mechanismy. Atributy odkazů řeší jednotlivé odkazy, robots.txt procházení cest. Nezaměňujte je.

Jak vyřadit starou stránku z výsledků?

Použijte noindex, odstranění nebo přesměrování a počkejte na novou návštěvu robota. V nouzi lze využít nástroj pro odstranění adresy. Postup se řídí dokumentací vyhledávače.

Zdroje

• Dokumentace Google Search Central
• Standard Robots Exclusion Protocol