Co je crawl budget a kdy se jím vyplatí zabývat?

Crawl budget je množství stránek, které vyhledávací robot na webu navštíví za určitou dobu. Většina malých a středně velkých webů ho řešit nemusí, protože robot stihne projít vše. Problém se týká velkých webů s desítkami tisíc adres, často měněných, nebo webů s množstvím zbytečných variant stránek.

Z čeho se sestavuje

Skládá se ze dvou částí. První je kapacita serveru: kolik požadavků zvládne bez zpomalení. Druhá je zájem vyhledávače, tedy jak důležité a čerstvé stránky považuje.

Pomalý server robot přibrzdí, aby web nezahltil. Stránky, které se nemění a nikdo na ně neodkazuje, navštěvuje méně často než ty, které se aktualizují.

Kdy je to skutečný problém

Příznakem je dlouhá doba, než se nové stránky objeví ve výsledcích, nebo množství adres označených jako objevené, ale zatím neindexované. Najdete je ve Search Console v sestavě stavu indexování. Velké e-shopy a zpravodajské weby se s tím potkávají častěji.

U webu o sto stránkách je pomalá indexace obvykle důsledek slabého obsahu nebo chybějících odkazů, ne rozpočtu na procházení. Hledejte příčinu jinde.

Co rozpočet plýtvá

Největším zdrojem plýtvání jsou adresy, které vznikají kombinací parametrů, například řazení a filtrování. Dalšími jsou nekonečné kalendáře, interní vyhledávání, duplicitní stránky a dlouhé řetězce přesměrování. Robot tráví čas na stránkách, které nemají hodnotu.

Pomáhá také odstranit stránky s chybou 404 z interních odkazů. Každý takový odkaz je ztracený požadavek.

Jak jej využít lépe

Pomocí souboru robots.txt zablokujte oblasti, které nemají být procházeny, například interní vyhledávání. Důležité stránky propojte, aby k nim vedla krátká cesta z úvodu. Udržujte aktuální mapu webu a uvádějte v ní jen kanonické, indexovatelné adresy.

Zrychlete server, protože rychlejší odezva umožní robotu projít více stránek. Neblokujte v robots.txt stránky, které mají mít noindex, protože robot pak značku nenačte.

Časté otázky

Lze crawl budget zvýšit přímo?

Přímo ne, nastavit se nedá. Můžete ho ale ovlivnit rychlostí serveru, kvalitou obsahu a odstraněním zbytečných adres.

Pomůže nastavení frekvence ve Search Console?

Pomoci může při přetížení serveru, kdy chcete robota zpomalit. Pro zvýšení procházení však slouží jiné kroky.

Je mapa webu nutná?

Není, ale u větších webů je užitečná. Pomáhá robotu objevit stránky, na které vedou jen slabé interní odkazy.

Zdroje

• Dokumentace Google Search Central ke správě procházení u velkých webů
• Protokol Sitemaps