Crawl budget tarkoittaa niiden sivujen määrää, jotka hakukoneen robotti käy läpi tietyllä sivustolla tietyn ajanjakson aikana. Se kuvaa hakurobotille varattua resurssimäärää sivuston crawlaamiseen.
Miten crawl budget määräytyy?
Crawl budget koostuu kahdesta osasta: crawl rate limitistä ja crawl demandista. Crawl rate limit määrää, kuinka nopeasti hakurobotti voi crawlata sivustoa kuormittamatta palvelinta liikaa. Se perustuu palvelimen vasteaikoihin ja kapasiteettiin. Crawl demand puolestaan kuvaa Googlen kiinnostusta sivuston sisältöön — kuinka paljon Google haluaa crawlata sivustoa.
Google priorisoi crawl budgetin sivustoille, joiden sisältö on suosittu, usein päivittyvä ja laadukas. Suuret, aktiiviset sivustot saavat enemmän crawl budgettia kuin pienet, harvoin päivittyvät sivustot. Uudet ja suositut sivut crawlataan useammin kuin vanhat ja vähän vieraillut sivut.
Milloin crawl budget on ongelma?
Crawl budget on merkityksellinen lähinnä suurilla sivustoilla, joilla on tuhansia tai miljoonia sivuja. Tällöin hakurobotti ei välttämättä ehdi crawlata kaikkia sivuja riittävän usein, mikä voi viivästyttää uuden sisällön indeksoitumista tai estää vanhemman sisällön päivittymistä hakutuloksissa.
Pienten ja keskikokoisten sivustojen — joilla on satoja tai muutamia tuhansia sivuja — crawl budget ei yleensä ole rajoittava tekijä. Google pystyy crawlaamaan nämä sivustot kokonaan ilman ongelmia. Ongelma syntyy tyypillisesti vasta, kun sivustolla on huomattavan paljon sivuja suhteessa niiden laatuun ja suosioon.
Crawl budgetin optimointi
Vaikka crawl budget ei ole ongelma useimmille sivustoille, sen optimointi voi hyödyttää suurempia sivustoja. Keskeisiä toimenpiteitä ovat turhien sivujen poistaminen tai estäminen robots.txt-tiedostossa, redirectien ja 404-virheiden korjaaminen, sivuston nopeuden parantaminen ja URL-parametrien hallinta.
Myös duplikaattisisällön välttäminen ja canonical-tagien oikea käyttö auttavat crawl budgetin tehokkaassa käytössä. Kun hakurobotti ei tuhlaa resurssejaan turhien sivujen crawlaamiseen, se voi keskittyä sivuston tärkeimpiin sivuihin.
Merkitys yritykselle
Pienyrityksen verkkosivustolla crawl budget ei tyypillisesti ole ongelma, koska sivusto on pieni ja Googlebotilla on riittävästi resursseja sen läpikäyntiin. Tärkeämpää on huolehtia sivuston teknisestä kunnosta yleisesti: nopeista latausajoista, selkeästä rakenteesta ja toimivista linkeistä. Jos sivusto kasvaa merkittävästi — esimerkiksi verkkokaupan tuotesivujen myötä — crawl budgetin optimointi voi tulla ajankohtaiseksi.