Crawl-budget

Crawl-budget er den mængde ressourcer, en søgemaskine som Google bruger på at gennemgå og hente sider fra et bestemt website inden for en given periode. Budgettet er ikke uendeligt, og store sites med mange URL'er kan opleve, at ikke alle sider bliver crawlet lige ofte, hvilket kan forsinke, hvor hurtigt nye eller ændrede produkter dukker op i søgeresultatet.

For en webshop bliver crawl-budget typisk spildt på filterkombinationer, søgesider og parametre, der genererer tusindvis af næsten-identiske URL'er. En praktisk regel er at blokere eller no-indexere disse sider, så søgemaskinen bruger sit budget på de produkt- og kategorisider, der faktisk skal ranke, i stedet for på støj i URL-strukturen.