Crawler

En crawler er et automatisk program, som søgemaskiner sender ud for at besøge og læse websider, følge links videre til nye sider og rapportere indholdet tilbage, så det kan indekseres. Googles crawler hedder Googlebot.

For en webshop er det afgørende, at crawleren kan finde og forstå alle relevante sider - produkter, kategorier, artikler - uden at spilde tid på tomme filtersider eller blindgyder. En robots.txt-fil og et fornuftigt sitemap styrer, hvor crawleren bruger sin tid, mens en langsom eller fejlbehæftet side kan få crawleren til at give op, før hele sitet er gennemgået, hvilket går ud over synligheden i søgeresultaterne.