Hva er crawling?
Crawling er når en søkemotor besøker nettsider og laster ned innholdet. Googlebot følger lenker fra side til side og bygger et kart over internett.
Crawl-budsjett
Hvert nettsted får et begrenset crawl-budsjett basert på størrelse, popularitet og serverhastighet. Store nettsteder med treg server kan oppleve at ikke alle sider crawles.
Optimaliser crawling
- Rask server (under 200ms responstid)
- Ren intern lenkestruktur
- XML-sitemap med alle viktige URLer
- Unngå crawl-feller (uendelige filtrering/sortering)
- Blokker uviktige sider i robots.txt