Optimera din webbplats så att Google hittar ditt innehåll snabbare och indexerar det, vilket kan hjälpa din webbplats att få bättre synlighet och trafik.
Internet är ett ständigt föränderligt virtuellt universum med över 1,1 miljarder webbplatser.
Tror du att Google kan genomsöka varje webbplats i världen?
Även med alla resurser, pengar och datacenter som Google har, kan de inte ens genomsöka hela webben – inte heller vill de.
Vad är genomsökningsbudget och är det viktigt?
Genomsökningsbudget avser den mängd tid och resurser som Googlebot spenderar på att genomsöka webbsidor i en domän.
Det är viktigt att optimera din webbplats så att Google hittar ditt innehåll snabbare och indexerar det, vilket kan hjälpa din webbplats att få bättre synlighet och trafik.
Om du har en stor webbplats som har miljontals webbsidor är det särskilt viktigt att hantera din genomsökningsbudget för att hjälpa Google att genomsöka dina viktigaste sidor och få en bättre förståelse för ditt innehåll.
Google uppger att:
Om din webbplats inte har ett stort antal sidor som ändras snabbt, eller om dina sidor verkar vara genomsökta samma dag som de publiceras, är det tillräckligt att hålla din webbplatskarta/sitemap uppdaterad och kontrollera din indextäckning regelbundet. Google anger också att varje sida måste granskas, konsolideras och bedömas för att avgöra var den kommer att indexeras efter att den har genomsökts.
Genomsökningsbudget bestäms av två huvudelement: kapacitetsgräns för genomsökning och efterfrågan på genomsökning.
Efterfrågan på genomsökning är hur mycket Google vill genomsöka din webbplats. Mer populära sidor, dvs. ett populärt inslag från CNN och sidor som upplever betydande förändringar, kommer att genomsökas mer.
Googlebot vill genomsöka din webbplats utan att överväldiga dina servrar. För att förhindra detta beräknar Googlebot en kapacitetsgräns för genomsökning, vilket är det maximala antalet samtidiga parallella anslutningar som Googlebot kan använda för att genomsöka en webbplats, samt tidsfördröjningen mellan hämtningar.
Här är de 12 bästa tipsen för att hantera genomsökningsbudget för stora till medelstora webbplatser med 10 000 till miljontals webbadresser.
1. Bestäm vilka sidor som är viktiga och vad som inte bör genomsökas
Bestäm vilka sidor som är viktiga och vilka sidor som inte är så viktiga att de genomsöks (och därmed besöker Google mindre ofta).
När du har bestämt dig för det genom analys kan du se vilka sidor på din webbplats som är värda att genomsöka och vilka sidor på din webbplats som inte är värda att genomsöka och utesluta dem från att genomsökas.
Till exempel har Macys.com över 2 miljoner sidor som är indexerade.
Det hanterar sin genomsökningsbudget genom att informera Google om att inte genomsöka vissa sidor på webbplatsen eftersom det begränsade Googlebot från att genomsöka vissa webbadresser i robots.txt-filen.
Googlebot kan bestämma att det inte är värt sin tid att titta på resten av din webbplats eller öka din genomsökningsbudget. Se till att facetterad navigering och sessions identifiers: blockeras via robots.txt
2. Hantera duplicerat innehåll
Medan Google inte utfärdar ett straff för att ha duplicerat innehåll, vill du förse Googlebot med originell och unik information som uppfyller slutanvändarens informationsbehov och är relevant och användbar. Se till att du använder robots.txt-filen.
Google uppgav att inte använda no index, eftersom det fortfarande kommer att skicka begäran men sedan släppa.
3. Blockera genomsökning av oviktiga webbadresser med Robots.txt och berätta för Google vilka sidor det kan genomsöka
För en webbplats på storföretagsnivå med miljontals sidor rekommenderar Google att du blockerar genomsökningen av oviktiga webbadresser med hjälp av robots.txt.
Du vill också se till att dina viktiga sidor, kataloger som innehåller ditt gyllene innehåll och pengasidor får genomsökas av Googlebot och andra sökmotorer.
4. Långa omdirigeringskedjor
Behåll ditt antal omdirigeringar till ett litet antal om du kan. Att ha för många omdirigeringar eller omdirigeringsslingor kan förvirra Google och minska din genomsökningsgräns.
Google uppger att långa omdirigeringskedjor kan ha en negativ effekt på genomsökningen.
5. Använd HTML
Att använda HTML ökar oddsen för att en sökrobot från någon sökmotor besöker din webbplats.
Medan Googlebots har förbättrats när det gäller genomsökning och indexering av JavaScript är andra sökrobotar inte lika sofistikerade som Google och kan ha problem med andra språk än HTML.
6. Se till att dina webbsidor laddas snabbt och erbjuder en bra användarupplevelse
Gör din webbplats optimerad för Core Web Vitals.
Ju snabbare ditt innehåll laddas – det vill säga under tre sekunder – desto snabbare kan Google ge information till slutanvändare. Om de gillar det kommer Google att fortsätta indexera ditt innehåll eftersom din webbplats kommer att visa upp Googles genomsökningshälsa, vilket kan göra att din genomsökningsgräns ökar.
7. Ha användbart innehåll
Enligt Google betygsätts innehåll efter kvalitet, oavsett ålder. Skapa och uppdatera ditt innehåll efter behov, men det finns inget ytterligare värde i att göra att sidor artificiellt verkar vara fräscha genom att göra triviala ändringar och uppdatera siddatumet.
Om ditt innehåll uppfyller slutanvändarnas behov och, det vill säga, är användbart och relevant, spelar det ingen roll om det är gammalt eller nytt.
Om användare inte tycker att ditt innehåll är till hjälp och relevant rekommenderar vi att du uppdaterar och fräschar upp ditt innehåll för att vara fräscht, relevant och användbart och marknadsföra det via sociala medier.
Länka också dina sidor direkt till startsidan, som kan ses som viktigare och genomsöks oftare.
8. Se upp för genomsökningsfel
Om du har tagit bort några sidor på din webbplats, se till att webbadressen returnerar 404- eller 410-status för permanent borttagna sidor. En 404-statuskod är en stark signal att inte genomsöka den webbadressen igen.
Blockerade webbadresser kommer dock att förbli en del av din genomsökningskö mycket längre och kommer att genomsökas igen när blockeringen tas bort.
Google säger också att du ska ta bort alla mjuka 404-sidor, som fortsätter att genomsökas och slösa bort din genomsökningsbudget. För att testa detta, gå in i GSC och granska din indextäckningsrapport vad gäller mjuka 404-fel.
Om din webbplats har många 5xx HTTP-svarsstatuskoder (serverfel) eller anslutningsavbrott signalerar motsatsen, saktar genomsökningen ner. Google rekommenderar att du är uppmärksam på rapporten Crawl Stats i Search Console och håller antalet serverfel till ett minimum.
Förresten respekterar eller följer Google inte den icke-standardiserade sökfördröjningsregeln i robots.txt.
Även om du använder nofollow-attributet kan sidan fortfarande genomsökas och slösa bort genomsökningsbudgeten om en annan sida på din webbplats, eller någon sida på webben, inte märker länken som nofollow.
9. Håll webbplatskartor/sitemaps uppdaterade
XML-webbplatskartor är viktiga för att hjälpa Google att hitta ditt innehåll och kan påskynda saker och ting.
Det är extremt viktigt att hålla dina webbplatskartor uppdaterade, använda taggen för uppdaterat innehåll och följa bästa praxis för SEO, inklusive men inte begränsat till följande.
Inkludera endast webbadresser som du vill ha indexerade av sökmotorer.
Inkludera endast webbadresser som returnerar en 200-statuskod.
Se till att en enda webbplatskartfil är mindre än 50 MB eller 50 000 webbadresser, och om du bestämmer dig för att använda flera webbplatskartor, skapa en indexwebbplatskarta som listar dem alla.
Se till att din webbplatskarta är UTF-8-kodad.
Inkludera länkar till lokaliserade versioner av varje webbadress. (Se dokumentation från Google.)
Håll din webbplatskarta uppdaterad, dvs. uppdatera din webbplatskarta varje gång det finns en ny webbadress eller en gammal webbadress har uppdaterats eller tagits bort.
10. Bygg en bra webbplatsstruktur
Att ha en bra webbplatsstruktur är viktigt för din SEO-prestanda för indexering och användarupplevelse.
Webbplatsens struktur kan påverka sökmotorns resultatsidor (SERP) på ett antal sätt, inklusive genomsökbarhet, klickfrekvens och användarupplevelse.
Att ha en tydlig och linjär struktur på din webbplats kan använda din genomsökningsbudget effektivt, vilket hjälper Googlebot att hitta nytt eller uppdaterat innehåll.
Kom alltid ihåg treklicksregeln, dvs. att alla användare ska kunna komma från vilken sida som helst på din webbplats till en annan med högst tre klick.
11. Intern länkning
Ju lättare du kan göra det för sökmotorer att genomsöka och navigera genom din webbplats, desto lättare kan sökrobotar identifiera din struktur, sammanhang och viktigt innehåll.
Att ha interna länkar som pekar på en webbsida kan informera Google om att den här sidan är viktig, hjälpa till att skapa en informationshierarki för den angivna webbplatsen och kan hjälpa till att sprida länkvärde över hela din webbplats
12. Övervaka alltid genomsökningsstatistik
Granska och övervaka alltid GSC för att se om din webbplats har några problem under genomsökning och leta efter sätt att göra din genomsökning mer effektiv.
Du kan använda rapporten Crawl Stats för att se om Googlebot har några problem med att genomsöka din webbplats.
Om tillgänglighetsfel eller varningar rapporteras i GSC för din webbplats, leta efter fall i servervärdens tillgänglighetsdiagram där Googlebot-förfrågningar överskred den röda gränsen, klicka på diagrammet för att se vilka webbadresser som inte fungerade och försök att korrelera dem med problem på din webbplats.
Du kan också använda verktyget för webbadressinspektion (’URL Inspection Tool’) för att testa några webbadresser på din webbplats.
Om webbadressinspektionsverktyget returnerar värdbelastningsvarningar betyder det att Googlebot inte kan genomsöka så många webbadresser från din webbplats som den upptäckte.
Avslutningsvis
Genomsökningsbudgetoptimering är avgörande för stora webbplatser på grund av deras omfattande storlek och komplexitet.
Med många sidor och dynamiskt innehåll står sökrobotar inför utmaningar med att effektivt genomsöka och indexera webbplatsens innehåll.
Genom att optimera din genomsökningsbudget kan webbplatsägare prioritera genomsökning och indexering av viktiga och uppdaterade sidor, vilket säkerställer att sökmotorer spenderar sina resurser klokt och effektivt.
Denna optimeringsprocess involverar tekniker som att förbättra webbplatsarkitekturen, hantera URL-parametrar, ställa in genomsökningsprioriteringar och eliminera duplicerat innehåll, vilket leder till bättre sökmotorsynlighet, förbättrad användarupplevelse och ökad organisk trafik för stora webbplatser.
