Googles Search Relations-team delar insikter om att övervaka Googlebots interaktioner med webbsidor i den senaste podcasten ”Search Off The Record”. Diskussionsämnena inkluderade hur man hindrar Googlebot från att genomsöka specifika delar av en sida och hur man förhindrar att denfår åtkomst till en webbplats helt och hållet.
I det senaste avsnittet av podcasten ”Search Off The Record” besvarade Googles Search Relations flera frågor om indexering av webbsidor. John Mueller och Gary Illyes från Google delade sina insikter och svarade på frågor som diskuteras i denna artikel.
Hindra Googlebot från specifika sektioner på en webbsida
När Mueller blev tillfrågad om hur man hindrar Googlebot från att genomsöka specifika sektioner på en webbsida, som exempelvis köpta delar av produktsidor, förklarade han att det är omöjligt att blockera genomsökning av en specifik sektion på en HTML-sida.
Han presenterade två potentiella strategier för att hantera detta problem och betonade att ingen av dem är en perfekt lösning.
Mueller föreslog att använda HTML-attributet ”data-nosnippet” för att förhindra att text visas i ett sökavsnitt. Som ett alternativ kan du använda en iframe eller JavaScript med källan blockerad av robots.txt, även om han varnade för att det inte är en optimal lösning.
Mueller underströk att användning av en robotiserad iframe- eller JavaScript-fil kan leda till komplexa genomsöknings- och indexeringsproblem som är svåra att diagnostisera och lösa.
Han försäkrade lyssnarna att om innehållet återanvänds på flera sidor är det inte ett problem som behöver åtgärdas och tillade att det inte finns någon anledning att blockera Googlebot från att se den typen av duplicering.
Förhindra Googlebot från att få tillgång till en webbplats
Illyes föreslog en enkel lösning för att förhindra Googlebot från att komma åt någon del av en webbplats: genom att lägga till en ”disallow: /”-regel i robots.txt kommer Googlebot att lämna din webbplats i fred så länge du behåller den regeln där.
För dem som söker en mer robust lösning föreslog Illyes en annan metod: att skapa brandväggsregler som inkluderar Googlebots IP-intervall i en nekningsregel. En lista över Googlebots IP-adresser finns tillgänglig i Googles officiella dokumentation.
Sammanfattning
Även om det är omöjligt att helt förhindra Googlebot från att komma åt specifika delar av en HTML-sida kan metoder som användning av attributet ”data-nosnippet” erbjuda viss kontroll.
Om du överväger att blockera Googlebot från din webbplats helt, kan en enkel ”disallow: /”-regel i din robots.txt-fil vara tillräcklig.
För mer extrema åtgärder, som att skapa specifika brandväggsregler, finns det också möjligheter att överväga.
