En Google Research-studie beskriver ett anmärkningsvärt ramverk som heter TW-BERT som förbättrar sökrankningen utan att kräva några större förändringar.
Google tillkännagav ett betydande rankningsramverk som heter Term Weighting BERT (TW-BERT) som förbättrar sökresultaten och är lätt att distribuera i befintliga rankningssystem.
Även om Google inte har bekräftat att de använder TW-BERT, är detta nya ramverk ett genombrott som förbättrar rankningsprocesser generellt, inklusive i Query Expansion. Det är också lätt att distribuera, vilket enligt oss gör det troligare att den används.
Vad är TW-BERT?
TW-BERT är ett rankningsramverk som tilldelar poäng (kallade vikter) till ord i en sökfråga för att mer exakt bestämma vilka dokument som är relevanta för den sökfrågan.
TW-BERT är också användbar i Query Expansion. Query Expansion är en process som omformulerar en sökfråga eller lägger till fler ord i den (som att lägga till ordet recept i sökfrågan kycklingsoppa) för att bättre matcha sökfrågan till resultaten.
Att lägga till poäng i frågan hjälper den att bättre avgöra vad frågan handlar om.
TW-BERT överbryggar två paradigmer inom informationssökning
Forskningsartikeln diskuterar två olika sökmetoder. Den ena är statistikbaserad och den andra är baserad på djup maskininlärning.
Därefter följer en diskussion om fördelarna och bristerna med dessa olika metoder och det föreslås att TW-BERT är ett sätt att överbrygga de två tillvägagångssätten utan några av bristerna.
Dessa statistikbaserade informationssökningsmetoderna ger effektiv sökning som skalas upp med storleken på corpus och generaliseras till nya domäner.
Villkoren viktas dock oberoende av varandra och tar inte hänsyn till sammanhanget för hela sökfrågan.
Forskarna noterar sedan att modeller baserade på djup maskininlärning kan räkna ut sökfrågornas sammanhang.
Vid detta problem kan modeller baserade på djup maskininlärning utföra denna kontextualisering över frågan för att ge bättre representationer för enskilda termer.
Vad forskarna föreslår är användningen av TW-Bert för att överbrygga de två metoderna.
Genombrottet beskrivs: ”Vi överbryggar dessa två paradigmer för att avgöra vilka som är de mest relevanta eller icke-relevanta söktermerna i frågan… Då kan dessa termer vägas upp eller ned för att göra det möjligt för vårt informationssökningssystem att producera mer relevanta resultat.”
Exempel på viktning av söktermer med TW-BERT
Forskningsartikeln använder sökfrågan ”Nike running shoes” som exempel. Enkelt uttryckt är orden Nike running shoes tre ord som en rankningsalgoritm måste förstå på det sätt som sökaren avser att det ska förstås. De förklarar att betoningen av running-delen av frågan kommer att visa irrelevanta sökresultat som innehåller andra varumärken än Nike.
I det exemplet är varumärket Nike viktigt och därför bör rankningsprocessen kräva att kandidatwebbsidorna innehåller ordet Nike i dem. Kandidatwebbsidor är sidor som övervägs för sökresultaten.
Vad TW-BERT gör är att ge en poäng (kallad viktning) för varje del av sökfrågan så att frågan är rimlig på samma sätt som den är för den person som angav sökfrågan. I det här exemplet anses ordet Nike vara viktigt, så det bör ges en högre poäng (viktning).
Forskarna skriver: ”Utmaningen är därför att vi måste se till så att Nike viktas tillräckligt högt samtidigt som vi tillhandahåller löparskor i de slutliga resultaten. Den andra utmaningen är att sedan förstå sammanhanget mellan orden ”running” och ”shoes” och det innebär att viktningen bör ligga högre för att sammanfoga de två orden som en fras, ”running shoes”, istället för att vikta de två orden oberoende av varandra.”
Detta problem och lösningen förklaras: ”Den andra aspekten är hur man utnyttjar mer meningsfulla n-gram-termer under poängsättning. I vår fråga hanteras termerna ”running” och ”shoes” oberoende av varandra, vilket lika gärna kan matcha med ”running socks” eller ”skate shoes”. I detta fall vill vi att vår retriever ska arbeta på en n-gram term level för att indikera att ”running shoes” ska viktas upp vid poängsättning.”
Att lösa begränsningar i nuvarande ramverk
Forskningsartikeln sammanfattar traditionell viktning som begränsad i variationerna av frågor och nämner att dessa statistikbaserade viktningsmetoder presterar mindre bra för zero-shot-scenarier.
Zero-shot Learning hänvisar till en modells förmåga att lösa ett problem som den inte har utbildats för.
Det finns också en sammanfattning av de begränsningar som är inneboende i nuvarande metoder för Term Expansion. Term Expansion är när synonymer används för att hitta fler svar på sökfrågor eller när ett annat ord än det som skrevs antas. Till exempel, när någon söker efter kycklingsoppa, antas det betyda recept på kycklingsoppa.
De skriver om bristerna i nuvarande metoder: ”Dessa extra poängsättningsfunktioner tar inte hänsyn till ytterligare viktningssteg som utförs av poängsättningsfunktioner som används i befintliga retrievers, såsom frågestatistik, dokumentstatistik och hyperparametrar. Detta kan ändra den ursprungliga fördelningen av tilldelade vikter på termer under slutlig poängsättning och sökning.”
Därefter konstaterar forskarna att djup maskininlärning har sitt eget bagage i form av komplexitet för att distribuera dem och oförutsägbart beteende när de stöter på nya områden som de inte blivit tränade på.
Det är då TW-BERT kommer in i bilden.
TW-BERT överbryggar två tillvägagångssätt
Lösningen som föreslås är som en hybridmetod. I följande citat betyder termen IR informationssökning.
De skriver: ”För att överbrygga klyftan utnyttjar vi robustheten hos befintliga lexikala retrievers med de kontextuella textrepresentationerna som tillhandahålls av djupa maskininlärningsmodeller. Lexikala retrievers skapar redan möjlighet att tilldela vikter till frågans n-gram-termer när du utför sökning. Vi utnyttjar en språkmodell i detta skede av pipelinen för att ge lämpliga vikter till frågans n-gram-termer.”
Denna termviktning (TW-BERT) är optimerad från början till slut med samma poängsättningsfunktioner som används inom retrieval för att säkerställa överensstämmelse mellan träningen och sökning.
Detta leder till hämtningsförbättringar när du använder de TW-BERT-producerade termvikterna samtidigt som IR-infrastrukturen liknar sin befintliga produktionsmotsvarighet.
TW-BERT-algoritmen tilldelar vikter till frågor för att ge en mer exakt relevanspoäng som resten av rankningsprocessen sedan kan arbeta med.
TW-BERT är lätt att använda
En av fördelarna med TW-BERT är att den kan sättas in direkt i den aktuella informationssökningsprocessen, som en drop-in-komponent. Detta gör det möjligt för oss att direkt distribuera våra termvikter inom ett IR-system under sökning.
Detta skiljer sig från tidigare viktningsmetoder som behöver ställa in en retrieverparameter för att uppnå optimal sökningsprestanda eftersom de optimerar termvikter som erhållits genom heuristik istället för att optimera från början till slut.
Vad som är viktigt med denna enkla distribution är att den inte kräver specialiserad programvara eller uppdateringar till maskinvaran för att lägga till TW-BERT till en rankningsalgoritms process.
Använder Google TW-BERT i sin rankningsalgoritm?
Som tidigare nämnts är det relativt enkelt att använda TW-BERT. Enligt vår mening är det rimligt att anta att den enkla distributionen ökar oddsen för att detta ramverk kan komma att läggas till Googles algoritm. Det innebär att Google kan lägga till TW-BERT i rankningsdelen av algoritmen utan att behöva göra en fullskalig uppdatering av kärnan i algoritmen.
En annan kvalitet att leta efter när man ska förutse om en algoritm kan användas, bortsett från hur enkel distribution är, är hur framgångsrik algoritmen är när det gäller att förbättra det aktuella tekniska läget.
Det finns många forskningsartiklar som endast har begränsad framgång eller ingen förbättring alls. Dessa algoritmer är intressanta, men det är rimligt att anta att de inte kommer att hamna i Googles algoritm.
De som är av intresse är de som är mycket framgångsrika och så är fallet med TW-BERT. Det är lätt att använda den i en befintlig rankningsalgoritm.
Fungerar den lika bra som täta neurala rankare?
Forskarna förklarade hur det förbättrar nuvarande rankningssystem: ”Med hjälp av dessa retrieverramverk visar vi att vår termviktningsmetod överträffar de standardiserade termviktningsstrategierna för uppgifter inom domänen. I uppgifter utanför domänen förbättrar TW-BERT de standardiserade viktningsstrategierna samt täta neurala rankare. Vidare visar vi nyttan av vår modell genom att integrera den med befintliga Query Expansion-modeller vilket förbättrar prestandan jämfört med standardsökning och tät sökning i zero-shot-fallen. Detta är en anledning till att vårt arbete kan ge förbättringar av befintliga retrieval system med minimal onboarding-friktion.”
Så det är två goda skäl till att TW-BERT redan kan vara en del av Googles rankningsalgoritm.
- Det är en övergripande förbättring av nuvarande rankningsramverk
- Det är lätt att använda
Om Google har distribuerat TW-BERT kan det förklara de rankningsfluktuationer som SEO-övervakningsverktyg och medlemmar av sökmarknadsföringens community har rapporterat under den senaste månaden.
I allmänhet tillkännager Google endast vissa rankningsändringar, i synnerhet när de orsakar en märkbar effekt, som när Google tillkännagav BERT-algoritmen.
I avsaknad av officiell bekräftelse kan vi bara spekulera i sannolikheten för att TW-BERT är en del av Googles sökrankningsalgoritm.
Oavsett så är TW-BERT ett anmärkningsvärt ramverk som verkar förbättra noggrannheten hos informationssökningssystem och kan användas av Google.
