Googles indexering är en mystisk process. Det brukade vara så att de hade en legion av mjukvaruspindlar, små robotar som de skickade ut över hela internet för att resa från sida till sida och sida till sida och kopiera vad de såg. Under åren sedan deras teknik hade blivit mer sofistikerad, och vid denna tidpunkt använder de en mängd olika datakällor (inklusive Chrome-användare) för att indexera internet.
Att bli indexerad av Google är det första steget i att utveckla en webbplats. Jag kan förutse tre grupper av människor som troligen är intresserade av Googles indexeringsprocess.
- Nykomlingar som har skapat en ny webbplats och vill att Google ska lista deras nya webbsidor kommer att vara mer angelägna om att få full indextäckning.
- Webbplatsägare som har bestämt sig för att växla kommer att vilja att Google ska se dessa ändringar så snart som möjligt, särskilt om de har bytt stora delar av innehåll och behöver ett nytt indexeringspass.
- Ägare av äldre webbplatser fulla av spam, svart hatt SEO, tunt innehåll och andra problem kommer att vilja ha en snabb omindexering. Efter att ha rensat upp skräpposten vill de få en ny recension så att de kan indexeras igen.
Lyckligtvis, oavsett orsak, är metoden alltid densamma.
Så hur kan du få Google omindexering och få sökgigantens algoritm att genomsöka din webbplats igen?
Googles officiella rekommendation
Google uppdaterade nyligen sina dokumentationsartikel om att genomsöka webbadresser igen för några månader sedan (juli 2023). Men deras vägledning förblir i stort sett densamma:
Om du nyligen har ändrat en sida på din webbplats kan du be Google om att indexera den med hjälp av webbadressinspektionsverktyget eller genom att skicka in din webbplatskarta.
Även om URL-inspektionsverktyget är lämpligt för ett fåtal individuella webbadresser, rekommenderas en webbplatskarta för att skicka alla dina webbadresser till Google på en gång, särskilt efter betydande webbplatsuppdateringar. Kom dock ihåg att begäran om en genomsökning inte garanterar omedelbar eller någon inkludering i sökresultaten, och genomsökningen kan ta dagar till veckor. Dessutom påskyndar inte processen att upprepade gånger begära en ny genomsökning för samma webbadress.
På samma sätt har jag inte funnit att borttagning och återinlämning av webbplatskartan har någon form av effekt och verkar inte påskynda eller uppmuntra snabbare indexering.
Det kan också intressera dig att veta att webbplatskartvariabler som “changefreq” och “priority” ignoreras av Google. Jag skrev en separat artikel om detta här:
Som alltid rekommenderar jag att följa Googles råd. Ge dem tid att indexera din sida, se till att din webbplatskarta har skickats in och se till att Google kan se din sida med verktyget URL Inspector. Om du har gjort båda dessa saker och Google kan se din sida utan några fel, är det bästa rådet nu att ha tålamod.
Finns det något annat du kan göra utöver Googles råd? Nåväl, låt oss prata om det.
Erkänn begränsningarna
Det första du ska göra är att inse begränsningarna hos sökrobotar. Som Google säger,
“Indexering kan ta allt från några dagar till några veckor.”
Det spelar ingen roll om du är en helt ny webbplats eller en mer betydelsefull webbplats; Google är Google. Vi är alla myror för dem.
En webbplats får sällan så mycket uppmärksamhet att den snabbt “hoppar i kön”. Samtidigt, även om det finns olika metoder för att få Googles uppmärksamhet och få dem att indexera ditt innehåll, har de alla mer eller mindre exakta svarstider. Du kan prova olika metoder, men de kommer alla att fungera ungefär likadant. Din körsträcka kan naturligtvis variera, men i genomsnitt för alla sajtägare jämnar det ut sig.
Google gör inte heller nödvändigtvis klart för en webbplatsägare om deras webbplats har indexerats eller inte. Eller i stället gör de det, men du måste veta var du ska leta. Och nej, “site:example.com”-sökningar är inte det enda sättet att kontrollera.
Google förser webbansvariga med ett verktyg som kallas Indextäckningsrapport. Om du vet hur indexering fungerar och hur sökning fungerar som helhet är det ett praktiskt verktyg.
Om du inte har så mycket aning utöver “finns/finns inte i Googles sökresultat som jag ser” bör du göra lite vidare läsning första. Den låter dig veta när Google genomsöker din sida, vilka sidor de har indexerat och vilka sidor som inte har indexerats ännu.
Indextäckningsrapporten är en fullständig indexeringshälsokontroll. Om du vill kontrollera om en enskild sida är indexerad kan du använda URL-inspektionsverktyg i stället.
Felsök indexeringsproblem
Det första du vill göra är att kontrollera om det finns något på din webbplats som skulle hindra Google från att indexera din webbplats. I allmänhet finns det bara en handfull sådana vägspärrar.
1. Sök efter ett Robots.txt-block.
Det vanligaste indexeringsfelet som du sannolikt kommer att stöta på är ett problem med din robots.txt-fil. Robots.txt är en textfil på din server, vanligtvis i din webbplatss rotkatalog, som ger instruktioner till specifika bots som kan genomsöka din webbplats. Du kan använda den för att tala om för botarna vilka sidor du inte vill att de ska se; detta inkluderar bland annat Googles bots.
Varför skulle du vilja använda detta? Väl:
- Kanske du splittestar varianter av målsidor och vill inte att innehållet i det närmaste ska indexeras.
- Du kanske döljer webbplatsen tillfälligt medan du gör om den eller bygger upp den från grunden.
- Om du försöker dölja WordPress-systemsidor eller tunt innehåll, som bifogade sidor, kan du använda noindex för att utesluta dem i din HTML.
Vanligtvis är det den andra som får folk – den, eller bara en missbildad fil som av misstag döljer fler kataloger än den borde.
Oavsett vilket kan du kontrollera din robots.txt manuellt (genom att öppna filen och läsa vad som finns inuti) eller använda Googles verktyg. De har en robots.txt-testare, hittas här.
2. Kontrollera om det finns noindex-kommandon på sidnivå.
Noindex är ett direktiv, främst för Google, som webbplatsägare kan tillämpa på sidnivå eller domännamnsnivå. Du kan använda det på bifogade sidor i WordPress för att säkerställa att de inte visas som tunt innehåll och stör ditt SEO-värde.
Tyvärr är det lätt att använda dem på fel sidor av misstag och ta bort hela din webbplats från sökning. Här är en sammanfattning av problemet och hur du letar efter och åtgärdar det.
3. Kontrollera om det finns sporadiska driftstopp och andra serverfel.
En av de andra anledningarna till att din webbplats kan ha indexeringsproblem är, ja, tillfälligheter. Om ditt webbhotell fortsätter att tappa tjänsten och de råkar vara nere när Googles spindel kommer förbi, är allt Google kommer att se en saknad webbplats. De kan inte krypa det som för dem inte finns.
Denna driftstopp kan vara svår att diagnostisera och optimera, för om din webbplats är uppe när du kontrollerar, hur kan du se när den är nere? Lösningen är att anmäla sig till en upptidsövervakning. Lyckligtvis kan Googles webbplatsinspektionsverktyg tala om för dig om serverfel är ansvariga för dina indexeringsproblem.
4. Kontrollera om det finns problem med kanonisering.
Ett annat problem, om du specifikt tittar på en enskild sida för att se om den är indexerad, är att den inte är det, men en annan version av det är. Anta att du har två kopior av en sida (för mindre delade tester, URL-parametervariationer eller sökresultat). I så fall vill du att bara huvudversionen av sidan ska indexeras för att undvika straff för dubbletter av innehåll.
Det officiella sättet att göra detta är att använda attributet rel=” canonical” för att tala om för Google vilken version som är den “officiella” sidan. Om du kontrollerar en sida som borde vara officiell och inte är det kan du ha implementerat de kanoniska taggarna felaktigt och de kommer att identifiera en annan sida som den kanoniska versionen.
Det finns många andra relaterade problem också, så kolla Googles indexeringsrapport och se vad den säger. Deras resurssida har också en komplett lista över de fel de kan rapportera och vad de betyder.
Det officiella sättet att indexera innehåll
Det finns två “officiella” sätt att få Google att indexera din webbplats. Om du har följt med och klickat på de interna länkarna jag har lagt till vet du förmodligen redan vad de är; om inte, ja, varsågod.
De två alternativen är för individuella länkar och masswebbplatser. Så om större delen av din webbplats är indexerad, men några viktiga, nya eller viktiga sidor verkar saknas, använd det första alternativet. Om du har renoverat större delen av din webbplats, om din webbplats är ny eller om du vill ha ett komplett indexeringspass, använd det andra alternativet.
1. Använd webbadressinspektionsverktyget i Google Search Console.
URL-inspektionsverktyget är en del av Google Search Console (tidigare Google Webmaster Tools), och du kan hitta den här.
Det är ett verktyg som ger Google en URL och säger “Hej, kolla in det här och berätta vad du ser, okej?” De kommer, och de kommer att generera en rapport om webbadressen som inkluderar saker som serverstatus, indexeringsstatus, robots.txt och URL-direktiv och mer.
När du väl har valt inspektionsverktyget från sökfältet och begär en inspektion av en URL, har du en knapp som säger “Begär indexering.” Detta steg är hur du “skicka in” en enskild sida till Google. Eftersom det inte finns någon annan officiell process för inlämning av webbadresser, är detta oftast det bästa du får för en enskild sida.
Du kan använda det här verktyget för mer än en webbadress, men det finns ett tak för hur många du kan inspektera innan Google avbryter dig för dagen. Tyvärr anger inte Google vad det numret är. Om du når det kommer du bara att veta eftersom inspektören kommer att skicka ett felmeddelande om att du har överskridit din dagliga kvot.
URL-inspektionen låter dig hämta som Googles sökrobot, och när Google gör det gör de ett indexeringspass medan de är där. Såvida inte en robots.txt, serverfel eller annat direktiv säger åt dem att inte göra det.
2. Skicka in en webbplatskarta.
Om du vill säga åt Google att indexera fler sidor än URL-inspektörskvoten, eller om du vill be dem att indexera hela din webbplats, är det bästa sättet att skicka in en webbplatskarta. En webbplatskarta är bara ett XML-kalkylblad som säger, “här är en lista över alla sidor på min webbplats, kolla in dem”, och Google kommer så småningom att tvinga. Som nämnts ovan kan det ta allt från ett par dagar till ett par veckor för dem att komma runt.
Google stöder text-, Atom-, RSS- och XML-webbplatskartor, men XML är överlägset bäst. Den har mest data, är den enklaste att generera och görs ofta automatiskt av CMS. En webbplatskarta kan vara upp till 50 Mb och 50 000 länkar, så alla utom de mest omfattande webbplatserna kan skicka in dem. Även då kan dessa enorma webbplatser ofta generera sektionsspecifika webbplatskartor och erbjuda dem individuellt (med ett webbplatskartindex, som är en samling webbplatskartor.) Om du har ett SEO-plugin på en WordPress-webbplats, som Yoast SEO, är din webbplatskarta kommer att genereras automatiskt.
Det finns tekniskt sett tre olika sätt att skicka in din webbplatskarta till Google.
- Lägg till det i robots.txt. Allt du behöver är en rad som säger “Webbplatskarta: http://example.com/sitemap.xml” och nästa gång Google tittar på din robots.txt hittar de webbplatskartan.
- Pinga det. Google accepterar vissa begränsade ping-förfrågningar med GET-begäran. Besök bara https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP så tar de det.
- De rapporten om webbplatskartor låter dig skicka in din webbplatskarta direkt. Skicka in den via Google Search Console.
Den tredje, via sökkonsolen, är generellt sett bäst. Varje process tar ungefär samma tid att bearbeta ändå, så du kan lika gärna använda den som har en historia och feedback inbyggd, eller hur?
Som alltid är Search Console full av alla verktyg du kan önska dig som webbplatsägare. Det låter dig också övervaka webbplatstrafiken som du genererar från Googles SERP, övervaka prestandan för dina nya sidor och gräva i visningar, klickfrekvens och organisk trafik för specifika sidor.
Search Console är lika viktigt som Google Analytics – om du inte har konfigurerat det ännu, vore det bäst om du började med det idag. Medan du är där, se till att din webbplatskarta är korrekt skickad. Om det redan har skickats, försök att ta bort det och skicka in det igen för att tvinga fram en ny genomsökning.
Det är de två “officiella” sätten att skicka in en webbplatskarta till Google. Hur är det med inofficiella sätt?
Inofficiella sätt att Google omindexera
Som med allt som är så grundläggande för SEO och så dåligt dokumenterat som indexering är/förr, finns det dussintals “hack” tillgängliga online från SEO-proffs för att hjälpa dig att påskynda eller tvinga fram indexering genom att kringgå den vanliga processen. Här är de som fungerar bäst.
1. Använd en pingtjänst.
Det första alternativet är att använda en pingtjänst från tredje part. En tjänst som Ping-O-Matictill exempel, använder pingprocessen från en handfull olika tjänster (som Blo.gs, Feed Burner och Superfeedr) för att få ditt innehåll att plocka upp av dessa tjänster.
Under deras befintliga indexering och inflytande får dessa tjänster ditt innehåll upp som en bieffekt av indexering.
2. Prova gästinlägg och länkbyggande uppsökande verksamhet.
Teorin bakom en pingtjänst är att få din webbplats länkad på högre profildomäner. När Google indexerar dessa domäner och hittar länkar till din webbplats kommer de automatiskt att följa och genomsöka dessa länkar och sidorna de pekar på. Sedan går de vidare och genomsöker din webbplats.
Du kan göra samma sak med ökat SEO-värde genom att utföra länkuppsökande och gästinlägg. Dessa tjänar till att få Google att titta på din webbplats, men de bygger också innehåll, tankeledarskap och citat, såväl som bakåtlänkar som din domän kan använda.
3. Använd sociala medier.
Google uppmärksammar särskilt både Facebook och Twitter. De använder inte längre en direkt “brandslang”-integration, men de genomsöker och indexerar fortfarande så många sajter som möjligt. Så om ditt innehåll läggs upp och delas mycket på sociala medier har Google större chans att ta upp det.
Twitter är det enklaste att använda för detta ändamål.
4. Håll en aktiv blogg.
Att blogga är en av de bästa sakerna du kan göra för en webbplats, och jag säger det inte bara för att jag är partisk som marknadsförare av blogginnehåll. Det enkla faktum är att Google ger förmånsbehandling till webbplatser som håller sig uppdaterade med innehåll. Om du kan producera innehåll av anständig kvalitet regelbundet ger du Google en anledning att fortsätta att kontrollera din webbplats efter uppdateringar. Om de vet att du publicerar ett nytt inlägg varje måndag, kommer de att kontrollera varje måndag eller tisdag efter det nya inlägget och uppdatera det direkt.
Tricket är att även om detta kan hjälpa dig att hålla din webbplats uppdaterad, kommer det inte att hjälpa Google att indexera dig från början. De vet inte att de behöver kontrollera dig regelbundet förrän du har publicerat innehåll regelbundet ett tag, trots allt.
Ibland kan det ta ett tag, och i vissa fall kan det ta veckor eller till och med månader – speciellt om din webbplats är helt ny eller om du inte uppdaterar den särskilt ofta. Att regelbundet skapa nytt innehåll kommer att träna sökmotorer att genomsöka dem oftare, så detta kommer att vara ett mindre problem för dig i framtiden.
Så, där har du det; de bästa sätten att få Google att indexera om din webbplats, oavsett varför du behöver dem för att göra det. Jag rekommenderar inspektionsmetoderna för webbplatskarta och URL, i kombination med regelbundet bloggande, för att fastställa både behov och konsekvens i indexeringen. När dessa steg är överstrukna från din lista, bör du inte behöva oroa dig för indexering igen. Om ditt innehåll håller hög kvalitet, din webbplatsstruktur är stabil och din webbplatskarta skickas till Google är det bara att vänta.