Vad är robots.txt och vad används den till?

Vad är robots.txt och vad används den till?

Denna artikel innehåller annonser.

Kanske har du råkat stöta på robots.txt när du läst om sökmotoroptimering av din blogg. Om du undrar vad det är har du hamnat rätt – i denna artikel förklarar jag kortfattat vad robots.txt är och vad filen används till. Slutligen ges även ett tips om vidare läsning.

Oavsett om du rockar WordPress, Nouw, Drupal eller en egenbyggd hemsida är robots-filen en universal standard. Vi tar det från början:

Vad är robots.txt?

Robots.txt är en fil i rotkatalogen av din blogg eller hemsida, exempelvis http://www.dinblogg.se/robots.txt och innehåller inställningar eller instruktioner för sökmotorers spindlar. I en grundinstallation av WordPress skapas automatiskt en robots.txt med några enkla instruktioner. Nedan visas två varianter beroende på om du valt att sökmotorer ska få indexera din webbplats eller inte:

Blockera att sökmotorer indexerar din webbplats

User-agent: *
Disallow: /

Tillåt alla sökmotorer att indexera din webbplats, men inte katalogen wp-admin

User-agent: *
Disallow: /wp-admin/

I vissa fall kan du behöva skapa en robots.txt-fil manuellt.

Varför finns robots.txt och vad används filen till?

För att dina sidor och blogginlägg ska indexeras och visas i sökresultat på t.ex. Google används så kallade sökspindlar som söker igenom din webbplats. Spindlarna används av alla stora sökmotorer och arbetar efter begränsad kapacitet och tid. Resultatet av detta blir att det är viktigt att instruera spindeln att söka igenom relevant innehåll på din webbplats istället för att slösa bort sina resurser. Om du har mycket innehåll och inte har strukturerat upp en bra robots.txt-fil kan det till och med bli så att hela din webbplats inte söks igenom av en spindel.

Av denna enkla anledning finns robots.txt som instruerar och dirigerar sökmotorernas spindlar att fokusera på rätt innehåll på din webbplats. Det finns exempelvis ingen mening med att en spindel söker igenom katalogen wp-admin (se ovan) och därav blockerar vi den.

Det är viktigt att poängtera att robots.txt inte är till för att hindra att dina sidor visas i sökresultat. Istället används den för att snabba upp indexeringsprocessen av ditt innehåll. Om du vill hindra att sidor eller blogginlägg visas helt från sökmotorer ska en noindex-tagg användas.

Om du vill fördjupa dig mer om robots.txt och hur den används kan du läsa mer här.

Kategorier SEO

Lämna en kommentar

Copy link
Powered by Social Snap