Co to jest plik robots.txt? Do czego służy i czy wordpress go potrzebuje?

Skupiając się na wielu płaszczyznach podczas tworzenia i ulepszania bloga lub strony internetowej zapominamy o podstawach. Za chwilę dowiesz się co to jest plik robots.txt, jak powinien wyglądać, do czego służy i oczywiście jak go stworzyć.

Co to jest plik robots.txt?

Musisz wiedzieć jak powinien wyglądać idealny plik robots.txt ponieważ poprawnie zbudowany przyśpieszy indeksację stron Twojego bloga w wyszukiwarkach.

Robots.txt to plik tekstowy. Plik ten powinien automatycznie pojawić się na serwerze wraz z uruchomieniem strony lub bloga. Informuje roboty wyszukiwarek jak przeszukiwać i indeksować daną stronę www.

Znajdziesz go w głównym katalogu witryny.

https://adres.pl/robots.txt

Jeżeli do serwera masz podpięte kilka domen szukaj go w pierwszym głównym folderze, który stworzyła domena. Sam mam kilka domen, a ścieżka do mojego pliku wygląda tak:

główny katalog serwera/adresstrony.pl/public_html/w tym miejscu znajduje się mój plik robots.txt

Sprawdź czy Twoja strona posiada taki plik. Fundamentem dobrego Seo jest stworzenie i umieszczenie pliku robots.txt na serwerze jeżeli go nie ma.

Podstawowy plik robots.txt stworzony podczas instalacji wygląda tak:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Nie ma ograniczenia co do ilości komend użytych w robots.txt. Możesz blokować tyle adresów ile chcesz i dodawać wiele map witryn. Podając komendę Disallow informujesz roboty wyszukiwarki, że dana strona lub folder ma nie być przez nie indeksowany. Reguła Allow oznacza zielone światło dla robota. Po pierwsze zabroniliśmy dodawać wyników podstrony i pliki znajdujące się dalej niż wp-admin, ale dodając drugi wiesz zezwoliliśmy robotom zaindeksować plik admin-ajax.php, który przesyła dane w sposób dynamiczny.

Jak powinien wyglądać plik robots.txt?

Tak wygląda plik robots.txt pomagający odnaleźć mapę strony:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Allow: https://twojadomena/sitemap_index.xml

Ostatni wiersz wskazuje robotom pod jakim adresem mają szukać mapę witryny. Ta komenda powinna znajdować się w każdym pliku robots.txt. Dzięki niej twoja strona zostanie szybciej dodana do katalogu wyszukiwarki.

Czy WordPress potrzebuje pliku robots.txt?

Jeśli na Twoim serwerze nie ma pliku robots.txt, wyszukiwarki będą indeksować całą stronę. Nowy blog na WordPress nie potrzebuje od razu tego pliku, bo nie ma dużo treści. Pamiętaj, że wraz z rozwojem witryny każdy administrator musi stworzyć taki plik, wpływający na pozycjonowanie.

Dlaczego, każda strona powinna posiadać robots.txt:

Boty wyszukiwarek mają limit indeksowania dla każdej witryny.

idealny-plik-robots-txt

Przypomnij Sobie jak wyglądają labirynty. Z pewnością w dzieciństwie, przeglądałeś kolorowe gazety dla dzieci w których były labirynty. A może przejściem labiryntu była praca domowa, którą zadał nauczyciel.

Teraz wyobraź sobie, że twój rozwijający się blog to co raz większy labirynt. Więcej treści oznaczają dłuższą trasę do celu.

A gdyby tak przeskoczyć część labiryntu za pomocą magicznej różdżki?

Taką różdżką jest plik robots.txt, który pozwala omijać częściowo elementy labiryntu.

Nie zrozum mnie źle. Twój blog może rozrastać się w nieskończoność. Chodzi o to, że boty indeksują pewną liczbę stron podczas jednej sesji. Jeśli roboty nie dodadzą całej Twojej strony podczas jednej wizyty, wznowią indeksowanie podczas kolejnej sesji.

W ten sposób wydłuża się czas dodania całej Twojej witryny do katalogu wyszukiwarki.

Tworząc plik robots.txt optymalizujesz w pewien sposób pracę botów. Wykluczając strony niewnoszące żadnej wartościowej treści, np: strony administracyjne WordPress, pliki wtyczek i folder motywów.

Jak powinien wyglądać idealny plik robots.txt?

Czy istnieje idealnie zoptymalizowany plik robots.txt dla WordPress. Trudno określić jednoznacznie jak powinien wyglądać idealny plik robots.txt.

Musisz się zastanowić, które pliki nie muszą być indeksowane i spokojnie możesz je wykluczyć za pomocą pliku robots.txt. Podaj również adresy stron, które mają za zadanie przyśpieszyć indeksacje twojej strony. Jest to np: mapa strony, podstrona archiwum zawierająca linki do opublikowanych treści, a nawet obszerny artykuł posiadający linki wewnętrzne.

Zobacz jak wyglądają pliki konkurencyjnych stron. Przejrzyj kilka stron, a uświadomisz sobie jak powinien wyglądać idealny plik robots.txt pasujący do twojego bloga.

Tak wygląda zoptymalizowany plik robots.txt z którego korzysta ta strona.

User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /wp-content/plugins/
Disallow: /wp-content/mu-plugins/
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json
Allow: /wp-admin/admin-ajax.php

Sitemap: https://adresstrony.pl/post-sitemap.xml
Sitemap: https://adresstrony.pl/page-sitemap.xml
Sitemap: https://adresstrony.pl/category-sitemap.xml

User-agent: AhrefsSiteAudit
Allow: /

User-agent: AhrefsBot
Allow: /

Jak stworzyć plik robots.txt?

Są 2 sposoby pozwalające edytować i stworzyć plik robots.txt. Sposób 1. Za pomocą wtyczki WordPress SEO. 2 sposób. Ręczne stworzenie pliku i przesłanie go na serwer za pomocą klienta ftp.

1. Edytowanie pliku robots.txt przy pomocy wtyczki Rank Math

Rank Math to darmowa wtyczka do pozycjonowania i optymalizacji WordPress. Nie jest ona tak znana jak Yoast SEO czy All in One SEO. Przetestowałem je wszystkie i stwierdzam, że Rank Math to najlepsza wtyczka SEO WordPress, z której korzysta ponad 1 milion stron internetowych.

Jest bardzo łatwa w użyciu i posiada generator plików robots.txt.

Jeśli nie masz jeszcze zainstalowanej wtyczki Rank Math. Zapoznaj się z przewodnikiem pokazującym krok po kroku, jak zainstalować i skonfigurować Rank Math wtyczkę WordPress.

Po aktywacji wtyczki w panelu administracyjnym pojawi się możliwość stworzenia pliku robotsitxt.

Panel pozwalający edytować plik robots.txt znajduje się: Rank Math >> Ustawienia główne.

plik-robots-txt-rank-math-seo

Po kliknięciu w Edytuj robots.txt pojawi się pole pozwalające na stworzenie lub już istniejącego pliku robots.txt. Po dodaniu komend nie zapomnij zapisać zmian.

2. Stworzenie pliku ręcznie i przesłanie go za pomocą FTP

W przypadku tej metody będziesz potrzebował klienta FTP oraz prostego notatnika.

Na początku musisz połączyć się za pomocą klienta FTP z serwerem. W tym momencie dowiesz się czy Twoja strona korzysta z pliku robots.txt. Jeśli go nie widzisz po prostu stwórz nowy plik za pomocą notatnika. Napisz komendy, które mają przestrzegać roboty wyszukiwarki, zapisz go pod nazwą robots.txt i prześlij do głównego folderu.

Jak przetestować plik robots.txt?

Wiesz już jak powinien wyglądać idealny plik robots.txt przyśpieszający indeksację strony i pozycjonowanie. Jeżeli brakuje go na Twoim serwerze, znasz metody pozwalające go stworzyć. To już prawie koniec.

Żeby nie okazało się, że Twoja praca została wykonana na marne wykonaj test. Najlepszym narzędziem do tego jest Google Search Console. Po utworzeniu pliku robots.txt zawsze dobrze jest przetestować go za pomocą narzędzia do testowania pliku robots.txt.

Istnieje wiele narzędzi do testowania plików robots.txt, ale zalecamy korzystanie z narzędzia dostępnego w Google Search Console. Aplikacja od Google pozwala przetestować robots.txt zupełnie za darmo. Musisz jedynie dodać WordPress do Google Search Console.

Najpierw musisz połączyć swoją witrynę z Google Search Console. Jeśli jeszcze tego nie zrobiłeś, zapoznaj się z naszym przewodnikiem na temat dodawania witryny WordPress do Google Search Console.

Wybierz Swoją domenę z listy, a narzędzie automatycznie wykona test i wyświetli błędy i ostrzeżenia.

Podsumowanie

Plik tekstowy robots.txt pozwala wykluczyć z indeksu wyszukiwarki strony, które według nas nie powinny się tam znaleźć. Na przykład strony w folderze wp-plugins czy strony w folderze administracyjnym WordPress.

Mit czy prawda?

Powszechnym mitem wśród ekspertów SEO jest to, że blokowanie kategorii WordPress, tagów i stron archiwum poprawi szybkość indeksowania i pozycję w wynikach wyszukiwania.

Mam nadzieję, że ten artykuł odpowiedział na Twoje pytania. A jeżeli coś jest nie jasne to śmiało pytaj w komentarzu. Udostępnij ten artykuł innym.

Koniecznie oceń wpis! Uwagi napisz w komentarzu.
Show Comments (0) Hide Comments (0)
Leave a comment

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *