Generator robots.txt

Do czego służy plik robots.txt?

Plik robots.txt jest krótką instrukcją w głównym katalogu domeny, na przykład https://firma.co.uk/robots.txt. Mówi robotom, które części witryny mogą odwiedzać, a które powinny pominąć. Dla małej polskiej firmy w UK najczęściej chroni zaplecze techniczne, wyniki wewnętrznego wyszukiwania i testowe adresy URL przed niepotrzebnym ruchem robotów.

Najważniejsza zasada: robots.txt nie jest zabezpieczeniem. Adres zablokowany w pliku może nadal otworzyć osoba znająca link, a część robotów może zignorować instrukcję. Nie zapisuj więc w nim poufnych danych ani nie traktuj go jako sposobu na ukrycie panelu klienta. Do stron, których nie chcesz w Google, użyj dodatkowo noindex i właściwego logowania.

Co warto ustawić na stronie firmowej?

• Sitemapę — jej adres pomaga robotom znaleźć ważne podstrony, np. usługi, realizacje i kontakt.
• Zaplecze CMS — w WordPressie typowo ogranicza się /wp-admin/, zostawiając dostęp do admin-ajax.php.
• Strony testowe — blokuj wyłącznie przejściowe sekcje; po publikacji usuń je lub zabezpiecz hasłem.
• Boty AI i SEO — wybierz je świadomie, jeżeli chcesz ograniczyć automatyczne pobieranie treści.

Generator tworzy osobne reguły dla wskazanych botów oraz zachowuje standardową regułę dla wszystkich robotów. W polu sitemap wpisz pełny adres, najlepiej z HTTPS i domeną .co.uk. Po wdrożeniu sprawdź adres w przeglądarce, a w Google Search Console obserwuj, czy Google poprawnie odczytuje zasoby strony. Zmiany w robots.txt są publiczne i mogą zostać zauważone szybko, dlatego przed publikacją warto przeczytać podgląd linia po linii.

Najczęstsze błędy w robots.txt

Jedna przypadkowa linia Disallow: / potrafi zatrzymać dostęp wszystkich robotów do całej witryny. Dlatego po włączeniu presetu „Blokuj wszystko” nie zapomnij zmienić go przed publikacją. Innym częstym błędem jest blokowanie zasobów CSS i JavaScript. Google potrzebuje ich, aby zrozumieć wygląd strony na telefonie, więc nie wpisuj ścieżek do plików projektu Astro bez konkretnego powodu.

Sprawdź również zgodność domeny w adresie sitemapy. Jeśli strona działa pod https://www.twojafirma.co.uk, mapa pod wersją bez www może prowadzić do przekierowania. To nie zawsze jest krytyczne, ale spójna wersja adresów ułatwia techniczną kontrolę. Po zmianie pliku otwórz adres /robots.txt w prywatnym oknie przeglądarki i upewnij się, że serwer zwraca zwykły tekst, a nie stronę błędu.

Na koniec pamiętaj o kopii wcześniejszego pliku. Jeżeli witryna miała już robots.txt, porównaj stare reguły z nowym wynikiem zamiast bezwarunkowo nadpisywać cały dokument. Może zawierać ważną instrukcję dla konkretnej sekcji serwisu. Po wdrożeniu nie trzeba codziennie zmieniać robots.txt — wróć do niego, gdy przebudowujesz strukturę, uruchamiasz sklep lub zauważysz niepotrzebny ruch automatyczny w statystykach hostingu.