Plik robots.txt kontroluje dostęp robotów
Plik robots.txt na poziomie głównym informuje roboty indeksujące, jakich ścieżek mogą zażądać. Jego głównym celem jest kontrolowanie crawlowania, a nie ochrona informacji przed ludźmi lub gwarantowanie, że adres URL zniknie z wyszukiwania.
Niedozwolona strona może nadal być znana poprzez linki zewnętrzne. Ponieważ robot nie może pobrać kodu HTML, nie może także zobaczyć dyrektywy noindex umieszczonej na zablokowanej stronie.
Zacznij od rzeczywistego pliku produkcyjnego
Otwórz plik /robots.txt, określając dokładny protokół i hosta. Sprawdź status HTTP, typ treści i przekierowania z HTTP lub www. Kopia repozytorium nie stanowi dowodu, że serwer dostarczył ten sam plik.
Zasady obowiązują dla każdego hosta. Subdomeny mogą mieć własne pliki robots.txt. Komentarze mogą pomóc opiekunom, ale nie powinny przesłaniać logiki grupowania.
- Adres HTTPS zwraca status 200.
- Plik jest dostępny bez logowania ani dodatkowej weryfikacji.
- Wpis Sitemap wskazuje aktualny adres HTTPS mapy witryny.
- Nie ma przypadkowego zakazu: /.
Jak działają grupy User-agent i reguły
Grupa zaczyna się od jednej lub więcej linii User-agent, po których następują reguły Allow i Disallow. Puste Disallow niczego nie blokuje, podczas gdy ukośnik może zablokować całego hosta dla tej grupy.
Testuj długie i krótkie ścieżki z prawdziwymi adresami URL. Reguła dla /admin/ nie powinna przypadkowo obejmować zasobu publicznego o podobnym przedrostku. Parametry zapytania i wielkość liter w adresie również mają znaczenie w zależności od rzeczywistego adresu URL.
| Linia | Znaczenie |
|---|---|
| User-agent: * | Grupa dla wszystkich robotów |
| Disallow: /private/ | Nie crawluj tej ścieżki |
| Allow: /private/public.css | Wyjątek dla określonego zasobu |
| Sitemap: https://… | Adres mapy witryny XML |
Crawlowanie, indeksowanie i dostęp użytkownika to różne kwestie
plik robots.txt nie jest uwierzytelnianiem. Chroń prywatne informacje za pomocą loginu lub kontroli serwera. W przypadku strony publicznej, która nie powinna pojawiać się w wynikach wyszukiwania, użyj meta robots lub X-Robots-Tag noindex, jednocześnie umożliwiając robotowi jej odczytanie.
Po zmianie reguły sprawdź stronę docelową i plik. Jego odpowiedź, kanonizacja i mapa witryny powinny być zgodne z zamierzoną polityką.
CSS, JavaScript i obrazy
Zablokowanie folderu technicznego może również spowodować ukrycie CSS, JavaScriptu lub obrazów potrzebnych do wyrenderowania strony. Google powinno być w stanie pobrać zasoby używane przez szablon publiczny.
Przetestuj adresy URL zasobów osobno. Zasoby publiczne potrzebne do renderowania powinny umożliwiać indeksowanie, natomiast prywatne kopie zapasowe, dzienniki i administracyjne punkty końcowe nadal wymagają odpowiedniej ochrony serwera.
Krótka kontrola produkcji
Po wdrożeniu pobierz plik robots.txt jako zwykły użytkownik i jako Googlebot. Następnie przetestuj reprezentatywne adresy URL: stronę główną, artykuł, stronę usługi, CSS i mapę witryny.
Montana WebStudio umożliwia indeksowanie stron publicznych i deklaruje swoją mapę witryny. Plik ads.txt jest sprawdzany osobno i musi pozostać dostępny dla crawlerów AdSense.
- Sprawdź HTTP i HTTPS.
- Przejrzyj grupy i reguły.
- Przetestuj reprezentatywne adresy URL.
- Potwierdź dostęp do CSS i JS.
- Po wdrożeniu sprawdź ponownie wiersz mapy witryny.
Często zadawane pytania
Czy plik robots.txt może usunąć stronę z Google?
Reguła Disallow blokuje crawlowanie, ale adres URL może nadal być znany wyszukiwarce. Aby wykluczyć publiczną stronę HTML, użyj noindex, jednocześnie umożliwiając robotowi odczytanie dyrektywy.
Czy wp-admin powinien być zablokowany?
Ścieżki panelu administracyjnego zwykle nie wymagają crawlowania, ale bezpieczeństwo nadal musi opierać się na uwierzytelnianiu, a nie na samym pliku robots.txt.
Gdzie plik musi się znajdować?
W katalogu głównym konkretnego hosta, np. https://example.com/robots.txt. Plik w podkatalogu nie kontroluje całej witryny.