W skrócie
Cytuj to hasło
Zaznacz przypis i skopiuj: Robots.txt. W: Słownik pojęć e-commerce, Pro1.pl. https://pro1.pl/slownik/robots-txt (sprawdzono 13 września 2026).
Robots.txt to plik w katalogu głównym domeny, w którym właściciel wskazuje robotom, których adresów nie pobierać; nie decyduje o obecności w wynikach.
Na tej stronie (4)
Dyrektywy odnoszą się do pobierania, nie do widoczności w SERP. Zwykły plik tekstowy w głównym folderze witryny mówi crawlerom, gdzie nie wchodzić; składnię opisuje standard RFC 9309.
Jak się tego używa
Do oszczędzania budżetu indeksowania na adresach bez wartości: wynikach wyszukiwarki sklepowej, kombinacjach filtrów, koszyku i koncie klienta. Tym samym plikiem ogranicza się roboty zbierające treść dla modeli językowych, o ile deklarują własne nazwy. Podaje się w nim też adres mapy witryny.
Dlaczego warto to znać
Blokada nie usuwa strony z wyników. Adres zablokowany, ale linkowany z innych miejsc, może zostać w indeksie bez opisu, bo robot nie wejdzie i nie zobaczy dyrektywy wykluczenia. Do usunięcia z wyników służy noindex, do scalenia bliźniaczych adresów adres kanoniczny; wybór zależy od tego, czy strona ma być odwiedzana, indeksowana czy połączona z inną.
Na co uważać
Blokada arkuszy stylów i skryptów potrzebnych do wyświetlenia strony psuje jej ocenę przez wyszukiwarkę. Plik jest publiczny, więc niczego nie chroni, a jego przestrzeganie zależy od dobrej woli robota. Osobno funkcjonuje propozycja pliku llms.txt opisującego treść serwisu dla modeli językowych; nie jest to standard obsługiwany przez główne wyszukiwarki i nie zastępuje tego pliku.
Co z tym zrobić w sklepie
Warto otworzyć plik robots.txt własnego sklepu i sprawdzić, czy nie blokuje katalogów ze zdjęciami, skryptami albo stronami kategorii, których sklep chce w indeksie, oraz czy świadomie zdecydowano o botach AI. Blokada w robots.txt nie usuwa strony z wyników; do tego służy noindex. Jak robots.txt wpływa na widoczność w asystentach, wyjaśnia pytanie o pozycjonowanie w ChatGPT, a listę kontrolną dla agentów wpis o sklepie gotowym na agentów AI.
Zobacz też
Noindex
Noindex to polecenie w metatagu robots lub nagłówku serwera, że strona nie ma pojawiać się w wynikach; działa dopiero po pobraniu strony przez robota.
Crawl budget
Crawl budget (budżet indeksowania) to liczba adresów, które Googlebot chce i może pobrać z witryny w danym czasie; problem głównie bardzo dużych sklepów.
Googlebot
Googlebot to robot Google, który pobiera strony, renderuje je jak przeglądarka i przekazuje treść do indeksu, głównie w wersji mobilnej.
Sitemap
Sitemap (mapa witryny XML) to plik z listą adresów, które właściciel uznaje za warte zaindeksowania, wraz z datą ostatniej modyfikacji.
GEO
GEO (optymalizacja pod wyszukiwarki generatywne) to działania zwiększające szansę, że asystenci i wyszukiwarki AI przytoczą lub polecą sklep i jego ofertę.
Pytania o to pojęcie
Na blogu
Źródła
- How Google Interprets the robots.txt Specification, Google for Developers, odczyt