🤖 Pędkowanie i indeksowanie

roboty.txt & Mapa strony Tester

Wprowadź dowolne URL strony. Pobieramy jego roboty.txt i sitemap.xml z naszego serwera, pokazujemy ci dyrektywy wiozło i deklarowane mapy stron, a także znajdujemy URL-y listy stron witryn, które powodują democjację podwójnego zawartości.

Jak testować roboty.txt i sitemap.xml

Cztery kroki, bez rejestracji, cały czek jest na stronie serwera.

Wklej URL strony

Wprowadź URL strony internetowej dowolnej. Nie potrzebujesz pełnej ścieżki do robotów.txt – pochodzimy z komputera.

Pobieramy z naszego serwera

Nasz serwer wymaga robotów.txt i każdego zgłoszonego mapy strony.xml, więc test nie jest zablokowany przez przeglądarkę lub własne klawiatury.

Przeczytaj dyrektywy i mapy stron

Przeglądaj analizowane grupy agentów użytkownika, nie dopuszczaj zasad i listę deklarowanych map stron, z próbką URL z każdej.

Naprawić to, co jest pod kontrolą

Rozwiązać wszelkie URL-y strony w wierszu zapytania lub zablokowane- but-indeksowane konflikty, zanim wyszukiwarka demoluje kopie.

Co sprawdza ten tester

Te same trasy, które prowadzimy wewnętrznie przed wydaniem jednej strony.

📜

Dyrektywy dotyczące przepływu

Analizuje każdą grupę agentów użytkownika i jej zasady Pozwolenie / Wykluczenie, aby móc zobaczyć dokładnie co jest zablokowane.

🗺️

Ogłoszenia mapy stron

Wyświetla każdą mapę stron powołaną w robotach.txt, pobiera każdy z nich i zgłasza liczbę adresów.

⚠️

Bloat zapytania-string

Flaga zapytanie-string mapy adresów URL, które nasadzają strony niedaleko-duplikacyjne i wywołują demolację zawartości dwustrukowych.

🔗

Pobierz zdrowie

Połowy mapy strony zadeklarowane w robotach.txt ten błąd, przekierowanie lub powrót poza-XML – ciche zabójcy.

Często zadawane pytania

Jednorazowy URL zapytania w mapie strony może osadzać tysiące stron blisko-duplikowanych. Wyszukiwarki ich połzać, znaleźć tę samą zawartość pod różnymi parametrami, i demolizować całą klastr dla duplikacji treści. Ten tester flaguje je przed tym.

Nie. Brak lub pusty roboty.txt pozwala na pędanie. Ryzyko jest przeciwne: przekroczeniem, które zablokuje strony, które chcesz zindeksować, lub mapą witryny zgłoszoną w robotach.txt, która zwraca błąd.

Nie. Pobieramy roboty.txt i mapy strony deklarują, następnie czytamy próbkę adresów URL z każdego. Nie pobieramy rekursywnie każdej strony, więc test jest szybki i nie będzie załadowywać serwera.

Tak, tester jest bezpłatny bez rejestracji. Programematyczny dostęp za pośrednictwem API REST jest dostępny w płatnych planach zarządzanych.

⚙️ Dla programistów

Zajmij się tym.

Ten tester działa całkowicie na stronie serwera — przedkładasz adres URL, nasz interfejs przenosi i analizuje roboty.txt i deklarowane mapy stron, następnie oddaje tę stronę z wynikami. Programematyczny REST API dla CI/CD i audyt masowy jest dostępny w płatnych planach zarządzanych. Zob. plany →