Pędkowanie i indeksowanie

roboty.txt & Mapa strony Tester

Wprowadź dowolne URL strony. Pobieramy jego roboty.txt i sitemap.xml z naszego serwera, pokazujemy ci dyrektywy wiozło i deklarowane mapy stron, a także znajdujemy URL-y listy stron witryn, które powodują democjację podwójnego zawartości.

Jak testować roboty.txt i sitemap.xml

Cztery kroki, bez rejestracji, cały czek jest na stronie serwera.

1

Wklej URL strony

Wpisz adres strony głównej dowolnej witryny. Nie potrzebujesz pełnej ścieżki do robots.txt, bo wyprowadzamy ją z hosta.

2

Pobieramy z naszego serwera

Nasz serwer wymaga robotów.txt i każdego zgłoszonego mapy strony.xml, więc test nie jest zablokowany przez przeglądarkę lub własne klawiatury.

3

Przeczytaj dyrektywy i mapy stron

Przeglądaj analizowane grupy agentów użytkownika, nie dopuszczaj zasad i listę deklarowanych map stron, z próbką URL z każdej.

4

Naprawić to, co jest pod kontrolą

Rozwiązać wszelkie URL-y strony w wierszu zapytania lub zablokowane- but-indeksowane konflikty, zanim wyszukiwarka demoluje kopie.

Co sprawdza ten tester

Te same trasy, które prowadzimy wewnętrznie przed wydaniem jednej strony.

📜

Dyrektywy dotyczące przepływu

Analizuje każdą grupę agentów użytkownika i jej zasady Pozwolenie / Wykluczenie, aby móc zobaczyć dokładnie co jest zablokowane.

🗺️

Ogłoszenia mapy stron

Wyświetla każdą mapę stron powołaną w robotach.txt, pobiera każdy z nich i zgłasza liczbę adresów.

⚠️

Bloat zapytania-string

Flaga zapytanie-string mapy adresów URL, które nasadzają strony niedaleko-duplikacyjne i wywołują demolację zawartości dwustrukowych.

🔗

Pobierz zdrowie

Wychwytuje sitemapy zadeklarowane w robots.txt, które zwracają błąd, przekierowują lub zwracają coś innego niż XML. To ciche zabójcy skanowania.

Często zadawane pytania

Jednorazowy URL zapytania w mapie strony może osadzać tysiące stron blisko-duplikowanych. Wyszukiwarki ich połzać, znaleźć tę samą zawartość pod różnymi parametrami, i demolizować całą klastr dla duplikacji treści. Ten tester flaguje je przed tym.
Nie. Brak lub pusty roboty.txt pozwala na pędanie. Ryzyko jest przeciwne: przekroczeniem, które zablokuje strony, które chcesz zindeksować, lub mapą witryny zgłoszoną w robotach.txt, która zwraca błąd.
Nie. Pobieramy roboty.txt i mapy strony deklarują, następnie czytamy próbkę adresów URL z każdego. Nie pobieramy rekursywnie każdej strony, więc test jest szybki i nie będzie załadowywać serwera.
Tak, tester jest bezpłatny bez rejestracji. Programematyczny dostęp za pośrednictwem API REST jest dostępny w płatnych planach zarządzanych.
Dla programistów

Zajmij się tym.

Ten tester działa w całości po stronie serwera. Podajesz adres URL, nasz backend pobiera i analizuje robots.txt oraz zadeklarowane sitemapy, a potem ponownie renderuje tę stronę z wynikami. Programowe REST API dla CI/CD i audytów hurtowych jest dostępne w płatnych planach Managed. Zob. plany →

Programator API

Użyj programu

Każde narzędzie jest dostępne przez jedno uwierzytelnione REST API w planach Pro i API. Podłącz je do swojego CI, CMS lub paneli.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Pobierz klucz API → Wymiarowe, cenowe, bezpłatne, interaktywne narzędzie powyżej.
Sprawdź każdą stronę witryny, nie jedną naraz
Pro łączy Google Search Console, pobiera każdą stronę pominiętą przez Google, każdą niedziałającą i każdą nisko pozycjonowaną, i opisuje, co poprawić na każdej z nich.
Zobacz, jak działa Pro