🤖 Αναβάθμιση & αναπροσαρμογής

ρομπότ.txt & Sitemap Tester

Εισάγετε οποιοδήποτε URL site. Φέρνουμε τα ρομπότ.txt και sitemap.xml από τον διακομιστή μας, σας δείχνουν τις οδηγίες crawl και δήλωσε sitemaps, και σημαία το query-string sitemap URLs που προκαλούν δύο φορές-περιεχομένου demotions.

Πώς να δοκιμάσετε ένα ρομπότ.txt και sitemap.xml

Τέσσερα βήματα, χωρίς εγγραφή.

1

Επικόλληση URL ιστοσελίδας

Εισάγετε το URL της αρχικής σελίδας του site. Δεν χρειάζεστε το πλήρες μονοπάτι για ρομπότ.txt..

2

Παίρνουμε από τον σέρβερ μας.

Ο διακομιστής μας ζητά ρομπότ.txt και κάθε δηλωμένο sitemap.xml, έτσι το τεστ δεν μπλοκάρεται από το πρόγραμμα περιήγησης ή τη δική σας κρύπτη.

3

Διαβάστε τις οδηγίες και sitemaps

Αναθεωρήστε τις ομάδες χρηστών-πράκτορα, τους κανόνες απαγόρευσης και τον κατάλογο των δηλούμενων sitemaps, με ένα δείγμα URL από κάθε μία.

4

Φτιάξε αυτό που σημαδεύεις.

Λύστε οποιαδήποτε αναζήτηση-χορδή ιστοσελίδα URLs ή μπλοκαρισμένες-αλλά-δείκτης συγκρούσεις πριν από μια μηχανή αναζήτησης υποβιβαστεί τα αντίγραφα.

Τι ελέγχει αυτός ο ελεγκτής

Τα ίδια φύλακας που τρέχουμε εσωτερικά πριν δημοσιεύσουμε μια μόνο σελίδα.

📜

Οδηγίες για την εφαρμογή των οδηγιών

Παριστάνει κάθε ομάδα χρηστών-πράκτορα και τους κανόνες της για να μπορείτε να δείτε ακριβώς τι είναι μπλοκαρισμένο.

🗺️

Δηλώθηκε sitemaps

Καταγράφει κάθε χάρτη ιστοχώρου που αναφέρεται σε ρομπότ.txt, φετίχ το καθένα, και αναφέρει τον τύπο και την μέτρηση URL του.

⚠️

Ερωτηματολόγια με κορδόνια

Σημαίες-string sitemap URLs που σπέρνουν κοντά-αντιγράψτε σελίδες και να ενεργοποιήσετε δύο-περιεχομένου demotions.

🔗

Φέρτε υγεία

Τα αλιεύματα sitemap που δηλώθηκαν σε ρομπότ.txt ότι λάθος, ανακατευθύνσεις, ή επιστροφή μη-XML ~ σιωπηλά δολοφόνοι σύρονται.

Συχνές ερωτήσεις

Μια ενιαία αναζήτηση-χορδή URL σε ένα sitemap μπορεί να σπέρνει χιλιάδες σελίδες κοντά-αντιγραφή. Μηχανές αναζήτησης σέρνονται τους, βρίσκουν το ίδιο περιεχόμενο κάτω από διαφορετικές παραμέτρους, και να υποβιβάσουν ολόκληρη τη συστάδα για διπλό περιεχόμενο.
Όχι. Ένα λείπει ή άδεια ρομπότ.txt επιτρέπει απλά όλα τα σέρνεται. Ο κίνδυνος είναι το αντίθετο: ένα υπερ-εξωτερικό αποτρέπει ότι μπλοκάρει σελίδες θέλετε setting, ή ένα sitemap που δηλώνεται σε ρομπότ.txt που επιστρέφει ένα σφάλμα.
Όχι. Φέρνουμε ρομπότ.txt και τα sitemaps που δηλώνει, στη συνέχεια, να διαβάσετε ένα δείγμα URL από κάθε. Δεν αναδρομικά συρθεί κάθε σελίδα, έτσι το τεστ είναι γρήγορο και δεν θα φορτώσει τον διακομιστή σας.
Ναι, ο ελεγκτής είναι ελεύθερος χωρίς καμία σήμανση. Η πρόσβαση σε πρόγραμμα μέσω REST API είναι διαθέσιμη στα σχέδια διαχείρισης που πληρώνονται.
⚙️ Για προγραμματιστές

Τρέξε το στον αγωγό σου.

Αυτός ο ελεγκτής τρέχει εξ ολοκλήρου server-side ~ υποβάλλετε ένα URL, πίσω μέρος μας φέτσες και passes ρομπότ.txt και τα δηλωμένα sitemaps, στη συνέχεια εκ νέου διανέμει αυτή τη σελίδα με τα αποτελέσματα. Βλέπε σχέδια →