Εάν έχετε ένας καλά σχεδιασμένος και καλά βελτιστοποιημένος ιστοχώρος με το πλούσιο περιεχόμενο λέξης κλειδιού για να προσελκύσει τους επισκέπτες και τις μηχανές αναζήτησης που είναι πραγματικά μεγάλο αλλά εσείς χάνει κάτι που είναι πολύ σημαντικό. Ξέρετε τι αυτός είναι; Αυτό είναι αρχείο του Robots.txt.
το αρχείο του Robots.txt έχει τα μέρη σπουδαιότητας δεδομένου ότι επιτρέπει στις αράχνες ή τις αντιολισθητικές αλυσίδες για να επιτρέψει ή να απαγορεύσει να συρθεί όλες οι σελίδες ενός ιστοχώρου ή ενός ιδιαίτερου webpage. Μερικές φορές οι άνθρωποι έχουν μερικά εμπιστευτικά στοιχεία όσον αφορά τον ιστοχώρο τους και με τη χρησιμοποίηση του αρχείου του robots.txt μπορούν να περιορίσουν τις αντιολισθητικές αλυσίδες ή την αράχνη για να μην συρθούν ή να μην συντάξουν ευρετήριο ότι η ιδιαίτερη σελίδα έτσι κανένας μπορεί να φθάσει σε εκείνη την σελίδα και κατά αυτόν τον τρόπο τα εμπιστευτικά στοιχεία όσον αφορά εκείνη την σελίδα θα είναι ασφαλή.
Πηγαίνοντας να συρθεί ένας ιστοχώρος ή μια μηχανή αναζήτησης webpage αράχνες ή αντιολισθητικές αλυσίδες ψάχνει συχνά ένα πρόσθετο αρχείο που καλείται αρχείο του Robots.txt επειδή μέσω της μηχανής αναζήτησης αρχείων του robots.txt οι αράχνες ή οι αντιολισθητικές αλυσίδες έρχονται να ξέρουν για ποιο Ιστό οι σελίδες εκείνου του ιστοχώρου πρέπει να συρθούν ή να συντάξουν ευρετήριο και ποιο ιστοσελίδας πρέπει να αγνοήσουν.
το αρχείο του Robots.txt είναι ένα απλό αρχείο κειμένων που πρέπει να τοποθετηθεί στον κατάλογο ρίζας ενός ιστοχώρου. Παραδείγματος χάριν:
το αρχείο του Robots.txt πρέπει να είναι όπως όπως
http://www.abc.com/robots.txt
Δημιουργία του αρχείου του Robots.txt:
Όπως αναφέρεται ανωτέρω, το αρχείο του robots.txt είναι ένα απλό αρχείο κειμένων και μπορείτε να το δημιουργήσετε με το άνοιγμα ενός απλού συντάκτη κειμένων όπως το σημειωματάριο. Το στοιχείο ή μια εντολή που αναφέρεται στο αρχείο του robots.txt καλείται όπως «αρχεία».
Ένα αρχείο περιλαμβάνει τις πληροφορίες μιας ιδιαίτερης μηχανής αναζήτησης και κάθε αρχείο έχει τον πράκτορα χρηστών δύο τομέων όπου αναφέρετε το όνομα ρομπότ ή αραχνών και άλλος τομέας είναι απαγορεύει τις γραμμές που μπορούν να είναι μια ή περισσότερες όπου πρέπει να αναφέρετε αυτήν που οι σελίδες ή τα αρχεία πρέπει να αγνοηθούν. Παραδείγματος χάριν:
Χρήστης-πράκτορας: googlebot
Απαγορεύστε: /cgi-bin/
Στο ανωτέρω παράδειγμα robots.txt το αρχείο επιτρέπει «googlebot» που είναι η αράχνη μηχανών αναζήτησης σημαντικής μηχανής Google αναζήτησης για να συρθεί κάθε σελίδα του ιστοχώρου εκτός από τα αρχεία από τον κατάλογο «CGI-δοχείων». Τα μέσα googlebot πρέπει να αγνοήσουν όλα τα αρχεία από τον κατάλογο «CGI-δοχείων».
Και εάν εισάγετε όπως κάτωθι:
Χρήστης-πράκτορας: googlebot
Απαγορεύστε: /support
Το Googlebot δεν θα συρθεί οποιοδήποτε αρχείο από τον κατάλογο υποστήριξης δεδομένου ότι το αρχείο του robots.txt έχει τις οδηγίες στο googlebot για να μην συρθεί οποιοδήποτε αρχείο από τον κατάλογο υποστήριξης.
Σε περίπτωση που φεύγετε απαγορεύστε το κενό τομέων έπειτα που θα δείξει στο googlebot για να συρθεί όλα τα αρχεία του ιστοχώρου. Αλλά εν πάση περιπτώσει πρέπει να πρέπει να απαγορεύσετε τον τομέα για κάθε πράκτορα χρηστών.
Όλοι επάνω από το παράδειγμα ήταν μόνο για το googlebot αλλά εάν θέλετε να δώσετε τα ίδια δικαιώματα στις αράχνες όλης της άλλης μηχανής αναζήτησης χρησιμοποιήστε έπειτα τον αστερίσκο (*) αντί του googlebot στον τομέα πρακτόρων χρηστών. Παραδείγματος χάριν:
Χρήστης-πράκτορας: *
Απαγορεύστε: /cgi-bin/
Στο ανωτέρω παράδειγμα * αντιπροσωπεύει όλες τις αράχνες μηχανών αναζήτησης και το αρχείο του robots.txt επιτρέπει ανωτέρω σε όλες τις αράχνες μηχανών αναζήτησης για να συρθεί κάθε σελίδα του ιστοχώρου εκτός από τα αρχεία από τον κατάλογο «CGI-δοχείων». Σημαίνει ότι όλες οι αράχνες από τις διαφορετικές μηχανές αναζήτησης πρέπει να αγνοήσουν όλα τα αρχεία από τον κατάλογο «CGI-δοχείων».
Εάν θέλετε να ξέρετε τα ονόματα πρακτόρων χρηστών για άλλες μηχανές αναζήτησης έπειτα μπορείτε να την βρείτε στα αρχεία ημερολογίου σας με τον έλεγχο για τα αιτήματα στο robots.txt. Ο συχνότερα, σε όλες τις αράχνες μηχανών αναζήτησης πρέπει να δοθούν τα ίδια δικαιώματα. σε εκείνη την περίπτωση, χρησιμοποιήστε τον χρήστης-πράκτορα: * όπως αναφέρεται ανωτέρω.
Λύσεις Webexcel (ISO 9001:2000 επικυρωμένο) Μια επιχείρηση και SEO Company ανάπτυξης λογισμικού
Ετικέττες λέξης κλειδιού: ρομπότ, μάρκετινγκ μηχανών αναζήτησης, SEO
Καμία απάντηση «στη σημασία το αρχείο του Robots.txt»
Παρακαλώ περιμένετε
Αφήστε μια απάντηση