by hidedora » Thu May 26, 2011 7:59 pm
Το robots.txt είναι ουσιαστικά ένα αρχείο με το οποίο μπορούμε να μπλοκάρουμε ή να επιτρέψουμε τη δίοδο στις μηχανές αναζήτησης. Αν για παράδειγμα δεν θέλεις για κάποιο λόγο να γίνει crawl κάποια σελίδα της ιστοσελίδας σου, τότε μπορείς να δώσεις εντολή μέσα στο robots.txt και η σελίδα να μην εμφανίζεται στις μηχανές αναζήτησης.