Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayıp hangilerini taramayacaklarını söyleyen bir dosyadır. Sitenizin kök dizininde bulunmalıdır.
Robots.txt gizli içerikleri korumak için yeterli değildir. Hassas içerikleri korumak için sunucu tarafında kimlik doğrulama kullanın.