Примеры robots.txt
Приведем конкретные примеры написания файла robots.txt для разных задач.
1. Запретить ресурс полностью к индексации всеми поисковыми роботами.
User-agent: * Disallow: /
2. Не запрещать весь ресурс к индексации всеми поисковыми роботами.
User-agent: * Disallow:
3. Запретить весь ресурс к индексации одним поисковым роботом, к примеру, роботом Bot.
User-agent: Bot Disallow: /
4. Не запрещать весь сайт к индексации одному роботу, к примеру, Bot, и запретить к индексации всем остальным поисковым роботам.
User-agent: Bot Disallow:
User-agent: * Disallow: /
5. Запретить несколько папок к индексации всеми поисковыми роботами.
User-agent: * Disallow: /directoria-1/ Disallow: /directoria-1/ Disallow: /hidedirectoria/
6. Запретить несколько файлов к индексации всеми поисковыми роботами.
User-agent: * Disallow: /hide.php Disallow: /secret.html
|