Примеры robots.txt

Приведем конкретные примеры написания файла robots.txt для разных задач.

1. Запретить ресурс полностью к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /

2. Не запрещать весь ресурс к индексации всеми поисковыми роботами.

User-agent: *
Disallow:

3. Запретить весь ресурс к индексации одним поисковым роботом, к примеру, роботом Bot.

User-agent: Bot
Disallow: /

4. Не запрещать весь сайт к индексации одному роботу, к примеру, Bot, и запретить к индексации всем остальным поисковым роботам.

User-agent: Bot
Disallow:

User-agent: *
Disallow: /

5. Запретить несколько папок к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /directoria-1/
Disallow: /directoria-1/
Disallow: /hidedirectoria/

6. Запретить несколько файлов к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /hide.php
Disallow: /secret.html