Продвижение сайта
и
поисковая оптимизация

      Главная   ||   Контакты   ||   Принципы   ||   Ядро   ||   ТИЦ  ||   Риски  ||   Стоимость      

Технологии
» Мета-теги
» Коды ошибок сервера
» Favicon
» Robots.txt
» Файл .htaccess
» Тэг Title


Поисковые системы
» Rambler
» Яндекс
» Google
» Фильтрование ссылок

Примеры robots.txt

Приведем конкретные примеры написания файла robots.txt для разных задач.

1. Запретить ресурс полностью к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /

2. Не запрещать весь ресурс к индексации всеми поисковыми роботами.

User-agent: *
Disallow:

3. Запретить весь ресурс к индексации одним поисковым роботом, к примеру, роботом Bot.

User-agent: Bot
Disallow: /

4. Не запрещать весь сайт к индексации одному роботу, к примеру, Bot, и запретить к индексации всем остальным поисковым роботам.

User-agent: Bot
Disallow:

User-agent: *
Disallow: /

5. Запретить несколько папок к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /directoria-1/
Disallow: /directoria-1/
Disallow: /hidedirectoria/

6. Запретить несколько файлов к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /hide.php
Disallow: /secret.html


Средства
» DMOZ
» Яндекс.Каталог
» Сравнение рекламы и раскрутки
» Оптимизация форума


Методы
» Уникальность контента
» Нежелательные приемы
» Подбор ключевых слов
» Трафик
» Обмен ссылками
» Работа с аудиторией

© 2007-2017 media-seo.ru - Поисковая оптимизация. Примеры robots.txt.


#