Главная > Интернет > Создание сайтов

Файл robots.txt - необходим для правильной индексации блога. В нем указываются правила о том, что нужно индексировать, а что нет. В robots.txt прописывают команды на запрет сканирования и занесения в базу поисковиков некоторых директорий блога. При наличии нескольких субдоменов файл нужно создать в корневом каталоге каждого из них. Robots.txt дополняет стандарт sitemaps, который служит противоположной цели – облегчать поисковым роботам доступ к содержимому блога и его индексации.

Автор: ALL WORDPRESS

Файл robots.txt - необходим для правильной индексации блога. В нем указываются правила о том, что нужно индексировать, а что нет. В robots.txt прописывают команды на запрет сканирования и занесения в базу поисковиков некоторых директорий блога. При наличии нескольких субдоменов файл нужно создать в корневом каталоге каждого из них. Robots.txt дополняет стандарт sitemaps, который служит противоположной цели – облегчать поисковым роботам доступ к содержимому блога и его индексации.
Почему нужно создать и использовать robots.txt ?
1) Поисковые роботы не будут индексировать файлы и страницы, которые не должны видеть пользователи, а это предотвратит дублирование контента и сделает ваши записи более весомыми для поисковых систем.
2) Поисковый робот найдет Вашу карту сайта.
Для создания robots.txt есть несколько способов.
Можно использовать специальный плагин kb-robotstxt.Или просто открыть блокнот и скопировать в него заданные правила, далее сохранить файл с расширением txt. После чего загрузить его в корневой каталог блога.
Пример robots.txt сайта Весь Вордпресс.
Теперь рассмотрим сами правила.
Если мы хотим проиндексировать весь блог правила будут такие:
User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www. указать ваш домен

Sitemap: http://domain/sitemap.xml

Если хотим поставить ограничения на служебные папки, то можно прописать например такие строки:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: http://domain/sitemap.xml

Где:
То, что указано после Disallow: #запретит индексацию поисковиками страниц, служебных папок, rss feed-ов, тегов, поисковых результатов. Allow: #здесь нужно указать путь до папки с мультимедийными файлами. Sitemap: #указывает расположение карты сайта. Disallow: /feed/ – запрет фида канала RSS.
Disallow: /comments/ – строку указывать, если нужно запретить индексировать комментарии. User-agent: Yandex – если хотите дать команды поисковому боту Яндекса (например “Crawl-delay”, которая выставляет таймаут между индексацией страниц поисковой системой ).

Дополнительную информацию можо найти в статье Управление индексацией на сайте через robots.txt .

Источник: http://allwordpress.tk