Важность файла robots.txt в индексации сайта.

Всё меньше и меньше дней остается до нового года…
Честно говоря, по магазинам я еще не бегаю (возможно сегодня пойду), хотя народу там должно быть предостаточно. Ну а пока есть время, я немного хочу рассказать о важности такого файлика на вашем сайте, как [b]robots.txt[/b] .
Зачем же он нужен? Для правильной и точной индексации вашего сайта поисковиками. Создать файлик легко и просто, но вписать нужные команды, может не каждый. Сейчас я ‘попытаюсь’ вам рассказать о некоторых командах и их назначениях.
Любой robots.txt, начинается со строк (в конце статьи, я приведу понятный пример использования файла):
[i]User-agent: *[/i] — Данная команда устанавливает имя поисковой системы, для которой запрещен доступ к ресурсу указанный в поле ‘Disallow’, где звездочка, означает всех ботов. Если вам нужно использовать данную команду только для определенного(ых) бота(ов), то нужно прописывать:
[i]User-agent: Googlebot[/i], однако при добавлении других ботов, нужно прописывать их так же с новой строки, изменив название с Googlebot на другой.
Поле [i]Disallow: cache/mache[/i] — устанавливает адрес страницы, которую вы хотите сделать недоступной. Например для всех url, будет правильно применить знак ‘/’ (без кавычек разумеется). Если вы хотите сделать запрет для какой либо одной страницы, то правильно будет прописать так:
[i]Disallow: /loads/bylad[/i] — данная команда обозначает, что для всёх поисковых систем (или любой другой, которую вы указываете в user-agente’e) доступ к странице с адресом /loads/bylad/ запрещен.
Символ [i]#[/i] — рассматривается поисковиками, как комментарий к инструкции.
Команда [i]Sitemap: http://your-site.ru/sitemap.xml[/i] — адрес карты вашего сайта. Путь может быть любым, а ‘your-site’ заменяем url-адресом вашего сайта.
Для склейки доменов используется директива [b]Host[/b], которая идет после Disallow и Allow исходя из этого, при склейке доменных имен пишем следующее:
[i]Host: site.ru[/i] — вместо site.ru, пишем новый домен (можно с www, если нужно). Применять нужно в основном для яндекса и рамблера.

Правильная карта сайта будет выглядеть так (разумеется, всё берется в примерах, и не нужно её копировать, во избежании исключения из поиска вашего сайта):
User-agent: YandexBot
Dissalow:
Sitemap: http://your-site.ru/sitemap.xml
Из вышепредложенных команд, составляем свой, правильный файл robots. В интернете есть уже готовые для популярных движков, таких как: Joomla, WordPress, phpbb и т.п.

[b]Как правильно работать с файлом robots.txt[/b]
Всё поисковики начинают исследование сайта именно с данного файла. Поэтому ошибки могут привести к неправильной индексации (частенько отображается на яндексе).
Файл robots.txt всегда прописывается в нижнем регистре (строчными буквами), и написание его, скажем ROBOTS.TXT будет являться неправильным.
Один домен — один robots.txt
В robots.txt , каждая команда (число которых неограничено, и пишутся они, только строчными буквами) должна прописываться в новой строке. Если оба поля содержат пустые строки, команда считается недействительной.
Файл должен находится в корневой папке вашего сайта.
Для поддоменов robots.txt тоже обязателен.
Желательно установить пароль на robots.txt , чтобы защитить информацию.

В интернете есть множество автоматизированных сервисов для создания данного файлика. Если же вам неохото их искать, то с данной задачей (создание файла), хорошо справляется и мини программа [url=http://seo.weiseer.net/loads/sitema.zip]Sitemapgenerator[/url].
P.S. Данную статью я написал из-за эмоций, которые появились, когда я вспомнил, что надо указать адрес карты сайта. В результате чего, мой блог быстро и практически полностью проиндексировал [red]Я[/red]ндекс.
Спасибо за внимание.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *