SEO-ВИКИ
Алфавитный указатель

Robots.txt (Файл)

Robots.txt инструкция для поисковых роботов, которая заносится в корневую папку сайта и контролирует поведение роботов, в частности, не разрешает индексировать определенную часть сайта.

Откуда взялся robots.txt?

Середина 90-х гг. ознаменовалась бурным развитием поисковых сервисов в Интернете, которые своими действиями значительно препятствовали работе по оптимизации сайтов.  Дело в том, что при индексации сайтов  поисковые машины обрабатывали абсолютно все веб-страницы, вследствие чего назрела необходимость разработать  специальное средство,  указывающее поисковикам на то, что следует индексировать, а что нет. Уже в июне 1994 г. был заключен договор, согласно которому  был  создан  особый инструмент - стандарт написания рабочих файлов robots.txt .

Поисковая система  и robots.txt

При посещении сайта поисковик сразу же обращается  к robots.txt, который выглядит:  

  • User-agent: *
  • Disallow: /tmp/
  • Disallow: /cgi-bin/

Знак звездочка  после User-agent сообщает об  общем доступе  к содержимому  robots.txt  для всех поисковых роботов.  Вместо этого знака может быть имя какого-нибудь робота. Disallow означает запрет   действий поисковиков.  Сильно влияет на значение формулы слэш (/) после  Disallow:

  • User-agent: *
  • Disallow: /

Данная косая линия означает запрет индексации  всего сайта  любыми роботами.

Атрибут nofollow и тег noindex также запрещают индексацию, но поисковики неодобрительно к ним относятся.

Начать продвижение

0