Загрузка...

Настройка robots.txt

Robots.txt — помощник в продвижении Вашего сайта.

Каждый владелец сайта желает быстрого продвижения и соответственно, поднятие сайта в топ поисковых систем. Для достижение оптимального результата необходима быстрая индексация страниц. За счет нее повышается релевантность выдачи страниц Вашего сайта поисковой системой, так как проиндексированная информация считается новой и актуальной. Конечно же, чем быстрей проиндексируется страница, тем меньше вероятность воровства написанного Вами контента. А мы помним, что уникальность – один из ключевых параметров продвижения.

Так что же необходимо сделать, что бы индексация страниц проходила быстро и сайт поднимался в выдаче?

Необходимо понимать алгоритм работы роботов поисковых систем. Как правило, за одно посещение робот скачивает ограниченное количество страниц. Поэтому, сайт должен соответствовать определенным параметрам, чтобы робот чаще возвращался. Если страницы сайта крайне медленно загружаются, сайт рискует выбыть из индекса. Так же очень снизиться частота индексации при редком обновлении страниц или неуникальности контента. Не прибавит эффективности и сложная структура строения сайта с большим количеством вложений и «лишних» нецелевых страниц.
Robots.txt как раз призван для того, чтобы облегчить работу роботам поисковых систем, а следовательно, позволит Вашему сайту более эффективно продвигаться вверх по строчкам поисковиков.

Для того, чтобы убедиться в том, что на Вашем сайте присутствует robots.txt, воспользуйтесь нашим сервисом.

Текстовый файл robots.txt – стандарт исключений, используемый роботами с 1994 года. По сути, это сет инструкций для роботов, ограничивающих их доступ к сайту.

Текстовый документ создается элементарно — в «Блокноте» и размещается затем в корне сайта через FTP, либо создается из панели управления или встроенный FTP-менеджер, если эта возможность предусмотрена CMS сайта. При его создании соблюдайте правила web синтаксиса и грамотности. Для написания названия самого текстового файла используются маленькие латинские буквы. Написание директив возможно и заглавными буквами, но если некоторые роботы и не чувствительны к регистру, то он влияет на имена файлов и директорий.

Размер текстового файла имеет не последнее значение: файл размером более 32 Кб рассматривается, как полностью разрешающий – «disallow», как и файл пустой или нечитаемый по каким-либо причинам.

Для поисковой оптимизации прописываются различные директивы:

  1. «user agent» — указывает для какого именно робота действуют указанные параметры,
  2. «allow» — разрешает индексацию,
  3. «disallow» — запрещающая,
  4. «clean-param» — не загружать для индексации страницы с динамическим адресом и другие.

Для робота Яндекса используется отдельная директория «host». Она указывает параметры для основного адреса сайта и его зеркала. Адрес сайта записывается без «http://», просто само доменное имя. А вот «зеркало» уже в формате «www.».

Директива «sitemap» показывает роботу карту сайта, что улучшает качество индексации.

Если Вы владелец крупного сайта с большим количеством страниц, то Вам необходимо использовать директиву «crawl-delay». Она позволит регламентировать частоту работы роботов со страницами вашего сайта и снизит на него нагрузку.

Принято для каждого робота прописывать свой блок. То есть, в тексте будет, например, «User-agent: Яндекс». Если директива универсальна, то пишется «User-agent:*».
Строки в файле пишутся без пропуска, блоками. На каждой строке указывается только одна директива. Начало строки идет без пробелов, а параметры директивы указываются без кавычек. Для добавления комментариев используется символ «решетка #». Другие допустимые символы: * в конце параметра указывает на одинаковое применение у всех подобных страниц; символ $ — обозначает точное соответствие исключение конкретного параметра. В блоке указывается сначала раздел сайта, к которому применяются указанные ограничения, а затем его части.

Как видите, этот маленький текстовый файл способен творить чудеса SEO продвижения, но только при условии грамотного его составления.

Развивайтесь вместе с нами ;)