Перейти к содержанию

Robots.txt – история использования и как его создавал

Что такое Robots.txt? Это специальный файл, в котором храниться важная информация для индексации сайтов. Для каждого сайта в Интернете есть такой файл, он отличается по настройкам, но суть работы одинаковая.

Понятным языком для новичков о файле Роботс

Здравствуйте, уважаемые читатели! Работая в Интернете с сайтами, начинающие вебмастера задаются вопросами, а что такое Robots.txt, как его правильно создавать? В этой статье мы поговорим об этом подробно. Показан мой личный опыт, рассказываю без использования источников.

Итак, файлом Роботс называют документ в формате txt с прописанными настройками. Эти настройки показывают, какие страницы нужно индексировать для поисковых систем Яндекс и Гугл. Таким образом мы даём поисковым роботам понять, что выдавать в результатах выдачи поиска.

что такое роботс

Для всех сайтов в Интернете файл robots одинаковый, так как работает по общему алгоритму. Единственно, нужно указать в нём адрес своего сайта и сохранить изменения. Выше на картинке вы видите, как должен отображаться файл. Основные значения файла следующие – Allow, позволять индексировать и Disallow запрещать индексацию. В файле прописывается параметр, далее ссылка на страницу. После чего изменённый документ загружается на хостинг, где находится ваш сайт.

Как создать Robots.txt

Создавать документ Robots.txt не является проблемой, достаточно скачать на компьютер файл по этой ссылке.

Robots.txt

Затем нажмите «Скачать» и открываете документ в загрузках на компьютере. Далее копируете адрес своего сайта и вставляете в указанные поля.

Robots.txt

Теперь нажмите на крестик справа вверху и сохраните документ, перед загрузкой на хостинг.

Как загрузить Robots.txt

Я на примере покажу вам добавление файла на хостинге Хостленд. У вас может быть другой провайдер.

что такое Robots.txt

Необходимо перенести файл в корневой каталог сайта левой кнопкой мыши. Он загрузится автоматически и в течение минуты изменения вступят в силу.

редактор роботс файла

Если вы захотите отредактировать файл, нажмите по нему правой кнопкой мыши и выберите функцию редактирования.

В окне файла добавляете изменения и нажимаете «Сохранить как».

 Как посмотреть на сайте Роботс

Файл Роботс вы можете посмотреть в адресной строке браузера, после адреса своего сайта /robots.txt и нажать по активной ссылке.

что такое роботс

Эта возможность поиска позволяет понять, есть ли этот документ на хостинге или нет. Если ничего не нашли, проверьте правильность написания адреса и загрузите файл на хостинг снова.

Заключение

В статье пояснили подробно, что такое Robots.txt? Также я рассказал вам, как создать данный файл и загружать на хостинг. Эта информация поможет начинающим вебмастерам открыть некоторые страницы к индексации или наоборот закрыть. Надо сказать, что информацию о Роботсе можно получить в Яндекс Вебмастере, если у вас был добавлен туда сайт.

Удачи вам, читатели!

С уважением, Сергей Ёлчев.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Яндекс.Метрика

Сергей Елчев. Все права защищены copyright:2021-2024