Robots.txt

Robots.txt — это текстовый файл, предназначенный для ограничения доступа поисковым роботам к содержимому на сервере. Дополняет собой стандарт Sitemaps и располагается в корне сайта. В случае с несколькими поддоменами — в корневом каталоге каждого из них.

Применяемый для выборочного управления индексирования того или иного ресурса, какой файл содержит в себе различные инструкции для различных поисковиков. С их помощью можно задавать файлы, каталоги или страницы порталов, которые временно не подлежат индексации. Дополнительно robots.txt помогает определить место расположения файла, а также подвсказывает, какие страницы необходимо проиндексировать изначально.


Остались вопросы? Свяжитесь с менеджером!

Начните развивать ваш бизнес в интернете уже сегодня!

Запишитесь на бесплатную консультацию, и мы ответим на вопросы!
Ваш персональный менеджер Алексей Токмаков