и мы с вами свяжемся!
Disallow — одна из основных установок файла robots.txt. Она скрывает от поисковиков файлы, указанные сразу после нее. То есть, Disallow в robots.txt:
«Disallow: / page3/ »
означает, поисковые системы не будут индексировать страницу 3. Если есть необходимость полностью скрыть сайт от роботов поисковика, тогда в файле robots.txt нужно записать Disallow:/.
Установка позволяет сократить время на обработку страниц, которые не имеют значения для SEO-продвижения.
Заполните форму ниже и наш менеджер с вами свяжется!