новости 17.11

Недавно сотрудниками компании Google Джоном Мюллером и Гэри Илшем была опубликована серия Twitter  постов, посвященных индексации Sitemap и файлов robots.txt. Гэри Илш сообщил, что они могут индексироваться и ранжироваться в поиске Google. Так как для индексирования файл robots.txt это просто url с контентом, который может быть ранжирован. Мюллер, в свою очередь напомнил, что для того, чтобы запретить индексацию файла необходимо использовать HTTP-заголовок X-Robots-Tag. Мюллер написал, что если ранжирование происходит по обычным запросам без site, то этот факт означает, что с сайтом есть проблемы и они непременно требуют решений.

Также для того, чтобы блокировать индексацию можно воспользоваться директивой «disallow». По заявлению Мюллера, Sitemap используется напрямую программами и не индексируется. Если robots.txt возвращает ошибку 5xx это значит, что Google не будет проводить индексацию сайта.