24 Ноя 2012

Эксперимент. Имеют ли значение для поисковиков Yandex Google правила указанные в файле robots.txt

Так как мой блог все таки называется «Моя СЕО Лаборатория», то я просто обязан проводить эксперименты. И вот мне в голову пришел один такой. Мне стало очень интересно, что будет если проиндексированному сайту поменять правила в файле robots.txt. Точнее было интересно на сколько большое значение он имеет для поисковых роботов. Обращают ли они внимание или им все равно.

Для эксперимента взял два своих тестовых сайта с контентом, который находиться в индексе обоих поисковиков. То есть в поисковыми роботами Яндека и Гугла сайты нормально и полностью проиндексированы. Сначала думал сделать сайты, указать правила и посмотреть как им будут следовать роботы. Но потом упростил себе задачу, тем более более, что есть сайты уже со страницами в индексе.

И так что я сделал. Взял два сайта страницы, которых уже в индексе как Яндекса и Гугла. В файле robots.txt написал следующее:

User-agent: *
Disallow: /

Что означают эти строки?

User-agent: *

— говорит о том, что правила указаны для роботов всех поисковиков, то есть не стал разделять поименно.

Disallow: /

— говорит о том, что все страницы, которые идут после доменного имени не должны быть проиндексированны. То есть по моим в индексе должны остаться только главные страницы, а все остальные должны вывалиться.
Через пару неделек посмотрел на результат и ничего не произошло.  Понятное дело в яндексе и не должно так как он очень медленно индексирует сайт. Да, конечно, если бы у меня был новостник, то никаких проблем. Но у меня для эксперимента выделен просто сайтик. А вот гугл не порадовал, хотя я думал, что ему вовсе класть на правила из роботс. Но все же где-то через месяц у моего сайта  в индексе осталось по одной странице в обоих поисковиках

Так что можно надеяться на то, что правила из файла роботс все таки учитываются поисковиками.

Подписаться на новые статьи!

Leave a Reply