Доступ к URL заблокирован в файле robots.txtПроблема "Доступ к URL заблокирован в файле robots.txt"
Иногда следует пристально изучить свой файл robots.txt, чтобы понять что он запрещает.
Сергей написал Проблема с индексацией страницы. Проверка адреса сообщает: Доступ к URL заблокирован в файле robots.txt. Это касается моих страниц вида http://my-site-name/city/script-filename.php?-product-name Как исправить?
Вот очередное подтверждение аксиомы никогда не слушать мнения дилетантов от SEO. Здесь уже разработчик Impera CMS допустил оплошность, слепо добавив в robots.txt несколько неадекватных инструкций, не проверив перед этим, от SEO-шников какого уровня квалификации получены данные строки.
Речь идёт об инструкциях с шаблонным символом *, обозначающим некий
набор знаков. Как Google понимает
такой символ, так и Яндекс тоже его понимает.
Однако инструкции с подобным символом должны применяться осторожно, с оглядкой
на то, что менеджеры CMS-ок имеют возможность задавать страницам произвольные
адреса. Ещё лучше - вообще не применяться, поскольку менеджеру позволено
самостоятельно добавить в robots.txt любые инструкции, какие он считает
правильными в условиях адресного пространства его сайта.
Удалите следующие строки, которые помечены ниже таким цветом. Дополнительным цветом помечены строки, блокирующие индексацию изображений, используемых в дизайне сайта.
User-agent: * Disallow: /sections/404 Disallow: /admin/ Disallow: /captcha/ Disallow: /cache* Disallow: /compiled* Disallow: /configs* Disallow: /connectors/ Disallow: /design/ Disallow: /js/ Disallow: /objects/ Disallow: /Smarty/ Disallow: /registration* Disallow: /login* Disallow: /search* Disallow: /catalog/*/page_* Disallow: /*_openstat Disallow: /*from=adwords Disallow: /*utm_source* Disallow: /*gclid= Disallow: /sections/magazin Disallow: /cart* Disallow: /notify Disallow: /account Disallow: /admin Disallow: /ajax Disallow: /articles/page_ Disallow: /articles/*/page_ Disallow: /brands/page_ Disallow: /brands/*/page_ Disallow: /cache Disallow: /callme Disallow: /captcha Disallow: /cart Disallow: /catalog/page_ Disallow: /catalog/*/filter_ Disallow: /catalog/*/page_ Disallow: /cml Disallow: /compare Disallow: /compiled Disallow: /configs Disallow: /configurator Disallow: /connectors Disallow: /countries/page_ Disallow: /countries/*/page_ Disallow: /defer Disallow: /design Disallow: /export Disallow: /feedback Disallow: /fulminant-order Disallow: /images Disallow: /import Disallow: /informer Disallow: /items Disallow: /js Disallow: /kits/page_ Disallow: /login Disallow: /logout Disallow: /news/page_ Disallow: /news/*/page_ Disallow: /notify Disallow: /media/*/page_ Disallow: /objects Disallow: /order Disallow: /quickorder Disallow: /regions/page_ Disallow: /regions/*/page_ Disallow: /registration Disallow: /rss Disallow: /search Disallow: /sections/404 Disallow: /sections/*/page_ Disallow: /Smarty Disallow: /sounds Disallow: /stocks/page_ Disallow: /stocks/*/page_ Disallow: /tags Disallow: /towns/page_ Disallow: /towns/*/page_ Disallow: /vk_fail Disallow: /vk_process Disallow: /vk_success Disallow: /*module= Disallow: /*_openstat Disallow: /*from=adwords Disallow: /*utm_source* Disallow: /*gclid= Host: my-site-name
В следующем обновлении движка указанные изменения будут внесены в файл robots.txt.