Посмотрел Вашу ImperaCMS. Система понравилась. Немного раздута, как на мой взгляд, а в целом хорошо.
Не хотел бы с первого раза хвастаться великим знанием seo. Просто скажу, рад поделиться с комьюнити своим представлением о robots.txt. Тот что есть сейчас в ImperaCMS, допускает вхождение левых страниц в поисковый индекс.
Я заметил на форуме, комьюнити борется с какими-то отдельными страницами.
- тыц1 - Заказ - некоторые замечания
- тыц2 - Сканирование поисковиком страниц карзины
- тыц3 - Новая версия шаблона Electronics
- тыц4 - Индексация последующих страниц списка товаров
- тыц5 - Как исправить 404 ошибку?
- тыц6 - Что нужно ОБЯЗАТЕЛЬНО сделать после установки Impera CMS не для теста
Поэтому на основании реврайтов .htaccess и вот этого Основные URL клиентской стороны сайта я собрал в robots.txt все урлы незначащих страниц, пагинации, дубликатов через get-параметры, аяксовых ссылок, админских дверей, системных папок и прочее. Это махом решит большинство вопросов с чистотой индекса.
User-agent: * Disallow: /account Disallow: /admin Disallow: /ajax Disallow: /articles/page_ Disallow: /articles/*/page_ Disallow: /brands/page_ Disallow: /brands/*/page_ Disallow: /cache Disallow: /callme Disallow: /captcha Disallow: /cart Disallow: /catalog/page_ Disallow: /catalog/*/filter_ Disallow: /catalog/*/page_ Disallow: /cml Disallow: /compare Disallow: /compiled Disallow: /configs Disallow: /configurator Disallow: /connectors Disallow: /countries/page_ Disallow: /countries/*/page_ Disallow: /defer Disallow: /design Disallow: /export Disallow: /feedback Disallow: /files Disallow: /fulminant-order Disallow: /images Disallow: /import Disallow: /informer Disallow: /items Disallow: /js Disallow: /kits/page_ Disallow: /login Disallow: /logout Disallow: /news/page_ Disallow: /news/*/page_ Disallow: /notify Disallow: /media/*/page_ Disallow: /objects Disallow: /order Disallow: /quickorder Disallow: /regions/page_ Disallow: /regions/*/page_ Disallow: /registration Disallow: /rss Disallow: /search Disallow: /sections/404 Disallow: /sections/*/page_ Disallow: /Smarty Disallow: /sounds Disallow: /stocks/page_ Disallow: /stocks/*/page_ Disallow: /tags Disallow: /towns/page_ Disallow: /towns/*/page_ Disallow: /vk_fail Disallow: /vk_process Disallow: /vk_success Disallow: /? Disallow: /*? Disallow: /*module= Disallow: /*_openstat Disallow: /*from=adwords Disallow: /*utm_source* Disallow: /*gclid=