robots.txt

[cjcrazy]

Подскажите идеальный robots.txt для вервии 2,3 и 3

[Tom]

Идеальный, это тот который написан под ваш конкретный сайт. Одного общего идеала для всех не существует. Есть средний , вполне рабочий вариант.
Например такой.

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=common/
Disallow: /*route=product/compare
Disallow: /*route=product/search
Disallow: /*route=product/product*&manufacturer_id=
Disallow: /catalog/controller
Disallow: /catalog/language
Disallow: /catalog/model
Disallow: /download
Disallow: /system
Disallow: /search
Disallow: */storage/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*&tag=*
Disallow: /*?tag=*
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.png
Allow: *.svg
Allow: *.webp
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=common/
Disallow: /*route=product/compare
Disallow: /*route=product/search
Disallow: /*route=product/product*&manufacturer_id=
Disallow: /catalog/controller
Disallow: /catalog/language
Disallow: /catalog/model
Disallow: /download
Disallow: /system
Disallow: /search
Disallow: */storage/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*&tag=*
Disallow: /*?tag=*
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.png
Allow: *.svg
Allow: *.webp
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

Sitemap: https:ваша ссылка на сайтмап

[cjcrazy]

спасибо.
А модули для генерации robots.txt есть?

 

[cjcrazy]

Идеальный, это тот который написан под ваш конкретный сайт. Одного общего идеала для всех не существует. Есть средний , вполне рабочий вариант.
Например такой.

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=common/
Disallow: /*route=product/compare
Disallow: /*route=product/search
Disallow: /*route=product/product*&manufacturer_id=
Disallow: /catalog/controller
Disallow: /catalog/language
Disallow: /catalog/model
Disallow: /download
Disallow: /system
Disallow: /search
Disallow: */storage/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*&tag=*
Disallow: /*?tag=*
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.png
Allow: *.svg
Allow: *.webp
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=common/
Disallow: /*route=product/compare
Disallow: /*route=product/search
Disallow: /*route=product/product*&manufacturer_id=
Disallow: /catalog/controller
Disallow: /catalog/language
Disallow: /catalog/model
Disallow: /download
Disallow: /system
Disallow: /search
Disallow: */storage/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*&tag=*
Disallow: /*?tag=*
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.png
Allow: *.svg
Allow: *.webp
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

Sitemap: https:ваша ссылка на сайтмап

Стоит ли запретить индексацию страниц генерируемых модулем симпл?

[Tom]

А что он там у вас генерирует ?

[specialforce22]

Код: Выделить всё

Disallow: /*simpleregister
Disallow: /*simplecheckout

Про это речь?

[Tom]

Запретите.

[magmir.com]

подскажите что и как нужно написать чтоб яндекс не ругался
Найдены страницы-дубли с GET-параметрами