правильный robots.txt

[cjcrazy]

Уважаемые гуру. подскажите правильный robots.txt

[Tom]

Нет общего правильного . Есть усреднённый общий. Каждый магазин - это как человек , всегда личность, со своими особенностями и требованиями.
Как вариант 

Код: Выделить всё

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=common/
Disallow: /*route=product/compare
Disallow: /*route=product/search
Disallow: /*route=product/product*&manufacturer_id=
Disallow: /catalog/controller
Disallow: /catalog/language
Disallow: /catalog/model
Disallow: /download
Disallow: /system
Disallow: /search
Disallow: */storage/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*&tag=*
Disallow: /*?tag=*
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.png
Allow: *.svg
Allow: *.webp
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=common/
Disallow: /*route=product/compare
Disallow: /*route=product/search
Disallow: /*route=product/product*&manufacturer_id=
Disallow: /catalog/controller
Disallow: /catalog/language
Disallow: /catalog/model
Disallow: /download
Disallow: /system
Disallow: /search
Disallow: */storage/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*&tag=*
Disallow: /*?tag=*
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.png
Allow: *.svg
Allow: *.webp
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

Sitemap: https:ваша ссылка на сайтмап

 

[nikifalex]

Уважаемые гуру. подскажите правильный robots.txt

по какому критерию правильный? 

[cjcrazy]

Уважаемые гуру. подскажите правильный robots.txt

по какому критерию правильный? 

Я использовал практически такой же как предоставил уважаемый Том, но у меня почему-то 2 категории были запрещены не индексировались!

Также симпл чтобы учитывался мне нужно.
Еще почему-то некоторые страницы ордеров заказа индексировались у меня
 

[Tom]

почему-то 2 категории были запрещены не индексировались!

Так может им правила прописали в htaccess или в случае с OcStore индексация выключена в самих категориях.
 

[magmir.com]

Подскажите плиз что и как нужно написать чтоб яндекс не ругался - Найдены страницы-дубли с GET-параметрами

[BuslikDrev]

Подскажите плиз что и как нужно написать чтоб яндекс не ругался - Найдены страницы-дубли с GET-параметрами

Прописать перенаправление 301 с дублей на каноникал.

[nikifalex]

Подскажите плиз что и как нужно написать чтоб яндекс не ругался - Найдены страницы-дубли с GET-параметрами

вам ничего не поможет. Вы даже на форуме дубли создали.

[chixx]

Подскажите плиз что и как нужно написать чтоб яндекс не ругался - Найдены страницы-дубли с GET-параметрами

Пропишите Clean-param, можно воспользоваться сервисом типа этого
Только для Яндекса пропишите, а то гугл ругаться начнет)