User-agent: Yandex
Crawl-delay: 10
Disallow: /cgi-bin
Disallow: /cdn-cgi/         # email protection
Disallow: /wp-admin/
Disallow: /wp-json/         # api
Disallow: */feed            # фиды
Disallow: *s=              # поиск
Disallow: *h=              # поиск
Disallow: *child=          # поиск
Disallow: *parent=         # поиск
Disallow: /search           # поиск
Disallow: /author/          # архив автора
Disallow: /parser/          # старый парсер от b2b
Disallow: /research/        # исследования от b2b
Disallow: /tender/          # исследования от b2b
Disallow: /a/www/delivery/  # google dfp
Disallow: /34463241/        # google dfp
Disallow: /inf_lenta        # информеры
Disallow: */amp/
Allow: /*/*.js              # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css             # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.

User-agent: Googlebot
Crawl-delay: 10
Disallow: /cgi-bin
Disallow: /cdn-cgi/         # email protection
Disallow: /wp-admin/
Disallow: /wp-json/         # api
Disallow: */feed            # фиды
Disallow: *s=              # поиск
Disallow: *h=              # поиск
Disallow: *child=          # поиск
Disallow: *parent=         # поиск
Disallow: /search           # поиск
Disallow: /author/          # архив автора
Disallow: /parser/          # старый парсер от b2b
Disallow: /research/        # исследования от b2b
Disallow: /tender/          # исследования от b2b
Disallow: /a/www/delivery/  # google dfp
Disallow: /34463241/        # google dfp
Disallow: /inf_lenta        # информеры
Allow: /*/*.js              # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css             # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.

User-agent: *
Crawl-delay: 10
Disallow: /cgi-bin
Disallow: /cdn-cgi/         # email protection
Disallow: /wp-admin/
Disallow: /wp-json/         # api
Disallow: */feed            # фиды
Disallow: *s=              # поиск
Disallow: *h=              # поиск
Disallow: *child=          # поиск
Disallow: *parent=         # поиск
Disallow: /search           # поиск
Disallow: /author/          # архив автора
Disallow: /parser/          # старый парсер от b2b
Disallow: /research/        # исследования от b2b
Disallow: /tender/          # исследования от b2b
Disallow: /a/www/delivery/  # google dfp
Disallow: /34463241/        # google dfp
Disallow: /inf_lenta        # информеры
Disallow: */amp/
Allow: /*/*.js              # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css             # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.

Host: https://samaratoday.ru

Sitemap: https://samaratoday.ru/sitemap.xml