User-agent: Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /admin-ajax.php Disallow: /.php?action=login&redirect=Disallow: /?nocache=1 User-agent: Yandex Disallow: / Sitemap: http://ваш-сайт.ru/sitemap.xml Этот файл robots.txt определяет правила для поисковых систем о том, как они должны индексировать ваш сайт. Он используется для управления индексацией страниц и каталогов на сайте. В данном примере мы запрещаем индексацию административной панели сайта (/wp-admin/), файлов и каталогов в папке /wp-includes/, файлов xmlrpc.php и admin-ajax.php, а также всех страниц с параметрами /.php?action=login&redirect=*и/?nocache=1. Также в файле есть правила для поисковой системы Yandex, которые запрещают индексацию всего сайта. Обратите внимание, что этот файл не гарантирует, что поисковые системы будут следовать указанным в нём правилам. Однако, если вы хотите контролировать индексацию своего сайта, то рекомендуется создать и разместить на нём файлrobots.txt. Также обратите внимание, что для WordPress существуют готовые плагины, которые могут помочь вам создать и настроить файлrobots.txt.