robots.txt для WordPress

robots.txt позволяет указать роботам поисковых систем какие директории и записи необходимо индексировать, а какие нет. Что позволит избежать дублирования записей и позитивно сказаться на индексации.

Пример robots.txt:

User-agent: *
Disallow: /wp-admin/
Disallow: /xmlrpc.php

Host: ixnfo.com
Sitemap: http://ixnfo.com/sitemap.xml.gz
Sitemap: http://ixnfo.com/sitemap.xml

Если используется HTTPS, то в конце укажем его вместо HTTP:

Host: https://ixnfo.com
Sitemap: https://ixnfo.com/sitemap.xml.gz
Sitemap: https://ixnfo.com/sitemap.xml

Host: — позволяет указать приоритетный домен который будет использоваться в индексации, так как при существовании алиасов например www.domain.com в индексации поисковиков могут появится ссылки типа www.domain.com/link.html и domain.com/link.html, то есть дублирование, что может повлечь за собой исключение из индексации обеих ссылок.

Google XML Sitemaps — один из плагинов для построения карты сайта.
Cyr-To-Lat — один из плагинов позволяющий конвертировать в ЧПУ ссылках кириллические символы на латинские.