robots.txt позволяет указать роботам поисковых систем какие директории и записи необходимо индексировать, а какие нет. Что позволит избежать дублирования записей и позитивно сказаться на индексации.
Пример robots.txt:
User-agent: * Disallow: /wp-admin/ Disallow: /xmlrpc.php Host: ixnfo.com Sitemap: http://ixnfo.com/sitemap.xml.gz Sitemap: http://ixnfo.com/sitemap.xml
Если используется HTTPS, то в конце укажем его вместо HTTP:
Host: https://ixnfo.com Sitemap: https://ixnfo.com/sitemap.xml.gz Sitemap: https://ixnfo.com/sitemap.xml
Host: — позволяет указать приоритетный домен который будет использоваться в индексации, так как при существовании алиасов например www.domain.com в индексации поисковиков могут появится ссылки типа www.domain.com/link.html и domain.com/link.html, то есть дублирование, что может повлечь за собой исключение из индексации обеих ссылок.
Google XML Sitemaps — один из плагинов для построения карты сайта.
Cyr-To-Lat — один из плагинов позволяющий конвертировать в ЧПУ ссылках кириллические символы на латинские.