robots.txt для WordPress

robots.txt позволяет указать роботам поисковых систем какие директории и записи необходимо индексировать, а какие нет. Что позволит избежать дублирования записей и позитивно сказаться на индексации.

Пример robots.txt:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /wp-activate.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-post.php
Disallow: /wp-config.php
Disallow: /wp-cron.php
Disallow: /wp-links-opml.php
Disallow: /wp-load.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-settings.php
Disallow: /wp-signup.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /wp-activate.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-post.php
Disallow: /wp-config.php
Disallow: /wp-cron.php
Disallow: /wp-links-opml.php
Disallow: /wp-load.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-settings.php
Disallow: /wp-signup.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php
Host: ixnfo.com

Sitemap: http://ixnfo.com/sitemap.xml.gz
Sitemap: http://ixnfo.com/sitemap.xml

Host: — позволяет указать приоритетный домен который будет использоваться в индексации, так как при существовании алиасов например www.domain.com в индексации поисковиков могут появится ссылки типа www.domain.com/link.html и domain.com/link.html, то есть дублирование, что может повлечь за собой исключение из индексации обеих ссылок.
Disallow: /*?* — только в случае использования ЧПУ ссылок, необходимо запретить индексацию старых ссылок, которые выглядели domain.com/?p=123

Google XML Sitemaps — один из плагинов для построения карты сайта.
Cyr-To-Lat — один из плагинов позволяющий конвертировать в ЧПУ ссылках кириллические символы на латинские.

Добавить комментарий