Как правильно создать файл Robots.txt - Joomla, WordPress, Data Life Engines
Частично все можно исправить специальными плагинами, но проще “рубить на корню”, прописав нужные строчки в Роботс.
Самая распространенная ошибка многих движков, это то, что они плодят очень много дублей страниц. Т.е. вы написали какую-то статью, и движок ее расклонировал много раз.
И все эти дубли попадают в индекс. И вследствие чего, ваш сайт может выпасть из индекса, или как чаще всего происходит, просто попасть под АГС.
Что бы этого избежать, достаточно просто правильно написать в Robots.txt, какие разделы сайта вы хотите открыть от индексации, а какие закрыть. Но не пугайтесь, придумывать или писать все самому вам не придется, уже есть готовые, опробованные шаблоны.
Файл Robots.txt для JoomlaUser-agent: *Disallow: /administrator/ Disallow: /cache/ Disallow: /index.php?option Disallow: /components/ Disallow: /component/* Disallow: /index.php/* Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /search/ Disallow: /*.pdf Disallow: /*print=1 Disallow: /*type=atom Disallow: /*type=rss Disallow: /*task=rss User-agent: Yandex Disallow: /administrator/ Disallow: /cache/ Disallow: /index.php?option Disallow: /components/ Disallow: /component/* Disallow: /index.php/* Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /search/ Disallow: /*.pdf Disallow: /*print=1 Disallow: /*type=atom Disallow: /*type=rss Disallow: /*task=rss Host: вашсайт.ru Sitemap: http://вашсайт.ru/sitemap.xml Файл Robots.txt для WordPressUser-agent: *Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /tag/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: /tag/ Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: вашсайт.ru Sitemap: http://вашсайт.ru/sitemap.xml
Файл Robotx.txt для DLEUser-agent: *Disallow: /*print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Sitemap: http://вашсайт/sitemap.xml User-agent: Yandex Host: вашсайт.ru
Похожие статьи: |
Очень жаль, но многие, очень многие новички, вообще игнорируют файл Robots.txt. Для них он кажется сложным, и они вообще не хотят к нему прикасаться. А зря. Без правильно настроенного файла Роботс.тхт, ваш сайт может НЕ индексироваться, или индексироваться очень плохо. И вследствие чего, вы можете потерять посетителей своего сайта.