Что такое robots.txt и для чего он нужен
Файл Robots.txt в первую очередь предназначен для управления индексацией на сайте. С помощью этого файла вы можете указать поисковому боту, какие страницы или разделы сайты ему индексировать, а какие нет. Теперь рассмотрим основные команды, которые прописываются в этой файле.
В файле роботс.тхт главными являются две команды, это - "User-agent" и "Disallow".
Основные правила:
все буквы в названии файла должны быть прописными, т. е. должны иметь нижний регистр:
robots.txt – правильно,
Robots.txt или ROBOTS.TXT – не правильно;
файл robots.txt должен создаваться в текстовом формате Unix. При копировании данного файла на сайт, ftp-клиент должен быть настроен на текстовый режим обмена файлами;
файл robots.txt должен быть размещен в корневом каталоге сайта.
Примеры записи команд, и их пояснения:
User-agent: Aport
User-agent: Yandex
Disallow: /next
#запрещение индексации Апорту и Яндексу ссылок, которые начинаются с "/next"
#если запретов несколько, то каждый Disallow писать с новой строки
User-agent: Aport
Disallow:
#пустое поле разрешает Апорту индексировать все ссылки
User-agent: *
Disallow: /next
#Запретить всем роботам индексацию ссылок, которые начинаются с "/next"
И последнее:
User-Agent: Yandex
Disallow: /*.jpg$
#Запрещает Яндексу индексацию файлов с расширением .jpg
Теперь немного о Мета тегах в Rotots.txt
Употребление этого тега в параметрах страницы, говорит поисковому роботу, нужно ли индексировать эту страницу, или нет. Очень помогает, если на сайте много не уникального контента, и вы не хотите что бы яндекс его индексировал.
Сначала напишу параметры:
NOINDEX - запрещает индексацию страницы;
INDEX - разрешает индексацию страницы;
NOFOLLOW - запрещает переход по ссылкам, которые есть на данной странице;
FOLLOW - переход по ссылкам, которые есть на данной странице;
ALL - индексировать все
NONE - не индексировать ничего
А теперь конкретный пример мета-тега:
<html>
<head>
<meta name="robots" content="index, follow">
<meta name="description" content="Текущая страница">
<title>...</title>
</head>
<body>
В этой странице мы указали ПС боту, что ее нужно индексировать.
Интересное на сегодня: если Вы ищите работу в Ростове, возможно Вас заинтересуют вакансии, которые расположены на сайте http://rostov.job.ru/. На этом портале собраны самые лучшие и свежие вакансии для вашего региона. Спешите!
Автор: Как раскрутить сайт - http://Up-position.ru
Похожие материалы:
noindex и nofollow - интересные теги
Что такое Sitemap и как его создать ?
Что такое Индексация сайта?
|