Формат файла /robots.txt


Данный файл регламентирует работу поисковых роботов, которые должны проводить индексацию в соответствии с предписаниями этого файла, то есть индексировать те директории и файлы, которые не описаны в robots.txt. Данный файл может не содержать записей или содержать некоторые записи, предназначенные как для разного рода роботов (поля agent_id), так и для всех роботов сразу с указанием, что им запрещено индексировать. Авторы файла указывают строку Product Token поля User-Agent, которая является ответом каждого робота на запрос индексируемого сервера. Например, робот Lycos на такой запрос выдает в качестве ответа поля User-Agent: Lycos_Spider_(Rex)/1.0 libwww/3.1.

В том случае, когда робот не обнаруживает своего описания в файле, он поступает согласно программе. Важным параметром, который следует учитывать при создании файла, является его размер. Так как описываются как все файлы, не подлежащие индексации, так и различное множество типов роботов, то объем файла становится слишком большим. Используются несколько способов сокращения объема файла как то:
• Определение директорий, которые запрещено индексировать и помещение в них файлов, не подлежащих индексации
• Создание сервера с учетом упрощенной записи исключений в файле robots.txt
• Определение одного способа индексирования для всех agent_id
• Указание маски для директорий и файлов
 





Продвижение сайтов, создание, администрирование.

Контакты:

г.Королев
Телефон: +7 (965) 432-69-91
E-mail: alalemih@gmail.com

skype alex27791



Яндекс.Метрика