Формат файла /robots.txt

Данный файл регламентирует работу поисковых роботов, которые должны проводить индексацию в соответствии с предписаниями этого файла, то есть индексировать те директории и файлы, которые не описаны в robots.txt. Данный файл может не содержать записей или содержать некоторые записи, предназначенные как для разного рода роботов (поля agent_id), так и для всех роботов сразу с указанием, что им запрещено индексировать. Авторы файла указывают строку Product Token поля User-Agent, которая является ответом каждого робота на запрос индексируемого сервера. Например, робот Lycos на такой запрос выдает в качестве ответа поля User-Agent: Lycos_Spider_(Rex)/1.0 libwww/3.1.

В том случае, когда робот не обнаруживает своего описания в файле, он поступает согласно программе. Важным параметром, который следует учитывать при создании файла, является его размер. Так как описываются как все файлы, не подлежащие индексации, так и различное множество типов роботов, то объем файла становится слишком большим. Используются несколько способов сокращения объема файла как то:
• Определение директорий, которые запрещено индексировать и помещение в них файлов, не подлежащих индексации
• Создание сервера с учетом упрощенной записи исключений в файле robots.txt
• Определение одного способа индексирования для всех agent_id
• Указание маски для директорий и файлов

×
Оставьте телефон - мы перезвоним