Проблема включения/исключения документов роботами


Практическая работа роботов ограничена некоторыми типами документов, которые релевантные только для определенного контекста, а также документами временного использования. Кроме этого роботы не в состоянии определить был ли данный ресурс включен в его индекс или нет. Необходимо отметить, что робот запоминают всю информацию тех площадок, где они побывали и уже тем самым понес определенные расходы на поиск и запрос файла, который он определил как файл подлежащий исключению из его базы. Таким образом, можно сделать вывод, что роботы, исключающие большой процент документов являются достаточно затратными.

Для решения этой проблемы были разработаны стандарты, нормирующие исключения ресурсов роботами. Стандарт регламентирует обработку простого текстового файла расположенного в известном месте на сервере (robots.txt) и определяет, какая часть ссылок должна быть проигнорирована роботом, и, таким образом, информирует робота о так называемых «черных дырах» (бесконечных циклов). Стандарт регламентирует работу каждого типа робота, специализирующегося в конкретной области, передавая им определенные для каждого типа робота команды.
 





Продвижение сайтов, создание, администрирование.

Контакты:

г.Королев
Телефон: +7 (965) 432-69-91
E-mail: alalemih@gmail.com

skype alex27791



Яндекс.Метрика