Некачественная реализация роботов


Увеличение нагрузки на глобальную сеть связано также и с некачественным исполнением роботов, особенно это касается недавно исполненных роботов. Кроме проблем правильной обработки роботом протоколов и ссылок существует еще и другие менее заметные проблемы.

Были проведены наблюдения работы нескольких роботов с сервером, которые свидетельствовали, что причиной большинства негативных последствий были плохо реализованные роботы. Наблюдались повторные запросы ресурсов даже в том случае, когда не было никаких сведений о ранее запрашиваемых ссылках (что уже недопустимо) или когда робот не распознал синтаксически одинаковых ссылок с одним и тем же IP адресом, но с разными DNS.

Другие роботы запрашивают типы ресурсов, которые они обработать не в состоянии (например, документы типа GIF и PS) и поэтому игнорируют их.
 





Продвижение сайтов, создание, администрирование.

Контакты:

г.Королев
Телефон: +7 (965) 432-69-91
E-mail: alalemih@gmail.com

skype alex27791



Яндекс.Метрика