Средства поиска – агенты, кроулеры, пауки


Средства поиска – агенты, кроулеры, пауки и роботы представляют собой специальные программы предназначением, которых является поиск страниц в глобальной сети. Информация на этих страницах индексируются, ссылки запоминаются, и собранная информация заносится в базу данных. Некоторые пауки запрограммированы на просмотр наиболее популярных страниц. Средства поиска отличаются друг от друга своей функциональностью и «интеллектом». Рассмотрим возможности каждого из них подробнее:
• Наиболее «интеллектуальны» из поисковых средств являются агенты, которые способны не только искать информацию, но и проводить транзакции, искать сайты со специфической тематикой, и сортировать ресурсы по их посещаемости. Агенты в состоянии анализировать содержание файлов, проводить индексацию не только страниц, но других типов ресурсов; они даже способны извлекать информацию из уже существующих баз данных. Всю собранную информацию, независимо от ее природы, агенты передают базе данных поискового механизма.
• Средство поиска известное как паук проводит общий поиск информации. В функцию паука входит просмотр заголовков и ссылок документа, сообщение о его содержании, его индексация и передача итоговой информации поисковому механизму.
• В функцию кроулеров входит просмотр заголовков и первой ссылки
• Роботы в основном предназначены для прохождения ссылок с различной степенью вложенности, выполнять индексацию и проверять ссылки страниц. Согласно своей природе роботы имеют свойство застревать в циклах, и поэтому для своей работы им необходимы значительные ресурсы глобальной сети. Существуют специальные средства запрещающие роботам проводить индексацию сайтов, владельцы которых этого не желают.

 





Продвижение сайтов, создание, администрирование.

Контакты:

г.Королев
Телефон: +7 (965) 432-69-91
E-mail: alalemih@gmail.com

skype alex27791



Яндекс.Метрика