Есть два решения данной задачи. Первое решение - создание базы данных ресурсов интернета, то есть каталога ресурсов. Но каталогизация сама по себе является проблемой, т.к. сеть наполняется быстрее, чем систематизируется.
Систематизация происходит путем изучения операторами содержимого ресурса и занесением его в тематическую группу. Ознакомится с результатами этой непростой работы вы можете в поисковых каталогах. Не стоит путать поисковые каталоги и поисковые указатели. Оба этих понятия связаны с базами данных интернет ресурсов, разница между ними в том как они заполняются. Выше речь шла о поисковых каталогах, работа над которыми ведется большим количеством людей. Самым известным примером поискового каталога является сайт List.ru. Сейчас мы рассмотрим принцип работы поисковых указателей. Они и являются вторым решением задачи сетевого поиска.
Поисковые указатели это базы данных, которые пополняются автоматически, т.е. без участия человека. Этот метод наполнения имеет как положительные, так и отрицательные стороны.
Почему? Потому что в первом случае изучением ресурса занимается человек, а во втором случае этим занимается компьютер. Разницу между работой компьютера и человека, я думаю, объяснять не стоит.
Работа поискового указателя происходит в несколько этапов. На первом этапе поисковый указатель собирает информацию из сети (этот процесс происходит почти постоянно и называется сканированием). Сканированием занимаются специальные программы, называемые спайдерами, гусеницами или краулерами. Алгоритм работы этих программ у каждого поискового указателя свой. Спайдеры сканируют сеть на наличие web страниц при помощи DNS - серверов (что это такое смотри в словаре). После обнаружения страницы спайдер закачивает текстовое содержание в базу поискового указателя.
Далее, если на странице была гиперссылка, спайдер идет по этой ссылке и далее процесс повторяется.
Как мог догадаться читатель, для хранения такой базы данных нужно большое количество дискового пространства. Так и есть - у многих поисковых указателей объемы дискового пространства достигают нескольких десятков терабайт. Скорость передачи данных так же не маленькая, стоит ли говорить о самих конфигурациях поисковых систем. Закаченная спайдером информация подлежит индексации - это второй этап работы поискового указателя. В ходе индексации происходит составление базы данных в которой содержится информация о том, где, какие и по какому адресу встречались слова.
Образуется своего рода словарь, которым вы в последствии и будете пользоваться. Собственно эти два этапа происходят без участия клиента. Поэтому третьим этапом работы поисковой системы является обработка запроса и выдача результата в виде гиперссылок. Понятное дело, что запрос осуществляется клиентом. Проще говоря, всё сводится к тому, что когда вы делаете запрос - поисковые указатели выдают ссылки на те страницы, где набор слов из вашего запроса встречается наиболее часто. Вполне логичными из выше сказанного будут следующие выводы: а) База сервера наполняется спайдерами, следовательно пользователь ищет что-то нужное из результатов его работы, а не из сети непосредственно; б) Обновление базы данных зависит так же от работы спайдера, что связано с возможностью выдачи вам "битых" ссылок.
Напоследок стоит отметить главное - при работе с поисковым указателем вы работаете с базой данных. База данных может работать с разными типами запросов, о своих типах запросов вы можете почитать на странице самой поисковой системы. Чтобы не быть голословным приведу примеры поисковых указателей. Это всем известные Yandex, Aport и Rambler. Существует еще множество других поисковых систем, например Google или Altavista. О двух последних новички интернета узнают не сразу. Некоторые мои друзья до сих пор не в курсе их существования. Есть так же и тематические поисковые системы, которые ищут в интернете что-то определенное. Это может быть музыка или какие-то программы. Среди прочих есть одна интересная поисковая система, которая сама ничего не ищет, а посылает ваш запрос на другие поисковики.
Затем она обрабатывает полученную информацию и выдает, если так можно выразиться, общий результат. Ознакомится с этой системой можно по адресу metabot.ru
Надеюсь теперь вы получили достаточное представление о поисковых системах. О том, как правильно что-либо искать читай в следующей статье. Напомню, что в этой статье не были рассмотрены дополнительные услуги поисковых систем, в том числе: предоставление почтовых ящиков, новостные каналы, ежедневный гороскоп, прогнозы погоды, курсы валют и многое другое, но можете не расстраиваться по этому поводу - стоит только зайти на сайт системы и вы тут же сможете всем этим воспользоваться. На этом статью заканчиваю и желаю всем удачи.
Ghoster 23.11.03
