Анархист
Создать свою поисковую систему..технические аспекты,алгоритмы,программная среда и т.д
-
обсудим..
Анархист
Создать свою поисковую систему..технические аспекты,алгоритмы,программная среда и т.д
-
обсудим..
Анархист
PeraX,мы коснемся только технических и программных аспектов.Ради интереса.
09 Июл 2012, 10:25Анархист
Поисковая система состоит из следующих основных компонентов:
-
Spider (паук) - браузероподобная программа, которая скачивает веб-страницы.
Crawler (краулер, «путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице.
Indexer (индексатор) - программа, которая анализирует веб-страницы, скаченные пауками.
Database (база данных) – хранилище скачанных и обработанных страниц.
Search engine results engine (система выдачи результатов) – извлекает результаты поиска из базы данных.
Web server (веб-сервер) – веб-сервер, который осуществляет взаимодействие между пользователем и остальными компонентами поисковой системы.
Анархист
Некоторые компоненты можно совместить.
добавлено спустя 8 минут:
Серверы объединенные в локальную сеть..
-Выдача результатов
-Обработка запросов
-Анализ страниц(лингвистический анализ данных)
-Хранилише данных
-Поисковый бот
iBiZoNiX
А что, довольно интересно обсудить.
Вот даже идейка есть:
Создать поисковик, который будет индексировать сайты только зоны .xxx
Их пока не очень много (наверно, на самом деле х.
.з) поэтому вполне можно скачать их за определенный период.
