Форум PHP

Скажите пожалуйста, а как работает поисковые роботы.
Как они ищут страницы и индексируют.
принцип работы, может есть какая нибудь статья?
Можете привести пример поискового робота.
Заранее спасибо!

тоже интересно знать...но мне нужно что-нить по роботам которые ищут и индексируют файла на фтп

Вот нашел пару статеек, может кому будет интерестно

Добавление страниц в поисковые системы:http://www.yandex.ru/info/webmaster.html
Индексация веб-сайта: подготовили - и забыли: http://hostinfo.ru/print/hosting/web/site/building/pre-indexing
Как работают роботы (spiders) поисковых машин:
http://www.citforum.ru/internet/search/art_1.shtml или
http://www.i2r.ru/static/215/out_11173.shtml или
http://www.linky.ru/~alexxxey/htm/faq/robot.htm

Как они работают и что делают:
http://www.webmasterpro.com.ua/pro/3/1282_1.html

поисковые роботы могут быть так же опасны:
На одном из форумов:

Сегодня наша баннерообменная сеть подверглась атаке поискового робота Яndex-а. Он пытался высосать все баннеры с адресами bann3.pl?login=vdlabs&random=все числа от 0 до 10000000000». Пришлось срочно положить в корневой каталог сайта сети robots.txt, запрещающий индексирование баннеров, но, так как робот к тому времени уже успел напасть, еще и добавлять в скрипт bann3.pl директиву выдавать для User Agent c именем Yandex пустую страницу.

Так что тут нужно работать с файлом robots.txt - в выше приведенных ссылках описывается что и как делать в таких случаях!

Так же очень интерестный сайтец
Руководство по системе Яndex.Site:
http://www.csa.ru/~max/others/yandex/ysite.html