Разное

Здрасте!
По какому принципу ищут основные поисковики. я вот знаю, что рамблер не обращает внимания на ключевые слова, а яндекс в основном на них и реализует поиск. А где бы поподробнее прочесть про то как лучше составить html чтобы иметь выше позиции в результатах поиска.
И еще, что из себя представляет файл robots.txt?
Спасибо!.

Приведу несколько ссылок по теме
http://www.softtime.ru/forum/read.php?id_forum=2&id_theme=2166
http://www.softtime.ru/forum/read.php?id_forum=4&id_theme=2671
http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=2502

> я вот знаю, что рамблер не обращает внимания на ключевые слова, а яндекс в основном на них и реализует поиск.

Скорее всего, сейчас никто на них (keywords) внимания не обращает. И Yandex тоже. Но пренебрегать ими все равно не следует. Во первых, к заявлениям поисковых систем нужно относится осторожно. Только эксперимент может показать, как происходит на самом деле. Во вторых, слова из keywords могут повышать релевантность, если они встречаются в тексте страницы. Это еще недавно относилось к одному из поисковиков рунета. Возможно, /подзабыл уже/ как раз к Yandex-у.

Тенденция всех поисковых систем и российских в том числе: использовать для определения релевантности только видимый текст.

robots.txt – это файл, который содержит рекомендации роботам поисковых систем. В основном его используют для запрета индексации определенных страниц и директорий.