Разное

Можно каким-то МЕТА-тегом запрещать индексирование даного файла.. ну и я точно не помню, но вроде при помощи .httaccess можно...

Но я где-то читал, что робот обходит сайт по всем папкам и подпапкам и индексирует ВСЁ! Это не правда?

Если включение идет на стороне сервера, то тексты проиндексируются роботом при посещении тех страниц, куда эти тексты подгружаются.

Сдравствуйте! Я почему-то не могу правильно настроить данный файл. Когда проверяю яндексом
http://www.yandex.ru/cgi-bin/test-robots?host=krorspp.ru
То получаю надпись:
Данный файл robots.txt ничего не запрещает.
НО!
Содержание файла такое:
User-Agent: *

Disallow: /img
Disallow: /includes
Disallow: /style
Disallow: /content/admin
Disallow: /content/toppan.php
Disallow: /content/rspp/aims_inc.php
Disallow: /content/rspp/join_inc.php
Disallow: /content/rspp/rules_inc.php
Disallow: /content/rspp/structure_inc.php
Disallow: /content/rsppko/members/img.php
Disallow: /content/rsppko/news/dates.php
Disallow: /content/rsppko/news/months.php
Disallow: /content/rsppko/politic

И ещё, я запретил индексацию определённых файлов, т.к. они являются включениями в основные файлы, кторые грузфтся при переходи по ссылкам. В файлах типа *_inc.php хранится только текст. Я правильно сделал? Или нифига не проиндексируется?