| |
|
|
| | У меня на хостинге такие папки
0:/public_html/ /* здесь действующий сайт site1.com */
0:/site2.by /* здесь новый сайт site2.by */
|
Где мне нужно разместить robots.txt и что в нём написать, чтобы роботы не индексировали содержимое нового сайта?
Спасибо. | |
| |
|
|
| |
|
|
| |
для: coloboc66
(12.03.2012 в 17:56)
| | | Робот ищет файл robots.txt только в корневом каталоге. Размещать его где-то еще, или размещать несколько таких файлов бесполезно.
# Инструкции для всех роботов
User-agent: *
Disallow: /dir/
|
Таким образом Вы запретите всем роботам индексацию каталога с именем dir.
(Имейте в виду, что запрещена будет именно индексация, а содержимое сайта робот всё равно посмотрит. Чтобы полностью защититься, сделайте доступ к новому сайту возможным только с Вашим IP). | |
| |
|
|
| |
|
|
| |
для: Владимир55
(12.03.2012 в 18:21)
| | | Т.е. в моём случае файл должен располагаться в 0:/ и выглядеть так:
User-agent: *
Disallow: /site2.by/
|
Верно? | |
| |
|
|
| |
|
|
| |
для: coloboc66
(13.03.2012 в 10:57)
| | | Да, в корне сайта (обозначение 0:/ я не встречал). | |
| |
|
|
| |
|
|
| |
для: Владимир55
(13.03.2012 в 12:51)
| | | Под корнем сайта понимается папка, выше которой я, как пользователь хостинга, не могу забраться (по ftp или через панель управления)? Да? | |
| |
|
|
| |
|
|
| |
для: coloboc66
(13.03.2012 в 13:42)
| | | Это уже от хостинга зависит. В большинстве случаев это папка public_html, иногда www.
По ftp можно и выше забраться.
Надо у конкретного хостера спрашивать. | |
| |
|
|
| |
|
|
| |
для: coloboc66
(12.03.2012 в 17:56)
| | | Положите файл robots.txt в ту же папку где лежит index.html. Смекаете?
robots.txt должен быть доступен по адресу http://site.ru/robots.txt.
В корне сайта он должен лежать. Вот вам действующий пример: http://yandex.ru/robots.txt | |
| |
|
|
