Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
MySQL 5. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. PHP. Практика создания Web-сайтов (второе издание). Авторы: Кузнецов М.В., Симдянов И.В. PHP 5/6. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. Объектно-ориентированное программирование на PHP. Авторы: Кузнецов М.В., Симдянов И.В. Самоучитель PHP 5 / 6 (3 издание). Авторы: Кузнецов М.В., Симдянов И.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Разное

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум Структурный форум

тема: Помогите с robots.txt
 
 автор: Blizard   (15.08.2011 в 10:23)   письмо автору
 
 

Создал robots.txt следующего вида:


User-agent: *

User-Agent: Yandex
Disallow: /search.php?kateg=*

User-agent: Googlebot
Disallow: /search.php?kateg=*


пытаюсь запретить к индексации страницу search.php и все динамические её копии, но есть еще вариант сделть так:


User-Agent: Yandex
Disallow: /search.php?kateg=*

User-agent: Googlebot
Disallow: /search.php?kateg=*


или так:


User-agent: *
Disallow: /search.php?kateg=*


Подскажите, как именно будет правильно?

  Ответить  
 
 автор: Гость   (15.08.2011 в 11:31)   письмо автору
 
   для: Blizard   (15.08.2011 в 10:23)
 

последний вариант будет работать для всех роботов. Так что не нужно перечислять одинаковые правила для каждого по отдельности.

  Ответить  
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования