Разное

Здравствуйте
1. У меня большая часть страниц удалена.
Но Гугл упрямо продолжает их сканировать, подсчитывает ошибки, любезно об этом сообщает и понижает мой поисковый ранг.
2. Есть другие страницы, объявления временного характера только для чтения на сайте.
Я их часто удаляю. Их тоже не надо сканировать.
Но милый робот, тщательно сканирует все подряд и потом копит на мой сайт ошибки, компрометирую меня в своей аналитике.

Подскажите пожалуйста, как правильно закрыть для Гугла эти страницы, что бы он не грузил сайт, меня, а я форум?
Спасибо

meta robots

<meta name="robots" content="noindex">
Это когда есть страница

когда удалены папки, то

User-agent: *
Disallow: /auto/
Disallow: /board/
...

А если удалены страницы с параметром Допустим

http://site/board/?param=1
http://site/board/?param=2
...
http://site/board/?param=100000

Как запретить роботу делать попытку индексировать и регистрировать ошибки на сайте?

а что, сложно при обращении к странице проверить существует ли она, и если нет, подставить в meta значение noindex????????

С параметром точно также:

Disallow: /board/?param # все страницы со всеми значениями параметра param
Disallow: /board/?param=2 # только страница со значением параметра param=2

Как фильмец вчера? Что бы посмотреть.
Мне почему то очень нарвится фильм Шут, советский 86 года вроде.

Вот поиск, который не боится атак, но на него вроде надо разрешение как то получать
http://download-books.ru/booka/templates/find-google.html
Вот поисковая строка для теста #$%^p#hp$%$#
Сравните реакцию сайта http://www.labirint-bookstore.ru/
Последний и тормозит и не правильно ищет

http://phpmorphy.sourceforge.net/dokuwiki/demo
Подвисает почему то.
Я ввел "сабака", потучил все падежи

Если ввести собаков, то получишь все вформы и базовую - СОБАКА!!!
http://sourceforge.net/projects/phpmorphy/?source=dlp
Тут с качать можно, все работает, я прверял

Короче на этой штуке можно все сделать
Если найжешь что, кинешь