Разное

Здравствуйте.
В процессе развития сайта много страниц было удалено по разным причинам.
Роботы продолжают их сканировать и регистрируют ошибку доступа, ставят штрафные очки
Вопрос.
Как правильно запретить роботам сканировать удаленные страницы, что-бы они не регистрировали ошибку?
Подскажите пожалуйста?

Как правильно запретить роботам сканировать удаленные страницы, что-бы они не регистрировали ошибку?

Выдавать отклик 301 (Moved Permanently - ресурс перемещен навсегда) - посмотрите вот здесь http://sb-money.ru/article.php?a=75

Либо делать обработку 404 (ссылку я давал).

У меня такое ощущение, что мы иностранцы.
....запретить роботам сканировать удаленные страницы...
1. Страницы удалены - означает что они не существуют.
2. Запретить сканировать - это означает, не делать запросов к этим страницам.
Не запрашивать эти страницы. Это означает, что не надо ни запрашивать ,ни отвечать роботу
У меня больше пол сайта будет в этих 301.
Я не знаю как робота от человека отличить и всем людям сейчас начну 301 посылать.

Вы сначала бы ответили на вопрос, как отличить робота от человека.
Но вы отделались сакраментальными фразами банального характера
Рассказываете о какой то CMS, которую поставили и догадками делаете внушения не логического характера для тех у кого вашей CMS нет
Вы уж извините, ну иностранцы мы.

Допустим в яндексе есть директива Clean-param http://help.yandex.ru/webmaster/?id=996567
Там написано, читайте:
Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

Еще раз, ...не будет многократно ...

Google сразу говорит, что он не понимает этой директивы
Я и спрашиваю, как в GooGle....

Точно мы иностранцы.
Если вы украинец, - все бесполезняк
У меня жена постоянно сейчас живет во Флориде, так она говорит что украинцев берут на работу, только для того,... что бы выносить. Может и врет

Если вы украинец, - все бесполезняк

Такой подход мне не нравится. К украинцам отношусь с уважением.

"Запретить сканировать - это означает, не делать запросов к этим страницам.
Не запрашивать эти страницы. Это означает, что не надо ни запрашивать ,ни отвечать роботу"

Неверно.

Что неверно? Где мысль?
У вас есть обида, а суждения и опровержения нет.

Я привел документацию Яндекса, скопировал текст.
Я же пишу в файле робота
User-agent: *
Disallow:
Disallow: /ally/
Disallow: /astro/
Disallow: /auto/
Disallow: /av/
Disallow: /awstats/
Disallow: /bchat/
Disallow: /board/
Disallow: /book/
Disallow: /business/
Disallow: /doska/
Disallow: /film/
Disallow: /filosof/
....
И Все это работает для гугла. А втот атакующие боты бьт куда попало.
Я закрываю каталоги и робот Гугла тута не ходит для сканирования.

Теперь объясните, зачем я ему Гуглу, должен 404 или еще что то, как будто я зверь что ли
Я Гугль уважаю, он понимает разумную речь и делает то что его просят.
На хрена я ему должен впариваить 404.

Вы так и не отвечаете, как робота отчеловека отличить
Зато у вас новая пластинка:"Неверно", - по каждому поводу

Я пошел смотреть Славные парни Мартин Скорсез 1990
Вчера смотрел Отступники Мартин Скорсез 2006 - лет десять не видел таких отличных фильмов
Кстати, входят Список 100 лучших американских кинофильмов по версии Американского института киноискусства был составлен в 1998 году, а затем обновлен в 2007 году.
http://ru.wikipedia.org/wiki/100_%EB%F3%F7%F8%E8%F5_%E0%EC%E5%F0%E8%EA%E0%ED%F1%EA%E8%F5_%F4%E8%EB%FC%EC%EE%E2_%E7%E0_100_%EB%E5%F2_%EF%EE_%E2%E5%F0%F1%E8%E8_AFI

Только не говорите, что не верно.

С уважением, добряк

Я как раз сейчас смотрю "Африканскую королеву" - из этого списка.

Все таки есть у нас с вами что то такое, чего у других не найти
Прав я был, что я иностранец

Такой подход мне не нравится. К украинцам отношусь с уважением.
Спасибо за комплимен.
Я наполовину хохохол, но родился в питере.
Такая же история у жены

Теперь объясните, зачем я ему Гуглу, должен 404 или еще что то, как будто я зверь что ли
На хрена я ему должен впариваить 404.

Собственно, я все уже объяснил, причем не один раз. Сделаю еще одну попытку.

Вы пишете:
В процессе развития сайта много страниц было удалено...
Роботы продолжают их сканировать и регистрируют ошибку доступа, ставят штрафные очки
Вопрос.
Как правильно запретить роботам сканировать удаленные страницы, что-бы они не регистрировали ошибку?

При любом обращении к сайту сервер обязан выдать отклик. Хоть какой-то, но отклик должен быть. Если страницы нет, то сервер выдает отклик 404. Он сделает это и без Вашего участия, самостоятельно, но в этом случае сайт будет считаться как заброшенный или плохо обслуживаемый. Если же сделать обработку 404, о которой я уже трижды писал, то для поисковика это как забота о клиентах. Причем, для любого поисковика, в том числе и для Гугла.

Это к той части вопроса, где говорится, что роботы ставят штрафные очки.

Если Вы с этим не согласны, то не делайте - а то еще сломается что-нибудь, а я буду виноват.

2. Запретить сканировать - это означает, не делать запросов к этим страницам.
Не запрашивать эти страницы. Это означает, что не надо ни запрашивать ,ни отвечать роботу
Неверно.
Отвечать роботу надо обязательно, как я уже написал.

"не делать запросов к этим страницам.
Не запрашивать эти страницы." - это вообще непонятно что. Запросы делаете не Вы, их делает робот или пользователь. Вы их не делаете, соответственно, не можете и перестать делать.
Запретить сканировать - как такового, такого запрета не предусмотрено, но можно дать роботу информацию о том, что сканировать по этому адресу больше нечего. Например, выдать роботу отклик 301.
Ну, еще на запрет похож отклик "Доступ запрещен", о котором я тоже писал.
Любой вариант годится.

Вы так и не отвечаете, как робота отчеловека отличить
Поскольку Вы умеете различать роботов, то и отличить робота основной поисковой системы от человека Вам тоже несложно. Конкретный код, если не хочется писать самому, можно взять в любой системе статистики посещаемости. Например, в счетчике powercounter, разработанном в студии софттайм (вложение).

Вам отдохнуть надо, может водочки попить или пивка. А я порадуюсь за вас
Я тоже с вашего милейшего позволения отдохну и пивка попью.
Может от пива в мозгах и просветлеет.
А вы какое любите пиво: светлое или темное


Надо сделать что бы робот не обращался к удаленным страницам
http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

Как?

По части пива я Вам компанию не составлю, ибо не потребляю. Равно как и водку. Даже чай, и тот редко пью, довольствуясь чистой, родниковой водой.

На мой взгляд, едва ли есть что-то вуснее её! Так что рекомендую.

1. Код ответа НТТP апач будет всем сообщать без разбора.
2. Файл robot.txt запретит сканировать роботу, тот даже пытаться не будет, если это правильно сделать и робот не бандит
3. А всяким атакующим, конечно надо им Код ответа НТТP

Беда, как отделить мух от бутерброда.
Я вот возьму скрипт и начну атаковать конкурента. Я кто? робот или пользователь

Вот такая дилемма - полемический довод с двумя противоположными положениями, исключающими возможность третьего.
А точнее трилемма - метафорическое название аргумента о невозможности полного логического обоснования всех предложений системы, поскольку при обосновании одних предложений используются другие, которые в свою очередь требуют обоснования.

Поэтому столько и пара. А может и правда водички родничковой попить

Если Вас волнует репутация сайта в глазах поисковиков (Гугла), то:

1. Код ответа НТТP апач будет всем сообщать без разбора.
По удаленным страницам - дат, так и должно быть.

2. Файл robot.txt запретит сканировать роботу, тот даже пытаться не будет, если это правильно сделать и робот не бандит
robot.txt должен содержать директивы, касающиеся существующих страниц. Удаленные страницы в него вписывать не надо - это неправильно.

3. А всяким атакующим, конечно надо им Код ответа НТТP
Конечно.

Я вот возьму скрипт и начну атаковать конкурента. Я кто? робот или пользователь
Такое впечатление, что скрипт, который я Вам прислал, Вы даже не смотрели. А там есть раздел: "// Выясняем принадлежность к поисковым системам".

я все посмотрел
Вы с собой разговариваете, и доказываете свою реализацию своего проекта.
А вы ничего не читаете, чем больше я пишу тем больше вы не читаете

Ваш проект самый лучший, спора нет. Но я его не видел. И все равно он самый лучший, другого мнения просто нет. Вот истина самая настоящая.

Вы вернитесь в реальность?

Сколько раз мне написать, что только для Гугла?
Сколько раз ссылку приводить http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449
Сколько раз?

Пока кошку дергали за хвост, у паhтнера с часами ситуация изменилась и мне пришлось ставить страницы с рекламой "лабиринтом", что-бы лазали и щелкали рекламу и книги.
У часов накрылся сервер. Я быстро переделал сайт. Мне не выгодно что бы Гугл сканировал.
http://download-books.ru/booka/?id=342727&name=bliz-est-pri-dvereh...-tajna-protokolov-sionskih-mudretsov
http://download-books.ru/booka/?idload=%C1%E5%F1%E5%E4%FB+%F3+%EA%E0%EC%E8%ED%E0.+%CE+%EA%F0%E8%E7%E8%F1%E5%2C+%EE%EB%E8%E3%E0%F0%F5%E0%F5+%E8+%E2%EE%E9%ED%E5

Смертельный номер. Последняя попытка врубится. Вся суть тут.
Вот их мне и надо потом убрать или сейчас от Гугла, сечас только от гугла, а не отпользователя.
У меня их 430 000., а Гугл сканирует их, индексирует.
Но вы все равно не читаете, вы в своем пректе, он для вас идеал, вот и не слышите вопроса.

Ну рекламу пощелкайте у меня, хотьпольза будет :)
Все нормально.

Мне вот это радио нравитсяhttp://www.radioson.ru/slushat_radio_lounge-radio_com.html
А вам?

Ну рекламу пощелкайте у меня, хотьпольза будет

Пошел щелкать. Комиссия будет? На пиво? Нет, на родниковую воду?

Спасибо

Вы как-то выборочно читаете....
Прочитайте такую ссылку: https://support.google.com/webmasters/bin/answer.py?hl=ru&answer=2409439
Еще в инструментах для веб-мастеров есть раздел: Оптимизация / Удалить URL-адреса
Но боюсь там придется вручную удалять каждую ссылку.
Еще там же есть раздел: Конфигурация / Параметры URL, в котором перечислены GET-переменные учитывающиеся в ссылках на ваш сайт. Там можете указать, например, что переменная catalog не влияет на содержимое страницы, и количество проиндексированных URL с этой переменной постепенно начнет уменьшаться.

Спасибо Sfinks , я это перед этим прочитал и сделал
Но сейчас 404 у меня нет

http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

> Но сейчас 404 у меня нет
А должно быть!!!
Вам это уже 150 раз сказали.
Только регулярно получая ответ 404 в течение длительного периода времени поисковик удалит ссылку из индекса!
Все!
Нет больше способов исправить индекс поисковика!

Sfinks, я новичок, я потерпел вздлт и страшную неудачу.
Неужели у вас такого не было?
ВЫ прочувствуйте.
Ну не проект главное, а друзья, ведь правда?

А должно быть!!!
Вам это уже 150 раз сказали.
404 не показывает, ни сервер, ни логи на сервере, ни гугл
Прилагаю файл, но сечас вехде по нолям

404 пявивилось из-за перезда, я поздно опомнился, у хостера вылетело все, а наверное хостер перебрал пользователей + плюс атака и у него все повылетало.

Сейчас скажу от партнера знаю, мастерхост полностью вылетел, все сервера.
Предпоожительно устранят все 22 марта
У меня похожая ситуация была, за что ругать.
Замечания полезные, преложения гипотезы выслушаю
Если конечно травить не будете, а проя вите совйсвенный профессионалам такт, интуицую, проницательность которой вы обладаете сполна, но не всегда опираетесь на твердую почву.

И не ругайье меня пожалуйста так.
Я многого не знаю, не умею, но я стараюсь
Спасибо вам за помощь
Пилагаю копию отчетов Гугла
Еще простите, у меня очень плохое зрение, очки не помогают. Извините и еще раз спасибо за помощь, мне полезно было

> 404 не показывает, ни сервер, ни логи на сервере, ни гугл
Я Вас просто не правильно понял. Я думал страниц нет, гугл тыкается, но 404 ему не отдается.

Ну так значит и проблем нет.
То что посещаемость упала.... Так это скорее странно что она была =)
Скажу честно. У меня такого, чтоб открыл сайт и поперла расти посещаемость на 1000 хостов каждую неделю не было. Так что по SEO-оптимизации не знаю что подсказать.

> мастерхост полностью вылетел, все сервера.
Хм... А как же мы тогда общаемся? Я на сколько знаю, softtime.ru хостится именно на мастерхосте.
По-моему у Вас деза.

С уважением отвечаю.
Я там внизу аяксам гружу товар фирмы для для заработка и прибыли друзей
Вот страница http://download-books.ru/booka/?id=34410

Так вот много лет я работал в 1с, в самых крутых фирмах, Автомир, Бествотч,тра тат та, имею заказы, но не имею таких возможностей. Обо мне у них положительное мнение.
Я сплохими людьми не вожусь, за что во-первых и ценят.

Ну ладно, по секрету везде бывает, вот фирма http://Voprosvremeny.ru
извините, некоторые данные я должен соблюдать конфиденциальность.
Люди мне всю жизнь доверяют, я не могу подробно

Для нашего случая, [url]Voprosvremeny.ru[/url], находится на мастерхосте
Уже неделю висит, я их продовал.
Тм все лучшие мои друзья, огромная фирма.
Я их всех знаю, готов отвечать

Я прошу, не проводить расследование, так ка у вас нет доступа к достоверной информации, а я соблюдаю коммерческую тайну и уважаю друзей.
Если по - существу, рад ответить, или если хотите нам, именно нам помочь, мы и я будем вам благодарны.
Извините меня если, что не так, я добрый человек, в жизни больше работаю.
Раньше я ученым был, все было, но жизнь изменилось.