Разное

Сегодня я прослушал семинар по противодействию АГС. И, хотя Яндекс уже снял претензии к моему сайту, слушал как завороженный, поскольку всё это настолько далеко от гипотез, высказываемых на форумах вэбмастерами, что общее впечатление можно выразить только одним словом: Обалдеть!

Проводил разработчик какой-то специализированной поисковой системы, которая тоже использует АГС. И действительно, это просто гениальное решение, настоящее достижение математической мысли!

Сейчас уже запущен АГС-35, интеллект которой ещё больше возрос.

Применительно же к вопросу, ради которого была создана эта тема, отмечу: да, тип CMS имеет значение, и очень большое! Причем, в ряде случаев даже версия!

Совершенно однозначно, что многие сайты погорели только по причине использования конкретной версии конкретной CMS.

речь идет о том случае, когда мы вместе с 404 отдаем специальную страницу, которая прописана error page...... и где будет написана типа.." К сожалению эта ссылка неправильная, попробуйте зайти на нашу главную страницу и т.п."

Полагаю, что этот вариант. Некоторые умельцы используют этот прием не только для защиты от индексации, а для того, чтобы поисковики данный текст вообще не смотрели.

Здесь вероятно имеется в битая ссылка - т.е. на сайте есть ссылка, которая ведет в никуда.

Владимир, спасибо за этот ценный список... Многое действительно похоже на правду и звучит логично.... но........ я только не понял вот этот момент..

Существующие страницы отдают код ответа 404 92%


Знатоки, подскажите!!!!! Как поисковик узнает, что страница существует? Ведь, как я понимаю, поисковик получает клиентский код, а в заголовке четко сказано, что страницы нет...........

или..........

речь идет о том случае, когда мы вместе с 404 отдаем специальную страницу, которая прописана error page...... и где будет написана типа.." К сожалению эта ссылка неправильная, попробуйте зайти на нашу главную страницу и т.п."

Какие-такие необыкновенные каналы развития сайта Вы имеете в виду, я не понимаю.

Вероятно, виной всему недавнее лунное затмение, но лично я совершенно не понимаю того, о чем Вы говорите. В смысле, не улавливаю связи с вопросом.
Ну да ладно.

>PS Мы когда softtime.org заводили, думали там роботы вообще водиться не будут - все сделали "не правильно"

Это уж точно.
Добавлю, что сайт, вернее изначально только форум, был сделан в связи с войной в Грузии. И никакой цели для его раскрутки особо не ставилось. Да и сделали всё на скорую руку абы как. Потом только, причем сильно потом, все привели в нормальный вид.

ps К слову по самому идиотскому запросу всего лишь PHP наша софттаймина на пятом месте в Яндексе. После самого яндекса и трех сайтов, название домена которых содержит php.

Это ничему не противоречит, они же не пишут "еле вас нашел, в поисковой системе нет ни одного упоминания" т.е. ваш сайт не выпадает из индекса. У меня сложилось впечатление, что все, что выше написано относится к свежим сайтам, никак не 2004 года, и то, если на этот сайт будет 2-3 ссылки, то робот все-равно его подхватит. Есть сайт с низким ТИЦ и их большинство, более того, их масса стремительно растет, индексировать их нужно, но в каком порядке, кому отдавать предпочтение? Если на всех ресурсов не хватает, вероятно нужно начинать с качественных, которые проработаны, которые на хорошем хостинге, на которые можно тратить меньше ресурсов (ну и остальные критерии выше). При этом если у сайта ТИЦ высокий, то с ним хошь ни хошь нужно работать, иначе люди будут искать другие способы поиска информации, если они что-то не смогут найти через поисковик, но будут знать, что где-то что-то такое должно быть, как в случае пиратского софта и фильмов. Не будем показывать пальцами, но некоторые даже регистрацию ограничивали одним часом в сутки - у нас и так народу столько, что если мы вам действительно нужны, то будьте добры зарегистрироваться с 7 до 8 часов утра...

PS Мы когда softtime.org заводили, думали там роботы вообще водиться не будут - все сделали "не правильно" начиная с домена, заканчивая, что на одном IP-адресе с softtime.ru (даже Рамблер нам счетчик отказался для него выдать :). Нам это и не нужно было - меньше пауков, больше ресурсов, кому надо и так знали о существовании сайта. Через некоторое время все роботы пришли, сначала Google пришел и каждый день утюжил сотнями обращений, теперь вот Яндекса безвылазно сидит. Не было их довольно долго, да собственно и сайта года полтора не было, был только форум. Да, возможно, сайт не включается сразу в поисковые системы, но если он живой, если постоянно пополняется - он туда будет включен рано или поздно.

>И несколько сомневаюсь, есть ли они.
Странно это слышать от вас. Эти каналы просто не в сети, возможно вы ими даже пользуетесь не для сетевой работы. Создать любому сайту посещаемость такую, что он просто рухнет - не так сложно, как кажется, и даже можно поддерживать этот интерес довольно длительное время. Только проку от безумной толпы обрушивающей ваш сервер не так много (ну если, конечно, цель не в обрушении сервера), она как набежит, так и убежит. Та же проблема с поисковыми системами - пришел я на сайт из поисковой системы, прочитал что запрашивал и ушел, даже не запомнив адреса. Проблема в том, чтобы люди оставались на сайте или выполняли более сложные действия, например, регистрацию (и поисковые системы тут не помогают).

иногда да, поисковые системы критически важны, но не так часто, как кажется

С сожалением констатирую, что лично я ничего не понял... Трижды перечитал – не доходит!

Мой личный сайт существует с 2004 года. По сей день приходят по две-три тысячи человек. Некоторые там «живут» и если я что-то меняю в навигации, то пишут, что не могут этого найти – подскажите, куда делось. Через него меня отыскало несколько психологов, некоторые из которых стали приятелями. В общем, можно считать, что сайт был и остаётся нужным создателю и другим людям.

Смотрю статистику по источнику трафика – на первом месте с огромным отрывом поисковики, ещё там есть чьи-то сайты, есть форумы, есть доски объявлений, есть каталоги, есть социальные сети. В каталоги я заносил сам, а всё остальное сделали люди, пришедшие с поисковиков. И если бы с поисковиков люди не шли, то не было бы ничего – ни посетителей, ни социального эффекта для меня и других людей.

Какие-такие необыкновенные каналы развития сайта Вы имеете в виду, я не понимаю. Нет, не понимаю! И несколько сомневаюсь, есть ли они.

Вообще плевать - это наверно не то слово... я бы рассматривал роботов, как домашних животных, иногда в старых домах, для кошек и собак делали специальную маленькую дверь-ход, вор в неё не пролезет, а кошка или собака - запросто. Они не могут открыть большую дверь, ну чего животина будет на улице мерзнуть-мокнуть, сделаем небольшой ход - нам не мешает и божьему созданию хорошо. При создании сайта - вот такая "дверь-ход" это полезная штука, которая ничуть не унижает мастера-домостроителя, наоборот показывающая его любовь к работе и учет всех деталей. Если известно, что хозяева очень неравнадушны к питомцам (по иронии в данном случае к паукам), можно даже этому входу уделить небольшой мини-проект, ну там небольшой блок или даже серию блоков в управлении (украсим дверь-ход аркой из кирпича). Когда же животным оставляют в наследство миллионы - это эксцентризм, если не сказать хуже (животным деньги не к чему, деньги - это инструмент людей).

Можно и должно заботиться о питомцах (напоминаю, что это пауки), но двери - они для людей и хозяева дома - люди, там они живут и принимают в гости других людей. Залезь в дом какая другая тварь вроде крысы (спам-робот) и разговор будет короткий. Главное - это посетители, да поисковые системы - это точки входа, но скорее всего посетитель как вошел, так и вышел - ему нет нужды оставаться на долго, чтобы он ходил на сайт регулярно, а уж тем более работал с ним - нужно что-то еще помимо поисковых систем (хотя сайты есть разные и посетители тоже различаются, иногда да, поисковые системы критически важны, но не так часто, как кажется).

Требования все понятны, как и у всех у Яндекса закончились сервера, а точнее серьезные трудности с масштабированием - бесконечно увеличивать их количество никогда нельзя было - рано или поздно наступает потолок. Поэтому он будет выбирать в первую голову тех, кого быстрее всех проиндексировать можно - это не забота о пользователях, это Яндексу так удобнее и дешевле (и трудно их винить в этом). В таком свете, техническая выгода налицо: "мне надоело ходить по пустым страницам и по 500 раз читать одно и тоже, хотите, чтобы я вас индексировал, хоть чуть-чуть помогите".

>По большому счету - наплевать на них и всё. На все поисковики эти. И делать то, что людям
>интересно. Как когда-то Высоцкий, не будучи членом ни каких союзов, был известен на всю
>страну.
А за одно можно съэкономить на бесконечной гонке редизайна. В конце концов интересы (в том числе экономические) не только у Яндекса. Новые порталы и без его указки все так и делают, хоть с CMS, хоть без. Однако вот какой-нибудь levi.ru, которому больше 10 лет и где используются технологии, о которых уже и не помнит никто - мы переделываем и переписываем лет 5-6, портал живой, времени на замену старого кода уходит масса, старые ссылки просто обязаны существовать, так как на них пол Рунета ссылается, у Владимира Львовича и без этого дел по горло, чем новые тексты писать или старые перерабатывать. Сайт и Яндекс.каталоге и где только не указан. Перерабатывать старые порталы очень накладно, тем более, что к моменту переработки опять сменяется технология и вектор развития.