Разное

Процесс построения поискового индекса состоит из двух частей - считывание содержимого страниц и наполнение индекса, включая ранжирование. Вторая часть скрыта в тумане и о её сущности можно лишь строить догадки, ибо поисковики хорошо умеют хранить свои тайны. А вот процесс считывания поддается контролю. В частности, если найти страницу своего сайта через поиск и посмотреть кеш поисковика, то можно узнать, какую исходную информацию о ней получил данный поисковик.

Вы с этим согласны?

Вопрос звучит примерно так:
Волга впадает в Каспийское море. Вы с этим согласны?
Естественно, что поисковик считывает вашу страницу и так же естественно, что он ее где то хранит для возможности получения, если между обращениями к странице поисковикового робота будет недоступен сервер, где лежит эта страница.

Не факт.

В начале этого года появились сведения, что некоторые поисковики, и прежде всего Гугль, неформально отказались от исполнения инструкций по запрету индексации. Они стремятся видеть в точности то же, что видят люди. И даже начали исполнять некоторые скрипты.

По этому поводу я писал в Яндекс дважды.

Первый раз спросил, не будет ли нарушением лицензии вывод через скрипт не тематической рекламы. - Ответили "Не будет".

Второй раз привел пример скрипта и спросил, проиндексирует ли Яндекс ссылку, выведенную таким образом. - Ответили "Проиндексирует".

Сейчас многие пытаются понять, что же поисковики уже научились индексировать. Ответ ищут в анализе кеша - в нюансах он стал несколько другим.

Где-то я читал,
что не всё так сложно, а политика гугля сводится к тому, что
проделывать всего 2 действия:
1) прочитать страницу, не представляясь в качестве googleбота,
и сравнить с тем, что бот принёс
2) Запустить яву на странице, и тоже сравнить.

Сравнивают, вероятно, на предмет скрытых ссылок, ну и банят по чуть-чуть за это.

Но вполне возможно, я что-то путаю.
Да и не читал я внимательно этот текст.

Но, думаю, что в этом случае, их кэш лишь довольно косвенное отношение имеет к ранжированию, хотя по нему и можно что-то понять.
В частности, ведь не весь JS можно на сервере выполнить. Есть ведь и принципиальные отличия от браузера.

Логичнее, казалось бы, искать ответ в анализе логов...

>Есть ведь и принципиальные отличия от браузера.
Например?
Что может помешать гуглу использовать в качестве парсера, например, тот же движок, которые реализован в хроме?

Я тут ещё переговорил с корифеями по части SEO - вот такие ссылки

<script> document.write ('<' + 'a' + ' ' + 'h' + 'r' + 'e' + 'f' +  '=' + '"' + 'h' + 't' + 't' + 'p' + ':' + '/' + '/' + 's' +  'i' + 't' + 'e' + '.' + 'r' + 'u' + '/' + '>' + 'Ж' + 'м' +  'и' + ' ' + 'с' + 'ю' + 'д' + 'а' + '!' + '<' + '/' + 'a' +  '>'); </script>

которыми я как раз и пользуюсь, поисковик читает.

Во-первых, многие поисковики уже умеют исполнять ява-скрипты.
Во-вторых, поисковик хранит КОД страницы, а саму страницу отображает уже ваш броузер, поэтому, если доступ к стилям, картинкам и прочему отличается от доступа с сервера, то страничка будет отображена не так, как она должна быть.

интересно как он аякс запрос будет исполнять :)

Браузер - это не в точности одно и то же что движок.
Как, например, ваш движок на сервере будет обрабатывать события onfocus, onblur?

Может эмулировать (а может симулировать:) ) их? )

В принципе всё возможно,
но на практике некоторые вещи бывает очень трудно аккуратно реализовать,
Тем более бывает трудно проверить аккуратность реализации...
Поэтому за них проще и не браться разумному человеку.

>но на практике некоторые вещи бывает очень трудно аккуратно реализовать...
>Поэтому за них проще и не браться разумному человеку.
Подобные задачи - как раз и есть специализация разработчиков гугла. А все разумные люди потом за ними тянуться изо всех сил...