Разное

Доброй ночи!

У меня в меню и сайдбаре полно сквозных ссылок

некоторые из них http://sait.ru/blagoveschenskaya/ http://sait.ru/vityazevo/ http://sait.ru/dzhemete/

Знаю, что роботы сейчас умеют распознавать такие сквозняки и вроде, вес страницы уже не так много уходит по сквозным ссылкам. Или я ошибаюсь?

Ко всем сквозным ссылкам добавляю знак вопроса http://sait.ru/blagoveschenskaya/? http://sait.ru/vityazevo/? http://sait.ru/dzhemete/? и robots.txt прописываю User-agent:* Disallow: /*?

Получится, что робот при переходе на страницу, вес не будет распределять по сквознякам, а оставлять только там.

Однако нам нужно, чтоб робот все равно как-то проиндексировал меню

Добавляю в sitemap ту же менюшку, но без знака вопроса <url> <loc>http://sait.ru/blagoveschenskaya/</loc> <lastmod>2012-06-13</lastmod> <changefreq>weekly</changefreq> </url> <url> <loc>http://sait.ru/vityazevo/</loc> <lastmod>2012-06-13</lastmod> <changefreq>weekly</changefreq> </url> <url> <loc>http://sait.ru/dzhemete/</loc> <lastmod>2012-06-13</lastmod> <changefreq>weekly</changefreq> </url>

И все...в индексе будут нормальные названия ссылок без "?".

Скажите пожалуйста, как вам такой подход? Очень бы хотелось услышать ответ Владимира!

Получается, что Вы в robots.txt запретили индексацию страниц, но сами ссылки остались. Так что вес с ссылающихся страниц спишется.

Раз есть ссылка, то вес со страницы спишется в любом случае, даже если в её теле есть nofollow.

Единственный действенный сейчас способ, позволяющий не отдавать вес, это вывод ссылок через AJAX.

робот при переходе на страницу, вес не будет распределять по сквознякам

Сам робот ничего не распределяет, ибо его дело только собирать информацию. Поэтому он ходит по всем страницам, какие обнаружит, и запрет индексации ему не помеха. А уж потом, при составлении индекса, в него включается только то, что не запрещено к индексации, а все остальное остается во внутреннем кеше и используется для анализа качества сайта. Так что не позднее трех месяцев логический смысл всех Ваших директив будет выявлен (в смысле, не предназначены ли они для введения в заблуждение поисковика).

Если Вы хотите уменьшить степень влияния сквозных ссылок меню, то расположите его коды в самом низу кодового листа, ниже внутренней перелинковки.

Спасибо, теперь понятнее стало! попробую тогда вниз самый спустить меню и сайдбар и через стили обратно наверх.

Такая проблема: есть 4 разных ссылок на странице, перейдя по ним, будет тот же самый контент, нужно чтоб робот понял, что 3 из 4 ссылок ненужные и чтоб он их не индексировал и санкции никаких не применил, что якобы дублированный контент..

Сами ссылки:

/anapa/dosug/ /anapa/dosug/?category /anapa/dosug/?page=1 /anapa/dosug/?page=1&id=42&vote=on

Если сделать так:

User-agent: * Disallow: /*?

Это решит проблему?

Полагаю, что три последние страницы будут закрыты для индексации.

>Поэтому он ходит по всем страницам, какие обнаружит, и запрет индексации ему не помеха.
А мне всегда казалось, что для этого и придумали файл robots.txt, чтобы создать для него определенные правила. А так получается, что и правила ему ненужны он сам во всем разберется)

Нет, это не так. Файл robots.txt определяет индексацию, то есть то, что не должно попадать в индекс и не должно быть учтено при ранжировании сайта. А сам робот, в этом смысле, больше похож на браузер - он только просматривает файлы.

Осмелюсь предположить, что если роботу указано не ходить по определенному пути, то он туда и не пойдет, чтобы не отвлекаться на ненужные процессы. Вы так не думаете?

я в это тоже хочу верить :)

Чтобы подкрепить веру нужно закрыть тестовые URL для робота и каким-то образом контролировать заходил ли он по тому пути или нет) Тогда и будет все ясно. А так остается только гадать)

Вы так не думаете?

Я так не думаю.