Разное

Добрый вечер! Название темы- есть вопрос.

К примеру у меня есть такие ссылки:

http://sait.ru/avto/
http://sait.ru/avto/page-1/
http://sait.ru/avto/page-1/?ORDER_BY=date_DESC

Нужно, чтоб робот как-то их склеивал и в индекс попадала только http://sait.ru/avto/.

Правильно ли поступить так:

в robots.txt

Disallow: /avto/page-1/*

?

Может канонический url прописать странице

интересный атрибут, только смутило это :

документ не может иметь несколько канонических url;

http://help.yandex.ru/webmaster/?id=1111858

У меня в хедаре меню много ссылок, типа:

site.ru/avto/
site.ru/images/

перейдя по ним, стоит постраничная навигация и сортировка (по дате, по популярности)

Это если им дать канонический url... то это будет больше чем 1 на странице..

Надеюсь проблему можно будет решить через robots.txt

Если Вам нужно, что бы в индекс попадала только http://sait.ru/avto/, то на всех других страницах пишете

<link rel="canonical" href="http://sait.ru/avto/"/>

Но вообще, хотя такую конструкцию поисковики допускают, не надо иметь страницы с разными адресами, но с одинаковым контентом.

у меня просто на первой странице http://sait.ru/avto/ есть ссылки с сортировкой по дате и тп.:

http://sait.ru/avto/?ORDER_BY=date_DESC  http://sait.ru/avto/?ORDER_BY=date_ASC   http://sait.ru/avto/?ORDER_BY=rating_DESC  http://sait.ru/avto/?ORDER_BY=rating_ASC.

Получается что робот сначала прочтет в хедаре http://sait.ru/avto/, а потом пойдет по http://sait.ru/avto/?ORDER_BY=date_DESC и наделает дублей... и это все на одной странице. Просто может в robots.txt прописать те ссылки, которые не нужно посещать? (мне бы так удобнее было).

Я в первом посту указал пример(правильный ли?) как нужно указывать запрет на "ненужные ссылки"

Звездочка не обязательна - она приписывается по умолчанию.

Таким образом Вы закрыли от индексации все 4 варианта этой страницы. Если же один из них хотите допустить к индексации, то можете перечислить те, что надо закрыть:

Disallow:  /avto/?ORDER_BY=date_ASC  Disallow: /avto/?ORDER_BY=rating_DESC  Disallow: /avto/?ORDER_BY=rating_ASC

Или так:

Disallow: /avto/ Allow: /avto/?ORDER_BY=date_DESC

>Правильно ли поступить так?
Нет.

У Вас же, как я понимаю имеется и страница /avto/page-2/ и т.д. у которых тоже есть фильтр по дате

Если Вам нужно, чтобы в поиске была только /avto/

То

Disallow: /avto/*

но тогда Вы теряете стр 1 2 3 и т.д.

а если блок с фильтрами поместить в тег noindex, а в его ссылках указать rel="nofollow"?
А в robots.txt прописать

Disallow: /avto/page-1

И вроде бы дублей не будет.. В поиске тогда будут

http://sait.ru/avto/  http://sait.ru/avto/page-2/  http://sait.ru/avto/page-3/ и тп

Поправьте плиз, если что не так

Непонятно почему Вы закрываете только /avto/page-1 или это только пример? Если пример, то неясно, как другие закрывать 123.... 1 000 000 Хотя думаю, что это не планируется)

как другие закрывать 123.... 1 000 000

Это вы про страницы? Их не нужно закрывать..

У меня на http://sait.ru/avto/page-2/ или http://sait.ru/avto/page-3/ будет совсем другой контент и его нужно будет проиндексировать, точнее ссылки... Также как и http://sait.ru/avto/ и http://sait.ru/avto/page-1/, но здесь будет один и тот же контент и придется закрыть доступ к /avto/page-1

Вот у меня ситуацию как и у этого сайта

Есть такая ссылка

http://softtime.ru/forum/index.php?page=1&id_forum=1 и такая  http://softtime.ru/forum/index.php?id_forum=1

Если робот умеет сканировать в обратную сторону, то он обнаружит дубль :)

Так какой же тут дубль?
Есть форум 1 у него имеется стр.1, есть форум 2 у него тоже есть стр. 1

Робот ведь заходит на главную

http://softtime.ru/

в правой части выбирает форум ссылкой http://softtime.ru/forum/index.php?id_forum=2, а потом оказывается, что такая же страница существует с ссылкой http://softtime.ru/forum/index.php?page=1&id_forum=2. Я не знаю какие штрафы роботы за это дают.. может у меня понятия в дублях страниц немного другие :)

Тогда закрываете index.php?page=1&id_forum=2 и живете спокойно)

спс!

Возможно Вам пойдет такая запись. Но не уверен.

Disallow: /avto/?*

а нормально, что на одну страницу может быть 3-4 одинаковых ссылки?

У меня в цикле выводятся блоки <div>, в каждом есть title ссылка на полную версию статьи, ниже число комментариев с такой же ссылкой и мини фото с ссылкой

Да вроде бы нет в этом ничего плохого...