Разное

Наткнулся на много статистик, касающихся "Идентификаторы поисковых ботов (чёрные)", каждый из Вас может это поискать в том же гугле. Но суть не в этом.

Насколько я понял, поисковые боты, в данный момент начинают подделывать юзерагенты, для выявления продажных ссылок на сайте и прочего от них скрываемого. Хотелось бы узнать, каким образом можно идентифицировать поискового робота, который пытается скрыться.

Если кто видел статьи на эту тему, пишите, интересно было бы почитать про это все...
Если есть примеры юзерагентов, то хотелось бы их увидеть.

Спасибо!

Вопрос не блещет новизной, ибо над его решением давно уже бьются клоакеры. На кону очень большие деньги, которые поисковики никому не отдадут. И продажные ссылки здесь - мелочь.

Едва ли возможна постоянная защита от "Черных ботов", поскольку маски меняются непрерывно и перечень будущих масок не может быть известен. За то известно другое: сайт, пойманный на попытке спрятаться от таких ботов, попадает в бан навсегда.

Есть ли у кого на примете юзерагенты хотя бы парочки черных ботов?!