Форум PHP

Ну, тут уже ничего не поделаешь. Хотя бы частично скрывается.

Только для тех, кому не надо ее обойти. Но указать в UA можно хоть Вася Пупкин, при чем без заморочек. В PHP есть для этого штатные средства.

Нашел источник со списком user-agent'ов ботов. Неслабая проверка будет.

Я знаю один хитрожопый сайт, еоторый публикует разного рода объявы. Так вот, весь коммерческий контент и внутренние ссылки грузятся AJAX'ом на свои места только в случае, если JS определит, что у браузера есть реальные ширина и высота.

Бан на сайт при разном тексте боту и не боту?!!! Ахахахахахахахахахахахахахахаха... Такой поисковик самому в бан нужно отправлять xD

Уважаемые создатели форума Софттайм. Я еле выделил ссылку на планшете, чтобы открыть адрес в браузере. Сделайте автоматический подхват ссылок и превращение их текстовых адресов в HTML-адреса, пожалуйста.

Защититься от fopen и file_get_contents я бы тоже хотел, но это, правильнее всего, назвать вторым пунктом в данной теме. В принципе, наверно нужно было создать отдельную тему на форуме.

Например, знаю, что от подобного защищён Кинопоиск. Он выводит вам подставу при подобных запросах.

Много здесь было написано вами, и пока я сделал вывод, что скрыть контент можно только от основных поисковых систем и только официально, то есть по проверке в юзер-агенте.

Скрывать коды карт оплаты я не собираюсь. Просто есть настройка, что пользователь может выбрать, кому показывать его контент: всем, гостям (всем, кроме ботов), пользователям. Первое и третье — легко. Остается решить вопрос со вторым пунктом.

> При желании можно сделать так, что ни один робот не сможет имитировать работу
> настоящего бразуера

Нельзя.
Вернее БЕЗ причинения неудобств для пользователя - нельзя.
Можно заставить юзера каждые 5 страниц вводить капчу, например. Но понравится ли это посетителям.....

Это гуглбот, а большинство поисковиков не умеют. При желании можно сделать так, что ни один робот не сможет имитировать работу настоящего бразуера. Но это больше актуально для защиты от парсеров, а не поисковиков. Ведь есть файл robots.txt где все параметры индексации можно настроить.