http://softtime.ru/forumhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368685Может быть и так. А с другой стороны, из seo-шников фиг что вытянешь... Они делают парсеры, которые таскают абсолютно всё,...Crawl-delay в robots.txtFri, 6 Mar 2009 21:44:02 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368643фигня все это, вот и нет конкретной информации.Crawl-delay в robots.txtFri, 6 Mar 2009 17:10:46 +0300GeorgeIVhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368600Была бы точная информация - я бы уже попробовал. На одном из форумов был пост на сей счет. Типа, Гугль...Crawl-delay в robots.txtFri, 6 Mar 2009 12:54:23 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368576А где информация об этом есть? или это так, по слухам?Crawl-delay в robots.txtFri, 6 Mar 2009 10:07:38 +0300GeorgeIVhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368539Может, какое-то ноу-хау. Но как-то делается, это точно.Crawl-delay в robots.txtThu, 5 Mar 2009 20:15:44 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368494А причем тут robots.txt и защита от скачивания?Crawl-delay в robots.txtThu, 5 Mar 2009 14:52:23 +0300GeorgeIVhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368462Это основное применение. Но люди нашли и другое - защиту от скачивания.Crawl-delay в robots.txtThu, 5 Mar 2009 11:48:56 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368453Дело не в том, понимает это сервер или нет. А дело в снижении нагрузки на сервер от роботов, если сервер...Crawl-delay в robots.txtThu, 5 Mar 2009 10:16:40 +0300GeorgeIVhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368407Сервер можно на многое запрограммировать, однако, я не слышал, чтобы штатное серверное ПО как-то реагировало на robots.txt. Обычно этот файл...Crawl-delay в robots.txtThu, 5 Mar 2009 00:08:48 +0300cheopshttp://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368403Это я знаю. Но вот встретилась статеечка, в которой сказано о методе защиты сайта от повреждения с использованием Crawl-delay в...Crawl-delay в robots.txtWed, 4 Mar 2009 23:53:19 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368370Ответ здесь http://webmaster.ya.ru/replies.xml?item_no=1338&ncrnd=1816Crawl-delay в robots.txtWed, 4 Mar 2009 21:42:08 +0300AcidTrashhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368359"Именно с позиции сервера, а не как директива поисковика. Есть у нее серверная функция? Ммм... что Вы имеете ввиду? Но...Crawl-delay в robots.txtWed, 4 Mar 2009 20:45:02 +0300ddhvvnhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=63166#post368326Какую функцию выполняет на сервере Crawl-delay, помещенный в robots.txt? Именно с позиции сервера, а не как директива поисковика. Есть у...Crawl-delay в robots.txtWed, 4 Mar 2009 18:53:52 +0300Владимир55