Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
PHP Puzzles. Авторы: Кузнецов М.В., Симдянов И.В. PHP на примерах (2 издание). Авторы: Кузнецов М.В., Симдянов И.В. C++. Мастер-класс в задачах и примерах. Авторы: Кузнецов М.В., Симдянов И.В. MySQL 5. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. PHP 5/6. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Форум PHP

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум Структурный форум

тема: Кеширование страниц для роботов
 
 автор: Sergmust   (27.09.2006 в 10:05)   письмо автору
 
 

Страдаю от роботов, подвешивающих сервер во время индексации форума.
Существует ли возможность уменьшить эту нагрузку каким либо образом, например кешируя страницы или как нибудь еще?

Спасибо!

   
 
 автор: cheops   (27.09.2006 в 11:14)   письмо автору
 
   для: Sergmust   (27.09.2006 в 10:05)
 

Нужно больше подробностей... какой объём форума, можно ли сделать архив.

   
 
 автор: mihdan   (27.09.2006 в 16:47)   письмо автору
 
   для: Sergmust   (27.09.2006 в 10:05)
 

Запрети кэширование форума в файле robots.txt

   
 
 автор: Sergmust   (27.09.2006 в 23:47)   письмо автору
 
   для: mihdan   (27.09.2006 в 16:47)
 

1. Запретил некоторые особо вредные модули к запуску. Но наглые роботы вроде Aport и WebAlta все равно лезут.
2. Форум микронный , пока всего около 700 сообщений. Архив включил, они лезут не в него, а куда не надо. Хотя страницы сайта при заходе робота подставляют в ссылки путь на него.
3. Да, форум Vbulletin 3.61
4. Такая же ситуация была со сложными динамическими страницами, но их я переписал с учетом роботов, и для них формирую отдельную страницу без изысков.
5. Вот такая фигня.... Опять просадили более 5 процентов.

   
 
 автор: cheops   (28.09.2006 в 12:43)   письмо автору
 
   для: Sergmust   (27.09.2006 в 23:47)
 

Больно уж капитальная нагрузка для такого небольшого форума... У вас собственный сервер?

   
 
 автор: Sergmust   (28.09.2006 в 14:22)   письмо автору
 
   для: cheops   (28.09.2006 в 12:43)
 

На 1GB.ru хостюсь.
Говорят что у них XEON 3.4
Вся фигня начинается когда пара поисковиков вместе приходят.

   
 
 автор: cheops   (28.09.2006 в 22:43)   письмо автору
 
   для: Sergmust   (28.09.2006 в 14:22)
 

5 Процентов XEON-а выедатся 700 сообщениями?! Этот форум имеет почти 150 000 сообщений и совсеми поисковиками, посетителями и сторонними сайтами на тех же XEON-ах выедает 0.5, максимум 1% в пике. Посмотрите не ходят ли роботы у вас по кругу - поставьте PowerCounter - сколько хитов они делают за заход?

   
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования