|
|
|
| Пишу скрипт построителя карты сайта. Всё ничего, но комп загружает этот скриптик оооой как хорошо...:) Алгоритм таков: начинаем с главной сраницы, загружаем её и выделяем внутренние ссылки, всяческие проверки, чтоб не было ссылочного мусора, дальше идём по ссылкам и также вытягиваем ссылки с внутренних страниц и т.д. Вобщем, обычный бот. Делаю до 3 уровня (http://site.ru/dir1/dir2/link.html), но если ссылок получается больше 100, то это уже становится небольшим, а может и большим затруднением для компа (смотря что за комп). Слышал, что за такие скриптики могут и забанить провайдеры... правда ли это? (первый вопрос:) )
Так вот в любом случае не плохо бы было его как-нибудь оптимизировать, но вот как? Подскажите, пожалуйста, каким образом можно хоть какую-нибудь оптимизацию?
Заранее спасибо! | |
|
|
|
|
|
|
|
для: GлюК
(23.05.2007 в 14:46)
| | Если сайт использует движок на mysql тогда тащи данные из базы, а так думаю нагрузка как ни делай будет всегда. | |
|
|
|
|
|
|
|
для: GлюК
(23.05.2007 в 14:46)
| | Запускать его не при каждом запросе, а админом (при изменении структуры сайта), а результаты работы сохранять в БД или в файл. | |
|
|
|
|
|
|
|
для: GлюК
(23.05.2007 в 14:46)
| | > за такие скриптики могут и забанить провайдеры...
Провайдеры вряд ли... хостеры... возможно, это им не понравиться, попросят убрать скрипт. | |
|
|
|
|
|
|
|
для: kasmanaft
(23.05.2007 в 19:11)
| | маленько глюкануло!) Я про хостеров и имел ввиду! | |
|
|
|
|
|
|
|
для: GлюК
(23.05.2007 в 14:46)
| | If-modified-since | |
|
|
|
|
|
|
|
для: Trianon
(23.05.2007 в 19:20)
| | Спасибо всем за ответы! Вообщем-то я так и думал, что ничё особого тут не сделаешь! | |
|
|
|
|
|
|
|
для: GлюК
(23.05.2007 в 14:46)
| | делать хеш, например xml файлик с картой ... а по истечении кокого-либо времени его обновлять ... или в ручном режиме | |
|
|
|