| |
|
|
| | Привет всем !
Столкнулся с необходимостью одновременного ну или почти одновременного распарсивания текстовых файлов. Если работает один- все нормально, но сервер не отвечает за запросы пользователей, и следовательно не может принять к обработке и запустить парсинг файла от другого пользователя. Тип файлов пока что один, просто с разных рабочих мест. Какие могут быть варианты по паралельной работе нескольких процессов, ограничению процессорного времени или приоритетам ... ? Подумалось что можно отдать закачку и распарсивание дополнительному серверу (не думал пока как) ?
Спасибо всем ! | |
| |
|
|
| |
|
|
| |
для: larush2
(03.10.2011 в 08:49)
| | | А что делается с информацией, которая парсится? Вообще не весть какая сложная задача, чтобы сервер переставал отвечать на другие вопросы. А вот если вы эту информацию вставляете при помощи INSERT/UPDATE-запросов в таблицу типа MyISAM, то таблица блокируется и все остальные запросы ждут, когда она освободиться. Если ситуация похожа на вашу, пожалуйста сообщите, если нет, тоже сообщите побольше подробностей - будем думать, что можно сделать. | |
| |
|
|
| |
|
|
| |
для: cheops
(03.10.2011 в 09:29)
| | | Спасибо за желание помочь.
Файл скачивается, по структуре он блочный, т.е. можно выделить "осмысленные" блоки с одинаковыми ID, ограниченные строкой END REPORT, на которую я и ориентируюсь. Блоки небольшие- до 20-30 параметров, каждый параметр не более 50 знаков. После создания массива для каждого из блоков идет поиск в БД ID нового блока и если нет, то добавляется новая запись, если есть - происходит UPDATE.
Если началась скачка + обработка файла (1 мегабайт), то при попытке достучаться до главной страницы модуля с другого ПК (этот уже висит с минуту) страница не отображается. Причем, практически одновременно запускаю, т.е. еще не скачался файл по FTP, и значит работа с БД не началась. Главная страница не имеет ссылок на скачку- просто меню... | |
| |
|
|
| |
|
|
| |
для: larush2
(03.10.2011 в 22:55)
| | | 1) Для чистоты эксперимента, запустите скрипт вообще без обращения к базе данных. Т.е. пусть он парсит, но к базе данных вообще не обращается (максимум SELECT-запросы). Меняется ли поведение сайта или все остается без изменений?
2) Известно ли что-то о пропускной способности канала сервера, где расположен сайт? | |
| |
|
|
