3 дня охотился за мифической ошибкой, которая намертво обрушивала рабочих. Дело осложнялось тем, что происходило это только через магические 180/210 секунд и только после серии прерванных запросов. Следы привели к Unix.write. Долго расставлял ловушки для исключений, но улова не было. Заменил Unix.write на Unix.single_write. И — о чудо! Похоже, что больше не падает.
UPDATE: Дело оказалось в другом. Когда далёкая сторона рвёт пайп, процесс ловит не исключение, а сигнал SIGPIPE. Который, соответственно, и надо было отловить. Но это уже исключительно моя глупость. Достаточно было воспользоваться gdb. Теперь уже точно всё чудесно:
2008-11-21 15:04:49 [21685] Worker: Exception: Exception got while putstring(): Failure(”Broken pipe”)
2008-11-21 15:04:49 [21685] Worker: Exception: Exception in protocol_http: End_of_file
Добавил подсчёт времени ответа. Считается от момента начала отправки запроса серверу и до появления первого токена (версии протокола) . Пригодится для оценки нагрузки. (циферки: принято/отправлено/суммарное время ответа/количество запросов, среднее время ответа):
2008-11-21 01:15:53 [9458] Master: www-128.ibm.com: 1492/2231/1.151/4 avg response time: 0.288
2008-11-21 01:15:53 [9458] Master: www.google.com: 1529/7240/1.275/4 avg response time: 0.319
2008-11-21 01:15:53 [9458] Master: tldp.org: 2183/32055/2.462/10 avg response time: 0.246
2008-11-21 01:15:53 [9458] Master: do.davebsd.com: 892/61312/3.156/16 avg response time: 0.197
2008-11-21 01:15:53 [9458] Master: 62.105.135.103: 492/4796/0.488/2 avg response time: 0.244
2008-11-21 01:15:53 [9458] Master: john.5070.info: 48972/56860/29.940/25 avg response time: 1.198
2008-11-21 01:15:53 [9458] Master: angara.net: 17093/783047/21.354/64 avg response time: 0.334
2008-11-21 01:15:53 [9458] Master: opennet.ru: 404/18673/3.246/2 avg response time: 1.623
2008-11-21 01:15:53 [9458] Master: weather.noaa.gov: 432/41257/11.670/12 avg response time: 0.973
2008-11-21 01:15:53 [9458] Master: linux.org.ru: 406/359/0.271/2 avg response time: 0.135
2008-11-21 01:15:53 [9458] Master: www.opennet.ru: 827/838/0.091/4 avg response time: 0.023
2008-11-21 01:15:53 [9458] Master: www.linux.org.ru: 3414/21411/1.079/12 avg response time: 0.090
Думаю, на этом можно с HTTP заканчивать и начинать MySQL. Будет продолжать активно тестироваться — я через это дело в интернет хожу.