Все, понял что происходило. Ну и Haskell невинен аки агнец.

У меня был включен демон, что понижал тактовую частоту при слабой нагрузке на CPU. Пока приложение ждет очередной строчки по сети, CPU не грузится и демон понижает частоту. Как только оно приходит — частота маленькая и программа тормозит. К тому моменту, как демон способен врубиться что пора бы поднять частоту — поздно, программа снова ждет следующего сообщения. Ну и конечно, если сообщения летят без остановки, то частота поднимается моментально и дальше все обрабатывается быстро.