Обычно про проектировании разделяют — "работу", которая должна быть быстрой и редкие события типа — требуется перераспределение памяти.
Вот из этого и исходите.
Если у вас например требуется быстрая реакция системы, то есть задача черезвычайно критическая по скрости, то делают что-то типа "прокси" которая максимально быстро выделяет и фиксирует освобождение блока. А в моменты когда нагрузка снижается или в фоне в пакете делается уже оптимизация памяти.
Насколько я помню (давно уже этим занимался), стандартный "malloc" или другой стандартный аллокатор в С++, сейчас использует один из самых лучших алгоритмов. То есть кардинально улучшить его можно только статическим аллокатором. Но тут придется пожертвовать возможно не оптимальным использованием памяти. Поэтому надо понять стоит оно того или нет.
