Такая проблемма: Есть любое окно и его handle и есть DLL c функцией в которую передается этот handle — необходимо ловить и обрабатывать некоторые сообщения окна из этой функции.
Пытался в цикле через GetMessage, но получается какая-то ерунда: тормозит, вываливается просто так и окно не редко не обрабатывает сообщения .

Надо загрузить DLL в адресное пространство процесса, в котором окно создано (injecting), потом подменить оконную функцию (subclassing), а в ней и будешь получать сообщения.