Вариант ровно один: каким-либо методом в процесс подсовывается твоя DLL замещающая win32 api в нужных местах. И она логгирует все вызовы API. 100500 лет назад было такое ApiHooks для Win32. Я уже не знаю что сейчас. Но не для компортов разумеется. Когда мне надо было для компортов я по такому принципу свою DLL написал со всеми функциями FT232 адаптера и их логгировал в файл и потом разбирался, что там посылается.