У меня тут возникла бредовая идея, вы же с внешним кварцем FTDI используете, может там велик разброс частот на разных сторонах? Там вроде есть возможность внешней синхронизации, можно попробовать их засинхронизировать между собой. Или с одного кристалла обе стороны генерить.
https://embedders.org - блоги разработчиков встраиваемых систем.