40000rps на 300 мегагерцах может оказаться недостижимой целью, да. Вы посчитайте время на переключение контекста, у вас процессор мб будет только успевать прыгать между ядром и юзерспейсом.
С DMA это еще реализуемо, но там вы будете реагировать не на отдельные фреймы, а их пачки.