Заглянуть в сорцы драйвера, использует ли он DMA. Если нет -
исправить. Если нет DMA для SPI - то сильно чесать репу. Для NUC970
решал похожую пробоему через переключение прерывания SPI с IRQ на
FIQ и ассемблерный обработчик.
Не надо делать мне как лучше, оставьте мне как хорошо