Ну если это не аддитивная задержка от выполнения кода между
передачами - попробуй уменьшить в N раз частоту SPI. Если задержка
тоже растянется в N раз, то - поздравляю, ты выловил баг!!! Я
работал с GD32F1 SPI по DMA - такого не наблюдалось. Возможно
задержка такая есть в начале, а при непрерывной передаче ее между
байтами нет.