Тут от кода сильно зависит, как правило в DSP есть специализация регистров, из-за чего некоторые алгоритмы могут подтормаживать, до 2х раз по сравнению с ARM на той же частоте. Особенно они не любят ветвления.
Это моё личное предвзятое мнение. Любое совпадение с реальностью является случайным и непреднамеренным.