Они это делают Вы сами себе противоречите. Для всего есть библиотеки. Питон это
про верхний уровень. Про работу на определенном уровне абстракции. И если вы проектировали систему так, что вынуждены писать верхний уровень с оглядкой на производительность, то это ваша персональная хохма.
В таких системах, видео обработывают в терминах потоков, фильтров, построения деревьев из них и параметризации этих деревьев.
На таком уровне абстракции нет проблем с производительностью.