Применение памяти должно быть сообразно реальным затратам. Если вы
берете видео кадры с камеры и сжимаете, вам нужна для этого память
что бы вы ни придумывали. Если у вас программный код - кодек, то
его размер несущественно зависит от размера кадра. Если это не так - программист ленивый похуист.