А как это делает камера, я не понимаю? В ней памяти на два кадра, если не три? Переписывает из матрицы в буфер увеличенного размера, а потом между пикселями интерполирует своим процессором (надо ж по обоим осям, а видео идёт построчно небось)? Или имеет FIFO буфер на несколько строк всего и в нём интерполирует?