Не всегда есть такой запас по быстродействию. Если эта
десериализация попадает в цикл вычислений, который должен крутиться
достаточно быстро, потери на десериализацию могут оказаться
непозволительной роскошью. Конечно, можно взять процессор быстрее и
ОЗУ по-больше, но тогда в другом месте начинаем проигрывать
(потребление, цена). И все ради непонятно чего. Ошибиться можно и
при написании сериализатора-десериализатора. Джавы и контейнеры придуманы как раз для надежности. На байты и такты при этом внимание не обращали.