Традиционно есть две секции: bss и data. Ещё text и rodata. В text
кладётся код. В rodata -- константы (текстовые строки, например). В
data -- инициализирующие значения переменных. В bss -- переменные
изначально не инициализированные (инициализированные нулями). И
традиционно секция bss в файле отсутствует. Под неё выделяется память в процессе запуска программы и эта
память обнуляется. В секции data же сплошного заполнения нулями
быть не может (иначе бы оно оказалось в bss). Так что твоя теория не очень верна.