Банальная логика подсказывает, что работа с байтами на 32-битной машине требует массу лишних инструкций (знаковое или беззнаковое расширение байта до слова, маскировка слова до байта, если процессор не умеет загружать байты, или специальные инструкции загрузки именно байтов).