Как по мне, несколько кодов - нормально. Там же в любом случае
аналоговая величина переводится в цифру. Вот погрешности и шум
вылезают. Но наличие сторонней силы делает задачу нерешаемой. Ваш
привод должен быть или сильнее, или надо лучше отстраиваться от
вибрации. Или, может, разносить рабочие фазы: отводить "шумную" от
"точной". Или фундамент массивный делать. Фильтровать цифры можно,
да хоть тем же скользящим средним, но следует помнить, что любой
фильтр вносит задержку. И цифровой здесь ничем от аналогового не отличается. А задержка рано или поздно доведёт обратную связь до цугундера. Чем больше промежуточных шагов фильтра - тем больше задержка.
Может энкодер соединить с валом "вязкой" муфтой: типа магнитной связи в вязкой среде ? Наверняка что-нибудь подобное выпускают.