У X-Меги давится автоматически - там для этого ширину цифрового фильтра задаешь от 1 до 8 (например, EVSYS_DIGFILT_2SAMPLES_gc). Т.е. мне двоечки вполне хватило, но у меня энкодер был другого типа - когда колесико с прорезями световой поток перекрывает. Там сигнал более четкий.