Немонотонный не значит что не детерминированный. Делал калибровку для мсх m41t93 от ST, там калибровка дает разный шаг, но есть апноут где рассказано как делать, используется алоритм бинарного дерева. http://www.st.com/internet/com/TECHNICAL_RESOURCES/TECHNICAL_LITERATURE/APPLICATION_NOTE/CD00178404.pdf
https://embedders.org - блоги разработчиков встраиваемых систем.