тут неплохо описано. Пассы должны быть такие, чтобы как можно
плотнее покрыть сферу. Когда компас некалиброванный центр сферы
смещен (это ненули), и сплющен (т.е. неверные коэффициенты
диагональных коэффициентов матрицы 3х3 и не нулевые остальные
коэффициенты - это коэффициенты определяющие неортогональности
магнетометров между осями). После калибровки и заведения
коэффициентов и ненулей в математику при повторных пассах данные
должны давать несмещенную сферу, тогда все ОК. Да, и вот что писал Mbeder в плане девиации (это когда стоят где-то большие железки), то калибровка это не сможет полностью убрать. И это будет наблюдаться на сфере в виде выбросов или провалов, ну или еще каких-то аномалий.
https://robotclass.ru/articles/magnetometer-and-compass/