Все-таки непонятно откуда грязь с Vref или со входа, т.е. что на входах АЦП и Vref относительно земли АЦП при питании от USB и питании от "чистого" источника. Или на каком основании виноват USB? Может все дело в джостике?
А так - могут быть только общие рекомендации, которые у Вас уже наверно реализованы - развязать опору от цифрового питания RC или LC фильтром (емкость X7R, по возможности NP0), развести "звездой" относительно питания земли, накопительная емкость и RC или LC фильтр на разьеме питания, земляной полигон...