В стандарте TIA/EIA-485-A требование к размаху выходного напряжения
драйвера - не менее ±1,5V. Но даже и ±1В на сбалансированной
(нагруженной терминальными резисторами) линии это вполне нормально.
Потому, что у приемника RS485 чувствительность нормируется ±200mV.
У вас там случайно "растяжки" линии резисторами от 5В не было на
каком-либо устройстве? Трансиверы RS485, питающиеся от 3,3В, не
всегда нормально работают с трансиверами 5В, особенно, если там для
питания используется нерегулируемый DC/DC у которого при минимальной нагрузке (трансивер RS485 в режиме приема потребляет очень немного) на выходе до 6,5В вместо 5В.