Кстати, не путайте амплитуду с двойной амплитудой Сами говорили, что амплитуда 5В. Я это понял так, что сигнал имеет размах (т.е. двойную амплитуду) +-5В если передавать чередующиеся 0 и 1. Соответственно, я и порекомендовал стабилитроны на 5.6В.
Теперь выясняется, что амлитуда вдвое меньше, не 5В, а 2.5В. Да еще "не более". Как изволите это понимать? Если передается байт 0, что на осцилле видно?
В паузе между байтами уровень сигнала д.б. примерно -10...-12В. Когда передается байт 0, он что, поднимается с -12 до -7В, а потом падает назад?
Проверьте двухлучевым осциллом сигнал на вх. оптронов и на выходе. Должна быть большая задержка между временем изменения сигнала на входе, и моментом, когда на выходе что-то начинает меняться. В это время оптопары "борются друг с другом": находящийся в насыщении фототранзистор продолжает тянуть в свою сторону.
Для пробы можно поставить стабилитроны на 3.3В, вообще без резисторов. При этом в паузе уровень сигнала д.б. примерно -4В, а скорость должна возрасти настолько, что за время битового интервала вых. сигнал должен успевать пройди от -4В до +4В или наоборот, от +4В до -4В.