Широкополосный трансформатор с объёмным витком http://www.cqham.r …R-AT5K&goto=nextnewest
http://ra3ggi.qrz.ru/UZLY/rd970155.htm
Витая пара имеет собственное волновое сопротивление, которое можно рассчитать или определить путём перестройки сопротивления нагрузки с обоих сторон линии. При равенстве нагрузок волновому сопротивлению линии сигнал будет передаваться без искажений.
Осциллограф нужен с 50 Ом входным сопротивлением или параллельно высокоомному входу подсоединяется рассчитанное сопротивление. Нужно помнить, что схема принимает, передаёт ток по линии на нагрузочный резистор.
Возможно, все ваши проблемы с помехами из-за осциллографа с большим входным сопротивлением и коаксиальными кабелями, которые в схеме с большим по мощности широкополосным сигналом сами становятся источниками помех.