У вас паразитная генерация была на 880Гц. Чтобы усиление на её
частоте подавить, вы поставили резистор. Но он давит усиление и для
постоянного тока. Чтобы не влияло на постоянный, последовательно с
резистором, добавьте ёмкость. А чтобы ёмкость не мешала подавлению
вредного резонанса - рассчитайте RC x10 от подавляемого периода. Похоже, я не представляю, какая у вас схема на самом деле.
Обычно, обвязку оптрона считают не исходя из усиления, а для обеспечения режимов по постоянному току как для оптрона, так и для регулятора (431). Чтобы были обеспечены необходимые запасы - чтобы светодиод надёжно открывал фототранзистор даже с учётом деградации и, при этом, на катоде регулятора, чтобы оставался запас напряжения для линейного режима.
А вот усиление ООС, задаётся уже цепями между катодом и управляющим регулятора, причём, с конденсаторами последовательно с резисторами - чтобы на постоянном токе стремиться к бесконечному усилению.
Цепь COMP по напряжению должна быть перенесена с ШИМ-контроллера на регулятор напряжения, а у цепи контроля тока, желательно чтобы была своя цепь COMP, развязанная от цепи напряжения диодами.