Дообучение на размеченных выборках - норм, понятно, даже сам делал.
Но именно на размеченных, с дополнительной информацией о том как должна меняться реакция сети.