Средства и методы разработки

Касательно нейросетей. Просьба прокомментировать мои примитивные воззрения. Начальные рассуждения -> http://caxapa.ru/692677.html
Итак, у нас есть обученная нейросеть. Не важно как - мы ее как-то обучили. У меня есть ощущение, что ее можно трасформировать в некий упрощенный вид для парактического использования, где обучение не нужно, нужна просто работа по обученной сети. Т.е. на вход поступает нейросеть со всеми своими наработаннями коэффициентами, и некий оптимизизатор-кодогенератор генерит код для embedded системы. Где-то переводим узлы под FP16, где-то оптимизируем поток управления. Перевод нейросети из универсальной гибкой структуры в hard coded вариант, как мне интуитивно кажется, может в разы ускорить скорость обсчета. Мне очень трудно дать количественные оценки, но я рассуждаю так. Пусть у нас будет 1 млн узлов. Пусть каждому их них надо 256 байт под локальную память. Имеем 256 Мбайт ОЗУ под данные узлов. Теперь берем MCIMX7S3DVK08SC (ARM® Cortex®-A7, ARM® Cortex®-M4 Microprocessor IC i.MX7S 1 Core, 32-Bit 800MHz 488-FBGA (12x12)) за $11.8 и к ней два чипа DDR3 16 бит 2G бит IS43TR16128BL-125KBL (чтобы получить 32 битную шину и 512М ОЗУ всего) за $6 в опте 1к штук. Если обсчитывать этот 1м узлов раз в секунду, получится 800 тактов проца на узел, что не так и плохо, потому что NEON дает 2 SP операции за такт, и 4 FP16 операции за такт. Высшая цель следующая. Вот у нас есть некоторый набор данных. Можно решать счетную задачу несколькими путями. 1) прогнать набор через кучу матричной алгебры, и выбрать по некоторому критерию оптимальное решение. Счета там дофига, и он, в значительной степени, тупо-переборный. А можно сделать хитрее. При помощи нейросети в каком-то месте обработки оценить перспективу разных подалгоритмов дальнейшей обработки, и сократить число переборов до нескольких вариантов. Вполне возможно, что вариант гибридного вычислителя может оказаться выгодным по общему количеству операций.