Средства и методы разработки

Я сейчас конечно буду теоретизировать, но обещаю скоро попробовать реализовать :-) 

Фантазировал сам, давно. Года три назад еще.

Задача автономного вождения может быть вырождена в вопрос "могу ли я проехать вперед очередные Х метров?"

И этот вопрос решается каждый кадр с камеры. Причем если ехать быстро, камеры надо не 25 Гц, а побольше.

Никакой лидар не даст мгновенной информации о всем объеме перед машиной мгновенно. Ему посканировать надо. А камера это делает автоматом, за один щелчек затвора. Ну или регистра. И мы получаем информацию о карте глубин во всем пространстве перед авто.

Далее. Камера видит лучше чем глаз. Она может видеть в разных диапазонах. Камер может быть несколько, с разной оптикой, с разными светофильтрами, в разных диапазонах. У камеры меньшая площадь остекления, ей проще держать это стекло чистым - да хоть сжатым воздухом обдувать постоянно. И камеры не обязательно все отсматривать - можно смотерть только одну, которая нормально видит, а остальные пусть висят на коммутаторе. Или в память по ДМА складывают ;-)

По алгоритмам. Нейросети - шляпа. В реальных быстрых задачах они никогда не будут работать. Потому что слишком неоптимально работают. Возможно в каких то иных задачах, типа как Alphafold 2 они пользу принесут, но не в вождении. Это любой модемщик-ЦОСник скажет. Задача то - понять что впереди пусто и туда можно въехать. Опять же ЦОС. В движении очень понятна физика. Есть машина с массой, есть дорога. Есть инерция. Построили виртуальный куб впереди и ищем на изображении края дороги и препятствия - применили эквалайзер, по модемному выражаясь. И монокулярность совсем не помеха - один раз карту глубин построили, ориентиры препятствия нанесли, реальное изображение совместили - и считаем что это неизменно на какое то время. Типа как ФАПЧ захватила сигнал. Да, помехи будут, ну и что? ФАПЧ то держит некоторое время, храня в себе образец сигнала.

А еще есть "многоскоростная обработка" - не обязательно все изображение то обрабатывать, можно выделять ROI (region of interest), причем на основе физической модели пространства перед камерой и работать только с ним, а это резко снижает потребную вычислительную мощь.

У радара уж очень низкая разрешающая способность, до камеры ему оооочень далеко. Особенно на больших расстояниях, где камера может использовать оптику.

Ну и про оленя. Если вылетит он на человека - он так же ничего не сделает. А робот при этом не отвлекается и всегда наготове. Что может сэкономить несколько см тормозного пути.