Суть LLM это вероятностное мышление. Что противоречит требованиям к критическим системам: детерминированное поведение.
Доверия к коду, который выдаёт ИИ, у меня нет никакого. Для простеньких проектов: работает и хрен с ним. А вот для системы жизнеобеспечения я прогоняю каждую выданную строчку через себя и поэтому доверия к ИИ нет. Даже если в промпте заданы необходимые условия и "положены правильные книжки" в контекст.