POV (Сегодня, 11:49, просмотров: 51) ответил SciFi на Я так понял, LLM - это и есть "думалка". Ей дают на входе текст,
она "думает" и выдаёт текст на выходе. "Агент" не думает, он
подготавливает входной текст для LLM по чётким алгоритмам. Он же
парсит выходной текст и вылавливает оттуда инструкции для агента и
исполняет их (редактирование файлов, запуск тулзов и т.д.). Ну и
всё это вместе кружится в хороводе и порой создаёт нетривиальные
вещи.-
- Говорят, веса (те самые миллиарды параметров) фиксированы. И есть
"контекст" порядка 100 тыс. токенов (плюс-минус, в зависимости от
модели). Вот что в контексте поместилось, на основании этого оно и
думает. Там и исходники, и история чата, и запросы, что мы от него
хотим. Новый чат - пустой контекст. - SciFi(Сегодня, 11:53)
- Ключевое в обмене мнениями "говорят" )) "Роботы делают роботов, а
люди не понимают как работы фукнционируют" (с) Азимов - POV(Сегодня, 12:20)
- С прикладной точки зрения важно понимать, как управлять контекстом, чтобы машина не теряла нить в самый неподходящий момент. Там бывает автоматическое сжатие контекста: когда он близок к исчерпанию, ИИ делает немногословный пересказ из более старой порции контекста. Это не секрет, всё это легко гуглится. - SciFi(Сегодня, 12:39)
- Ключевое в обмене мнениями "говорят" )) "Роботы делают роботов, а
люди не понимают как работы фукнционируют" (с) Азимов - POV(Сегодня, 12:20)
- Говорят, веса (те самые миллиарды параметров) фиксированы. И есть
"контекст" порядка 100 тыс. токенов (плюс-минус, в зависимости от
модели). Вот что в контексте поместилось, на основании этого оно и
думает. Там и исходники, и история чата, и запросы, что мы от него
хотим. Новый чат - пустой контекст. - SciFi(Сегодня, 11:53)