POV (Сегодня, 12:20, просмотров: 37) ответил SciFi на Говорят, веса (те самые миллиарды параметров) фиксированы. И есть
"контекст" порядка 100 тыс. токенов (плюс-минус, в зависимости от
модели). Вот что в контексте поместилось, на основании этого оно и
думает. Там и исходники, и история чата, и запросы, что мы от него
хотим. Новый чат - пустой контекст.-
- С прикладной точки зрения важно понимать, как управлять контекстом, чтобы машина не теряла нить в самый неподходящий момент. Там бывает автоматическое сжатие контекста: когда он близок к исчерпанию, ИИ делает немногословный пересказ из более старой порции контекста. Это не секрет, всё это легко гуглится. - SciFi(Сегодня, 12:39)