mse homjak (Сегодня, 13:09, просмотров: 13) ответил SciFi на LLM видит весь контекст сразу. В отличие от кожаного, который может
заблудиться в простыне текста, особенно если не знал, да ещё забыл,
да ещё и убедил себя "вот там точно искать не надо" :-)-
- Если проект влезет в 500К токенов, можно и весь. А так оно любит
делать поиск по тексту и читать файлы кусочками, его так научили,
видимо, для экономии токенов. - SciFi(Сегодня, 13:14)
- Не... У меня видеопамяти всего 16Г, туда 256к влазит,но плотненько.
А на выжимку 400+к прожэкта, потратилось порядка 200к. Зато теперь
на загрузку промпта с выжимкой уходит меньше 50к, где-то 30+. - mse homjak(Сегодня, 13:18)
- Первопроходец... Подбиваю начальство купить пару карточек с Авито по 20ГБ... - Nikolay_Po(Сегодня, 13:20)
- Можно заплатить 100р продавцу токенов, там сразу побогаче получится
:-) - SciFi(Сегодня, 13:19)
- ну да, чтобы за мои-жэ деньги, посторонние буржуи угорали с моего
говнокода? - mse homjak(Сегодня, 13:21)
- Это для отупления их моделей. Буржуи получат саботаж! - SciFi(Сегодня, 13:22)
- ну да, чтобы за мои-жэ деньги, посторонние буржуи угорали с моего
говнокода? - mse homjak(Сегодня, 13:21)
- Не... У меня видеопамяти всего 16Г, туда 256к влазит,но плотненько.
А на выжимку 400+к прожэкта, потратилось порядка 200к. Зато теперь
на загрузку промпта с выжимкой уходит меньше 50к, где-то 30+. - mse homjak(Сегодня, 13:18)
- Если проект влезет в 500К токенов, можно и весь. А так оно любит
делать поиск по тексту и читать файлы кусочками, его так научили,
видимо, для экономии токенов. - SciFi(Сегодня, 13:14)