caxapa.ru :: Не... У меня видеопамяти всего 16Г, туда 256к влазит,но плотненько. А на выжимку 400+к прожэкта, потратилось порядка 200к. Зато теперь на загрузку промпта с выжимкой уходит меньше 50к, где-то 30+.

mse homjak (Сегодня, 13:18, просмотров: 22) ответил SciFi на Если проект влезет в 500К токенов, можно и весь. А так оно любит делать поиск по тексту и читать файлы кусочками, его так научили, видимо, для экономии токенов.

Не... У меня видеопамяти всего 16Г, туда 256к влазит,но плотненько. А на выжимку 400+к прожэкта, потратилось порядка 200к. Зато теперь на загрузку промпта с выжимкой уходит меньше 50к, где-то 30+.

Ответить

- Первопроходец... Подбиваю начальство купить пару карточек с Авито по 20ГБ... - Nikolay_Po(Сегодня, 13:20)
  - Можно начать с одной. CMP50HX, лютая. У неё 320 линий ГДДР6 и тензорных ядер около 450. Она по пропускной способности памяти кроет 5060Ти как бык, овцу. А уж по тензорным ядрам... И это в стоке. А с переделками! Кстате, под Линукс есть утилита ,которая шлёт Хуанга нах, с его ограничениями для этой карты. mse homjak(340 знак., Сегодня, 13:33)
  - Это оправдано только если реально нужно секретность соблюдать или законодательство обязывает. Иначе деньги на ветер. - SciFi(Сегодня, 13:21)
    - 30тыр за карту, для конторы? Ну, такие себе, деньги. mse homjak(110 знак., Сегодня, 13:28)
      - Вкусняшки пусть на 30 тыр для конторы закажут, раз можно деньгами бросаться. Польза очевидна! :-) - SciFi(Сегодня, 13:30)
        
        От них толстеют и холестерин. А от карточки, на душе светло! Она ~~мне в сыром подвале~~офисе душу греет(С) - mse homjak(Сегодня, 13:34)
- Можно заплатить 100р продавцу токенов, там сразу побогаче получится :-) - SciFi(Сегодня, 13:19)
  - ну да, чтобы за мои-жэ деньги, посторонние буржуи угорали с моего говнокода? - mse homjak(Сегодня, 13:21)
    - Это для отупления их моделей. Буржуи получат саботаж! - SciFi(Сегодня, 13:22)
      - Дык, потом тупые модели устроят саботаж нам. - mse homjak(Сегодня, 13:36)

Средства и методы разработки