caxapa.ru :: ХЗ. Мне он сказал, что контекст 32к и больше никак.

mse homjak (Вчера, 18:14, просмотров: 43) ответил ASDFS на Пощупал.

ХЗ. Мне он сказал, что контекст 32к и больше никак.

Ответить

- Может ОЗУ кончилась? Скинь GPU ofload на единичку-две и посмотри сколько лезет. - ASDFS(Сегодня, 17:15)
  - Разобрался. То было по умолчанию. Окно контента зависит больше от объёма ОЗУ. Щас добил до 40Г и у всех моделей размером до 30Г можно поставить 256к, просто таская ползунки в ЛмСтудии. mse homjak(884 знак., Сегодня, 17:57)
    - Где такие набрал? Hugging Face их не знает - ASDFS(Сегодня, 19:11)
      - там иерархическая структура ищеш, например, Qwen3-Coder-Next. Он вываливает, что нашёл. Тыкаешь, например в Qwen3-Coder-Next-GGUF, открывается страница этой модели. И, под графиком загрузок,вываливают ггуфы Кодера Некст с разной квантизацией, разного кол-ва параметров(наверное). mse homjak(183 знак., Сегодня, 21:02)
        
        думал у фейса поиск по всем работает а не только по корням - ASDFS(Сегодня, 21:07)
        
        Да там, под каждым корнем, можэт штук по 20-30 квантизаций быть. Утонуть можно. - mse homjak(Сегодня, 21:10)
        
        Кстате, Qwen3-Coder-Next-UD-IQ2_M из всего пробованного, показал себя наиболее сбалансированно. Он и в фильтры на "Ц" сумел, и на Верилоге сразу дал решение, которое из Kwaipilot_KAT-Coder-V2.5-Dev-Q5_K_S пришлось выморачивать. Щас пытаюсь скочять Qwen3-Coder-Next на 35Г, чую, будет поумнее. Но это не точно. - mse homjak(Сегодня, 21:06)

Средства и методы разработки