ВходНаше всё Теги codebook 无线电组件 Поиск Опросы Закон Суббота
25 июля
1597801 Топик полностью
ASDFSUSB-гуру (Сегодня, 16:56, просмотров: 47) ответил mse homjak на Щас скачал вашу версию Qwen. Контекст, 256к(???). Смотрю на параметры системы, пока она мне чота втуляет. У РТХ из 16Г, занято 24%. В ОЗУ она расположила ещо 6Г. И 22Г у неё в РАМ-диске. Система после перезагрузки. Непонятна малая утилизация ВРАМ. И она, чота, сперва буровит у себя в мозгах на англицком, а, потом, переводит на русский.
Первичную регулировку VRAM делаю параметром GPU offload и размером контекста. 

Далеко не всегда система автоматом загоняет утилизацию VRAM под плешку.

На английском еще норм, веселее на китайском и еще переводить не умеют - таких дообученных нынче немало, экономят на языках. Да чего там локалки, онлайн дипсик уже периодически отвечает иероглифами, но хотя бы переводит.