caxapa.ru :: Есть обсуждение на реддит. 0,1 токен в секунду. Для терпеливых. И должно быстро съедать ресурс SSD. Но оч. интересно. "Это передовая модель с 744 млрд параметров, которая корректно отвечает на вопросы на устройстве, стоимость которого меньше, чем у одного вентилятора H100." :-)

SciFi (Сегодня, 09:40, просмотров: 13) ответил il-2 на Это что, можно свой собственный ИИ на своем ПК завести? И без интернета будет работать?

Есть обсуждение на реддит. 0,1 токен в секунду. Для терпеливых. И должно быстро съедать ресурс SSD. Но оч. интересно. "Это передовая модель с 744 млрд параметров, которая корректно отвечает на вопросы на устройстве, стоимость которого меньше, чем у одного вентилятора H100." :-)

https://www.reddit.com/r/LocalLLM/comments/1uocapw/i_managed_to_run_glm52_744b_moe_on_a_humble_25_gb/

ส็็็็็็็็็็็็็็็็็็็็็็็็็༼ ຈل͜ຈ༽ส้้้้้้้้้้้้้้้้้้้้้้้

Ответить

Средства и методы разработки