По статье, пипец кокойты: "я не сравнивал по качеству кода"...
Много токенов, это хорошо, но гораздо лучше, когда эти токены
делают что-то полезное, а не просто гонят текст в окно. Я сравнивал
модели имана по качеству выхода. Модель на 30г параметров, отстой:
быстро, но бестолково. На 80Г, получше, но всё равно, хреново. 177,
ужэ хорошо. Генерит код так, что "генерация-проверка-исправление"
занимает пару -тройку циклов. модель на 320Г попадает в тютельку с
первого раза . Ну,
мож, со второго.
Кому надо много токенов, при приличной скорости и качеству, на Гитхабе есть project-Maya на базе Strata. Что одно, что второе, дают буста раза в полтора-два больше чем тот-жэ Унслот. А он кроет все LLamf-Ollama.
И радости от того, что на тупенькой модели со скоростью 60-70т/с приходится делать 5-6-10 итерацй, вместо 1-2 на 10-15т/с, у продвинутой, никакой.