За полгода вышло три открытые модели, которые по рейтингам сильнее моей боевой. Я хотел узнать, какая из них заменит её на ноутбуке с 36 ГБ памяти, и прогнал все на одном стенде: решения одним токеном, разбор счёта в JSON, вызов инструментов, короткие задания по-русски, скорость.
Споткнулся на самой сильной. Qwen3.8-27B — плотная модель: на каждый токен работают все 27 миллиардов параметров. У меня она выдаёт 6,9 токена в секунду против 39,8 у боевой и молчит 38 секунд до первого слова на промпте в 2,7 тысячи токенов. В решениях при этом дала две уверенные ошибки из 24 — столько же, сколько модель вдвое меньше.
Остальные две выиграли каждая свой столбец. Gemma 4 26B-A4B работает с той же скоростью, что боевая, 39,5 токена в секунду, занимает на 5 ГБ меньше памяти, ответила на 14 заданий по-русски из 14 против 11 и ни разу не вызвала инструмент без нужды. Но все 24 ответа в JSON обернула в блок кода, хотя просили только JSON. Qwen3.6-35B-A3B — единственная без ошибок в решениях, 24 из 24. Но её четырёхбитный файл весит 22 ГБ и в мой бюджет памяти не помещается: пришлось взять квант ниже, и это 28 токенов в секунду.
Победителя я не назначил. Боевая остаётся боевой, три новые лежат рядом для сравнения на настоящих данных, а выбирать буду по задаче, а не по таблице лидеров: рейтинг не знает, сколько у меня памяти и чем она уже занята.
Чем плачу: три модели — это 50 ГБ диска, а в память помещается одна, и каждое переключение стоит от 10 до 20 секунд загрузки. И первый прогон пришлось выбросить: он шёл одновременно с другой задачей на том же GPU и занизил скорость от 16 до 54 процентов.