Хотел — проверить, заменит ли маленькая модель боевую на ноутбуке. Плотная девятка против боевой на 26 миллиардов, собранной из экспертов: втрое меньше по весу, значит, должна быть быстрее и оставить памяти на остальное. Так казалось.
Споткнулся — на первой же таблице. Генерация у маленькой — 14,2 токена в секунду против 39,5 у боевой. Втрое меньше по весу и почти втрое медленнее, потому что «меньше» и «быстрее» здесь про разные вещи: у плотной модели на каждый токен работают все девять миллиардов весов, у боевой — только активная часть, 3,8 миллиарда из двадцати шести. Вес на диске — это то, чем платишь в памяти; активные параметры — то, чем платишь во времени.
Для этого прогона я добавил в стенд новый замер: модель пишет посты по уже вышедшим историям ленты, а я проверяю форму канала — предел длины, нумерацию частей, язык. Здесь маленькая не прошла почти ничего. В форме 1 текст из 12 против 10 из 12 у боевой, 21,9 секунды на текст против 4,8. Части треда для X выходили по 330–620 символов при пределе 280, посты для Threads — по 720–1110 при пределе 500. В одном треде номер части встал отдельной строкой, и тред распался на одиннадцать кусков. По-русски — 8 заданий из 14 против 14 из 14, причём на один русский вопрос пришёл ответ по-испански.
Одно маленькая делает лучше: чистый JSON без обрамления — 24 из 24 против 0 из 24.
Решил — ролей она не получила. Отвергнутый вариант — оценивать посты одним счётчиком формы: он честно ловит длину, нумерацию и язык, но не ловит выводы, которые модель дописывает от себя, а дописывают их обе. Форму считает скрипт, качество решает слепая оценка человеком.
Чем плачу — 9,6 гигабайта весов на диске и вечер прогона за ответ «нет». И оговоркой, которую придётся держать в голове: машина во время замера не была тихой, рядом работали агенты, так что 14,2 — оценка сверху, а не чистое число. Порядок вывода это не меняет, точность самого числа — меняет.
#железо