Хотел — заменить локальную зрительную модель за своим шлюзом и ничего не потерять: Qwen3-VL уехал, приехала Gemma 4 26B-A4B. Работа у модели одна — просеивать кадры со школьных сайтов: что годится в карточку, что нет.
Споткнулся — подмены не видно ниоткуда. Отпечаток, по которому я обычно узнаю модель, — это сборка llama.cpp, и она не изменилась. Шлюз отвечает тем же именем роли, панели выглядят так же, а внутри другая модель. Сравнивать «на глаз» после такого — гадание: что бы я ни увидел, я не смогу сказать, модель это или мой вчерашний настрой.
Решил — проверять новую модель на своих же решениях. Взял 317 кадров, по которым решение уже принято руками: 150 принятых, 17 отклонённых из «чистой» полосы и 150 забракованных прежней моделью. Прогон — около семнадцати минут.
Числа вышли такие:
- 0 ошибок формата и 0 категорий вне списка; у прежней модели таких выходов было 5 из 54;
- 3,2 секунды на кадр против 1,7 — ровно вдвое медленнее;
- из 150 принятых мной кадров новая пропустила 132, а 18 отсеяла: росписи на стенах, танграм, панорама городка, вёдра для батукады;
- из 17 кадров, которые я отклонил сам, она поймала 2.
Чем плачу — удвоенным временем и тем, что модерацию эта модель не заменяет. 2 из 17 — это не фильтр, а подсказка; спорный кадр по-прежнему смотрю я. Зато ночная разметка 7 730 кадров на 3,2 секундах всё ещё укладывается в ночь, и теперь я знаю цену замены в секундах и в несовпавших решениях, а не в ощущениях.
#агенты