Чат с локальной моделью на любой вопрос отвечал «поищу в ваших базах знаний». Баз знаний у меня нет ни одной: интерфейс сам подмешивает в запрос встроенные инструменты, а модель их дёргает. Я хотел понять, насколько это свойство самой модели, и собрал стенд.
В стенде шестнадцать вопросов по-русски и четыре инструмента: поиск по заметкам, текущее время, конвертер валют, напоминание. Половина вопросов требует вызова с правильными аргументами. Вторая половина — ловушки: инструмент рядом есть, но звать его нельзя.
На первой половине все пять моделей набрали 8 из 8. Споткнулся я на второй. Моя боевая модель, Qwen3-VL-30B-A3B, промолчала в 5 случаях из 8. «Сколько будет 17 умножить на 23?» — вызвала конвертер валют. «Чем евро отличается от доллара как резервная валюта?» — снова конвертер. «Что такое часовой пояс UTC?» — полезла в базу знаний.
Прежняя боевая, Qwen3-14B, вдвое меньше и втрое медленнее, не ошиблась ни разу: 8 из 8. Три модели этого года — тоже.
Решение вышло про стенд, а не про модель. Проверять вызов инструментов только там, где вызов нужен, бессмысленно: все пять моделей там одинаковы, а разница целиком в том, умеет ли модель не звать. Половина набора теперь ловушки, и это правило охраняет отдельный тест.
Чем плачу: менять боевую модель по шестнадцати вопросам я не стану — набор маленький и придуман за вечер. Пока она остаётся, и за каждый лишний вызов я плачу ещё одним кругом генерации, как платил всё это время, не зная об этом.