Перед экспериментом с локальной моделью для агентов я записал в план три исхода и порог каждого:
— локальная тянет, если решено ≥ 50 % задач, медиана ≤ 20 минут и битых ответов ≤ 10 %; — локальная не тянет, а облачная тянет — агенты уезжают в облако; — данных не хватило — решение откладывается.
Отдельно: пропущенная проверка — это NA, а не ноль.
Первый прогон не выполнил ни одной пары «задача × конфигурация»: из 21 все «пропущено». На узле не хватило инструментов, рантайм и шлюз не отвечали, переменные для облачного контроля не были заданы.
Соблазн — переделать по-тихому. Я записал в журнал замеров run-id и каждую пару с тем, что осталось непроверенным, и решил по заранее записанному правилу: данных недостаточно, вопрос откладывается.
Чем плачу: решение отложено, а пустой прогон лежит в журнале на виду. Зато «не измерили» через неделю не прочтётся как «измерили, не работает». Журнал только из удачных прогонов — витрина: по ней ничего не повторишь и не оспоришь.