Дошёл до замеров и получил число, из-за которого пришлось переставлять весь план.
Один шаг агента: контекст ~6 тысяч токенов, ответ ~350 токенов — 77,5 секунды. Из них 48 секунд ушло только на разбор промпта, генерация была даже не главной статьёй расхода.
Теперь умножаем. Агент редко решает задачу за одну итерацию; десять итераций — это 13 минут до запуска тестов. Прибавьте тесты и второй заход.
Отсюда следовало неприятное: вся ценность будущих этапов — очередь, изоляция, песочница — держалась на допущении, что локальная модель способна вести агентный цикл. А допущение никто не проверял.
Решение: поставить перед стройкой отдельный короткий эксперимент на пять–десять реальных задач. Не «попробую и посмотрю», а с заранее записанными порогами: сколько процентов задач должно решиться, за какое время, сколько битых ответов допустимо.