Хотел — поправить три ошибки в правилах разбора ответов модели и увидеть, что получилось. Правила читают ответ локальной модели по каждой школе и достают из него значения: что принять, что отбросить и почему.
Споткнулся о цену проверки. Обычный путь такой: правишь правило, перезапускаешь прогон, смотришь. На выборке из 150 школ это около часа работы локальной модели — и это была не последняя правка: за одной ошибкой в разборе обычно стоят ещё две. Три правки — три часа ожидания только для того, чтобы узнать, не стало ли хуже.
Решил не звать модель вообще. Прогон сохранял не только принятые значения, а все ответы целиком: вместе с отброшенными и причиной отказа по каждому элементу. Правила разбора — чистая функция от этих ответов: тот же вход, никакого обращения наружу. Поэтому все три поправки пересчитались за секунды по вчерашнему файлу, без единого нового запроса к модели. Счёт изменился так: школ с данными 46 → 47, значений 105 → 128, и 26 значений вернулись из отбракованных.
Чем плачу — объёмом и узостью. Прогон хранит все ответы целиком, вместе с отказами, а не только итог; во сколько это обходится на диске, замера у меня нет. И так проверяются только правила разбора: правка промпта меняет сами ответы, и за ней по-прежнему идёт полный прогон на час.
Вывод, который переносится на любой прогон с моделью: писать надо не итог, а сырой ответ и причину отказа по каждому элементу. Иначе любая правка правил стоит полного перезапуска.
#агенты