Хотел, чтобы платформа помнила мои решения. Один и тот же продавец, одна и та же комиссия появляются в выписке из месяца в месяц, и каждый раз модель решала с нуля, будто видит строку впервые. Я уже сказал, куда это идёт, — зачем повторять?
Споткнулся о собственную конфигурацию. Роль embeddings числилась в шлюзе и выглядела рабочей. На деле рантайм был поднят без флага эмбеддингов, и роль молча подменялась основной моделью. В базе с pgvector не было ни одной таблицы с векторами: расширение стояло, памяти — нет. Формально всё было, фактически ничего.
Первый соблазн — дообучение: собрать вердикты и сделать LoRA. Отверг. Ради этого нужен второй рантайм, отдельный цикл выкладки, и главное — исправить одно неверное решение значило бы переобучать. Мне нужна память, которую можно править построчно, а не веса.
Решил: второй llama-server под эмбеддинги на bge-m3 (Q8, около 850 МБ памяти, 1024 измерения, ~190 текстов/с на замере) под launchd, чтобы поднимался сам. Таблица вердиктов владельца с вектором. При решении k ближайших вердиктов того же клиента и задачи подставляются в промпт как примеры «контекст → выбор». Сама себя платформа не учит: вердикт пишет только человек. Первый вердикт нашёлся по перефразированному тексту с косинусом 0,83.
Чем плачу. Ещё один слушающий сервис: ещё один запуск, ещё одна вещь, которая может не встать. Размерность 1024 уходит в тип столбца — сменить модель эмбеддингов потом значит пересчитать все векторы. И память не отменяет вероятность: примеры в промпте подсказывают, а не решают, уверенность всё равно меряется через logprobs. Что это даст на реальных строках — пока не знаю: набор вердиктов только начал накапливаться.
#агенты #железо