Раз в контекст не влезает служебный промпт — надо расширять окно. Наивный путь: взять модель поменьше. Пошёл другим.
Включил квантование KV-кеша, q8_0 вместо f16. Было: окно 16 384, wired-память 24,4 ГБ. Стало: окно 65 536, wired 24,7 ГБ. Вчетверо больше контекста за триста мегабайт.
Заодно узнал, что на Mac нельзя мерить потребление модели через ps. Он показывал 14,2 ГБ при реальных 24,7 из 36: буферы Metal живут в wired-памяти и в RSS не попадают. Следишь за бюджетом по ps — картина прекрасная ровно до момента, когда система уходит в своп.
Честная оговорка: влияние q8_0 на качество ответов я не мерил, это отдельная работа. Но для агентных задач разница между 16k и 64k — это разница между «не запускается» и «работает».