Я строю домашнюю AI-платформу. Не чат с моделью — платформу: ставишь задачу, закрываешь ноутбук, уходишь; она сама её выполняет и позже отдаёт результат.
Причина не в экономии на подписках. Причина в том, что часть данных я не хочу отдавать наружу вообще, а часть задач хочу оставлять работать на ночь без вопросов о лимитах.
Железо — MacBook Pro M3 Pro, 36 ГБ. Это не сервер, и в этом весь интерес: почти всё, с чем я столкнусь дальше, упрётся в память, а не в код.
Правило, которое поставил в начало и о которое буду биться всю дорогу: платформа не имеет права мешать основной работе на этой же машине.
Дальше буду писать по шагам — что хотел, обо что споткнулся, как решил и чем за это плачу.