Хотел — сгенерировать SEO-заголовки и описания для 15 718 новых школ в каталоге. Оценка прогона: около 22 долларов на gpt-4o-mini и примерно сутки работы. Перед таким прогоном я делаю пилот на двадцати страницах — привычка дешёвая, и в этот раз она окупилась целиком.
Споткнулся — в двадцати испанских заголовках из двадцати стоял английский предлог: «San Luis — Colegio Público in Almería». Полез в базу проверить живые страницы — там то же самое: 5 192 заголовка из 17 343, почти треть, и ошибка жила так месяцами.
Виновата одна строка промпта: «use the word "in" in the target language». Модель поняла её буквально и подставила слово «in». Я эту строку писал сам и читал её не раз — для меня она очевидно значила «предлог на языке страницы».
Решил — не объяснять модели лучше, а отобрать у неё выбор. Предлог и тип школы теперь заданы явно для каждого языка: «Colegio público en», «Государственная школа в». Сверху страховка кодом: «in» сразу после тире подменяется на предлог нужного языка — это дешевле, чем надеяться на формулировку. Старые заголовки перегенерировал отдельный обработчик партиями, и исправленная школа сама выпадает из выборки, так что прогон можно остановить и продолжить с того же места.
Чем плачу — пилот стоил 5 центов и сэкономил прогон за 22 доллара с тем же браком, но цена не в центах. Заголовок с чужим предлогом не падает, не пишет в журнал и не портит ни одной проверки: его видит только человек, который читает этот язык. Значит, на каждый прогон с генерацией текста нужны двадцать страниц, прочитанных глазами, — другого способа поймать такую ошибку у меня нет.
#деньги