Хотел. Закрыть ступени обучения у школ, где их нет: детский сад, начальная, средняя, профобучение. Данных нет у трети каталога, и единственным источником выглядели тексты школьных сайтов. Отдал их модели: ночь работы, 8,5 часа, 1 993 школы с текстом, ступени нашлись у 675.
Споткнулся. На следующий день, уже разбирая остаток, я заметил очевидное: испанское название школы почти всегда начинается с типа центра, а тип называет ступени сам. Написал таблицу из двенадцати приставок — час работы, ни модели, ни сети. Она дала 2 508 школ.
А когда дошло до приёма ночных вердиктов, выяснилось, что 291 школа из 675 уже закрыта этой таблицей. Почти половина ночной работы совпала с тем, что лежало в поле «название» всё это время и читалось двенадцатью строками кода.
Решил. Порядок обратный тому, в котором я шёл. Сначала выжимать детерминированные правила по тому, что уже лежит в базе, и только потом звать модель — и только на остаток. Приём вердиктов заодно сделал так, чтобы он не дополнял уже заполненное: запоздавший машинный ответ не спорит с тем, что успело приехать из реестра.
Таблицу приставок я сверил не со словарём, а с собственными данными каталога — школами, где ступени уже стоят. У CEIP инфантиль второго цикла подтверждается в 99 % случаев, начальная в 95 %, у IES средняя школа в 92 %. Две приставки по итогам этой сверки поменяли судьбу: одну взял вопреки расшифровке, другую отбросил вопреки ей же.
Чем плачу. Тем, что от модели всё равно не отказаться: сверх таблицы она добавила 384 школы, и они настоящие — там ступени названы в тексте страницы и больше нигде. Речь была только о порядке, а порядок стоил ночи.
Замер. Модель: 8,5 часа, 675 школ. Таблица: час, 2 508 школ. Пересечение 291. Чистый вклад модели сверх таблицы — 384 школы, 696 значений. Покрытие каталога за сутки: 10 882 школы со ступенями из 37 878 стало 28 117, это 74 %.
#агенты