На этом шаге мы рассмотрим, в чем заключается такой мониторинг.
Итак, вы экспортировали обученную модель, интегрировали ее в свое приложение, опробовали ее на реальных данных - и она повела себя ровно так, как вы ожидали. Вы написали модульные тесты, а также реализовали журналирование и мониторинг состояния. Отлично! Теперь пришло время нажать большую красную кнопку и развернуть модель в рабочем окружении.
Но это еще не конец. После развертывания модели нужно постоянно наблюдать за ее поведением, качеством прогнозов на новых данных, взаимодействием с остальной частью приложения и ее возможным влиянием на бизнес-показатели.
- Увеличилась ли вовлеченность пользователей вашей онлайн-радиостанции после внедрения новой системы рекомендаций музыки? Увеличился ли средний
процент переходов по рекламным ссылкам после развертывания новой модели прогнозирования? Подумайте о проведении рандомизированного
A/B-тестирования, чтобы отделить эффект влияния модели от других изменений: подмножество обращений должно обрабатываться с использованием
новой модели, а другое контрольное подмножество - с применением старой процедуры. После обработки достаточно большого количества обращений разница
в результатах почти наверняка будет связана с моделью.
- Если возможно, регулярно проводите ручной аудит прогнозов модели по реальным данным. Обычно при этом можно использовать ту же инфраструктуру,
что и для маркировки данных: отправить некоторую часть реальных данных для маркировки вручную и сравнить прогнозы модели с новыми метками.
Это обязательно следует делать, например, для системы поиска изображений и системы отбраковки печенья.
- Если аудит вручную невозможен, подумайте об альтернативных способах оценки, таких как опрос пользователей (например, в системе определения спама
и оскорбительного контента).
На следующем шаге мы рассмотрим обслуживание модели.
