На этом шаге мы перечислим ряд проблем, требующих обсуждения с заказчиком.
Ваша модель успешно прошла окончательную оценку на контрольном наборе и готова начать свою плодотворную деятельность.
Объяснение особенностей работы модели заинтересованным сторонам и обозначение границ ожидаемого
Успех и доверие клиентов возможны, только если модель соответствует ожиданиям или превосходит их. Фактическая система, которую вы вводите в эксплуатацию, - это только половина дела; другая половина - обозначение перед выпуском границ ожидаемого.
Неспециалисты часто имеют чересчур завышенные требования в отношении систем искусственного интеллекта. Например, они могут ожидать, что система "понимает" свою задачу и способна проявлять человеческий здравый смысл в ее контексте. Чтобы решить эту проблему, устройте демонстрацию некоторых примеров отказа вашей модели (например, покажите, как выглядят неправильно классифицированные образцы, особенно те, для которых неправильная классификация кажется неожиданной).
Клиенты также могут рассчитывать, что система будет работать на уровне человека, особенно если она создавалась для выполнения работы, которую раньше делали люди. Большинство моделей машинного обучения не достигают своих целей, потому что обучались на приближенных метках, созданных человеком (и потому несовершенных). Вы должны четко обозначить ожидаемые характеристики модели. Избегайте абстрактных утверждений типа "модель имеет точность 98%" (которые большинство людей мысленно округляют до 100%) и лучше сообщайте, например, о частоте ложноположительных и ложноотрицательных результатов. Вы могли бы сказать: "С этими настройками модель будет ложно квалифицировать действия как мошеннические в 5% случаев и пропускать фактическое мошенничество в 2,5% случаев. Ежедневно в среднем 200 законных транзакций будут идентифицированы как мошеннические и отправлены на ручную проверку, 14 мошеннических транзакций будут пропущены и 266 будут идентифицированы верно". Четко соотнесите показатели эффективности модели с бизнес-целями.
Также обсудите с заинтересованными сторонами выбор ключевых параметров - например, порог вероятности, при котором транзакция должна отмечаться как мошенническая (разные пороги будут давать разное число ложноположительных и ложноотрицательных срабатываний). Такие решения предполагают компромиссы, которые можно учесть только при глубоком понимании бизнес-контекста.
На следующем шаге мы рассмотрим предоставление доступа к модели.
