На этом шаге мы немного поговорим о конечной цели исследования и о трудностях, возникающих при ее достижении.
Выбирая метрику, вы всегда должны помнить о конечной цели проекта машинного обучения. На практике мы, как правило, заинтересованы не только в создании точных прогнозов, но и в том, чтобы использовать их в рамках более масштабного процесса принятия решений. Прежде чем выбрать показатель качества машинного обучения, вам стоит подумать о высокоуровневой цели вашего проекта, которую часто называют бизнес-метрикой (business metric). Последствия, обусловленные выбором конкретного алгоритма для того или иного проекта, называются влиянием на бизнес (business impact). Возможно, высокоуровневой целью является предотвращение дорожно-транспортных происшествий или уменьшение числа случаев госпитализации. Такой целью также может увеличение посещаемости вашего сайта или суммы покупок в вашем магазине. Вы должны выбрать такую модель или такие значения параметров, которые оказывают наибольшее положительное влияние на бизнес-метрику. Часто эта задача является трудной, поскольку оценка влияния конкретной модели на бизнес может потребовать ее внедрения в реальное производство.
Как правило, на ранних этапах разработки, а также при настройке параметров внедрить модель в производство только для тестирования не представляется возможным по причине возникновения высоких коммерческих и человеческих рисков. Представьте себе, что вы, оценивая систему предотвращения столкновения с пешеходами, которой оборудован самопилотируемый автомобиль, просто позволите автомобилю ехать, не проверив его. Если ваша модель имеет низкое качество, пешеходов ждут неприятности! Поэтому нам обычно нужно найти какую-то замещающую процедуру оценки, которая использует легко вычисляемые метрики качества. Например, мы могли бы попробовать классифицировать изображения пешеходов и не-пешеходов и измерить правильность. Помните о том, что данная процедура является замещающей и она оправдывает себя, позволяя найти метрику, максимально близкую к исходной бизнес-цели и поддающуюся оценке. Данная метрика должна использоваться по возможности для оценки и отбора модели. Возможно, что в результате этой процедуры вы не получите какой-то конкретной цифры, например, вывод, найденный с помощью алгоритма, может звучат так: у вас на 10% больше клиентов, но каждый клиент будет тратить на 15% меньше - однако эта процедура должна оценить влияние на бизнес, зависящее от выбора той или иной модели.
В следующих шагах мы сначала рассмотрим метрики для бинарной классификации, затем обратимся к мультиклассовой классификации и в заключение обсудим регрессию.
На следующем шаге мы рассмотрим метрики для бинарной классификации.
