На этом шаге мы приведем универсальный алгоритм машинного обучения.
В примерах предыдущих шагов предполагалось, что у нас есть готовый маркированный набор данных и возможность немедленно начать обучение модели. В реальном мире так бывает очень редко. Вам придется начинать не с создания набора данных, а с определения задачи.
Представьте, что вы открываете свой консалтинговый центр по машинному обучению. Вы регистрируетесь, создаете яркий сайт, уведомляете потенциальных клиентов - и вам начинают поступать проекты:
- персонализированный механизм поиска по фотографиям в социальной сети: вы вводите слово "свадьба" - и получаете все фотографии, сделанные на
свадьбах, без необходимости добавлять метки вручную;
- определение спама и оскорбительных выражений в сообщениях нового чат-приложения;
- системы подбора музыкальных рекомендаций для слушателей интернет-радио;
- выявление мошеннических действий с кредитными картами на веб-сайте электронной коммерции;
- прогнозирование процента переходов по рекламным ссылкам, чтобы решить, какое объявление показывать тому или иному пользователю в данный момент;
- выявление бракованных изделий на конвейерной ленте линии по производству печенья;
- использование спутниковых изображений для предсказания местонахождения еще не обнаруженных археологических памятников.
Замечание по этике
Иногда вам могут поступать проекты, сомнительные с этической точки зрения, например "создание модели ИИ, оценивающей надежность человека по его портрету". Во-первых, сомнительна сама обоснованность такого проекта: непонятно, как надежность может отразиться на лице. Во-вторых, подобная задача открывает двери всевозможным этическим проблемам. Подбор данных для этой задачи равносилен фиксации предубеждений людей, которые будут добавлять метки к изображениям. Модели, обученные на таких данных, перенесут предубеждения в черный ящик алгоритма, придавая им тонкий налет легитимности. В таком технологически малограмотном обществе, как наше, вердикт "алгоритм ИИ сказал, что этому человеку нельзя доверять", как ни странно, будет казаться более весомым и объективным, чем "Джон Смит сказал, что этому человеку нельзя доверять", - несмотря на то что первый представляет лишь усвоенное приближение к последнему. Ваша модель будет обелять и распространять наихудшие аспекты человеческих суждений с негативными последствиями для реальных людей. Технологии не бывают нейтральными. Если ваша работа имеет какое-либо влияние на мир, это влияние имеет моральную сторону: технические решения являются также этическим выбором. Всегда обдумывайте, какие ценности вы хотите поддерживать в своей работе.
Было бы очень удобно иметь возможность импортировать корректный набор данных из keras.datasets и попробовать некоторые модели глубокого обучения. К сожалению, в реальной жизни вам придется начинать с нуля.
Начиная с этого шага вы познакомитесь с универсальным пошаговым планом, который можно использовать для решения любых задач машинного обучения - в том числе перечисленных в списке выше. Этот шаблон, объединив и обобщив все, что вы узнали в приведенных шагах, даст вам дополнительную практику, которая поможет закрепить сведения, приведенные в последующих шагах.
Универсальный процесс машинного обучения состоит из трех частей.
- Определение задачи - изучите предметную область и бизнес-логику, лежащую в основе того, о чем просит заказчик. Выполните сбор и
первичный анализ данных и выберите критерий оценки успеха в решении задачи.
- Разработка модели - подготовьте данные для передачи в модель машинного обучения; выберите протокол оценки модели и простой
базовый уровень, который нужно превзойти; обучите первую модель, обладающую способностью к обобщению и переобучению, а затем настраивайте
ее и применяйте регуляризацию, пока не будет достигнуто максимально возможное качество обобщения.
- Развертывание модели - представьте результаты заинтересованным сторонам; перенесите модель на веб-сервер, в мобильное приложение,
веб-страницу или встроенное устройство; наблюдайте за качеством работы модели в реальном времени и начинайте сбор данных, которые вам понадобятся
при строительстве модели следующего поколения.
А теперь приступим.
На следующем шаге мы рассмотрим определение задачи.
