На этом шаге мы перечислим проблемы, которые возникают посде создания модели.
Чтобы добиться идеального уровня обучения, сначала нужно переобучить модель. Поскольку заранее не известно, где проходит граница переобучения, чтобы ее обнаружить, нужно ее пересечь. Иными словами, приступая к решению некоторой задачи, в первую очередь сконструируйте модель, которая демонстрирует некоторую способность к обобщению и может переобучиться. Получив такую модель, можно сосредоточиться на совершенствовании ее способности к обобщению, борясь с переобучением.
На этом этапе вы столкнетесь с тремя типичными проблемами:
- обучение не начинается: потери в обучающих данных не уменьшаются;
- обучение начинается, но модель не создает осмысленных обобщений: ей не удается превзойти установленный базовый уровень;
- потери на проверочных данных постепенно снижаются и модели удалось превзойти базовый уровень, но эффект переобучения никак не наступает: это говорит о недообученности модели.
Давайте посмотрим, как решить перечисленные проблемы, чтобы достичь первую важную веху в проекте машинного обучения: получить модель, которая обладает некоторой способностью к обобщению (способностью превзойти тривиальный базовый уровень) и может переобучиться.
На следующем шаге мы рассмотрим настройку основных параметров градиентного спуска.
