На этом шаге мы напомним, как можно созать такую модель.
После получения модели, обладающей статистической мощностью, встает вопрос о достаточной мощности модели. Достаточно ли слоев и параметров, чтобы правильно смоделировать задачу? Например, модель логистической регрессии будет иметь некоторую статистическую мощность для классификации цифр из набора MNIST, но этой мощности не будет достаточно, чтобы считать задачу решенной. Не забывайте о распространенной проблеме машинного обучения - противоречии между оптимизацией и общностью; идеальной считается модель, которая стоит непосредственно на границе между недообучением и переобучением, между недостаточной и избыточной емкостью. Чтобы понять, где пролегает эта граница, ее сначала нужно пересечь.
Для оценки того, насколько большой должна быть модель, сначала нужно сконструировать модель, обладающую эффектом переобучения. Как вы помните из предыдущих шагов, сделать это просто.
- Добавьте слои.
- Задайте большое количество параметров в слоях.
- Обучите модель на большом количестве эпох.
Постоянно контролируйте, как меняется уровень потерь на этапах обучения и проверки, а также любые другие показатели на этих же этапах, которые вас интересуют. Ухудшение качества модели на проверочных данных свидетельствует о достижении эффекта переобучения.
На следующем шаге мы рассмотрим регуляризацию и настройку модели.
