На этом шаге мы рассмотрим необходимость использования более удачной архитектуры.
Вы сконструировали модель, которая обучается, но по какой-то причине оценки качества на проверочных данных совсем не улучшаются. Они не превышают базового уровня случайного классификатора: модель обучается, но не обобщает. Что происходит?
Это, пожалуй, худшая ситуация в машинном обучении, в которой вы можете оказаться. Она явно сигнализирует: что-то не так в самом вашем подходе - и здесь трудно сказать, в чем именно заключается проблема. Вот несколько наводок.
Во-первых, может оказаться, что исходные данные просто не содержат достаточного объема информации для прогнозирования целей: задача в том виде, в котором она сформулирована, неразрешима. Примерно это произошло, когда мы попытались обучить модель MNIST на наборе с перемешанными метками: модель обучалась нормально, но точность на проверочных данных оставалась на уровне 10%, потому что с таким набором данных было просто невозможно научиться обобщать.
Возможно также, что для решения поставленной задачи не подходит архитектура модели. Например, позднее вы увидите пример прогнозирования временного ряда, когда плотно связанная архитектура не может превзойти тривиальный базовый случай - а вот более подходящая рекуррентная архитектура оказывается более способной к обобщению. Использование модели, основанной на верных предположениях о проблеме, важно для достижения общности: выбирайте правильные архитектуры.
В следующих шагах вы познакомитесь с разными архитектурами, подходящими для работы с разными видами данных - изображениями, текстом, временными рядами и т. д. Всегда следует внимательно изучать передовые архитектуры, применяющиеся для решения задач, аналогичных вашей, - высока вероятность, что вы не первый, кто за нее берется.
На следующем шаге мы рассмотрим увеличение емкости модели.
