На этом шаге мы обобщим изученный материал, предложив несколько рекомендаций.
Подведем некоторый итог изученному материалу.
- Цель модели машинного обучения - обобщение: обеспечить максимально точную интерпретацию ранее не встречавшихся ей данных. Это
сложнее, чем кажется.
- Глубокая нейронная сеть учится обобщать, обучаясь интерполировать переходы между обучающими образцами, - можно сказать, что
обученная модель изучила "скрытое многообразие" обучающих данных. Вот почему модели глубокого обучения могут более или менее успешно интерпретировать
только те данные, которые близки к увиденным ими во время обучения.
- Фундаментальная проблема машинного обучения - противоречие между оптимизацией и общностью: чтобы достичь общности, необходимо
сначала добиться хорошей подгонки модели под обучающие данные, но через какое-то время улучшение подгонки модели под обучающие данные неизбежно
начнет вредить ее общности. Все передовые приемы глубокого обучения направлены на преодоление этого противоречия.
- Способность моделей глубокого обучения к обобщению обусловлена умением аппроксимировать скрытое многообразие их данных и за счет этого
интерпретировать новые входные данные, применяя интерполяцию.
- Очень важно иметь возможность точно оценить обобщающую способность модели во время ее разработки. Для этого существует множество методов
оценки, от простой проверки с расщеплением выборки до перекрестной проверки по K блокам и перекрестной проверки по K блокам с
перемешиванием. Не забывайте всегда создавать отдельную контрольную выборку для окончательной оценки модели и не используйте ее для проверки в
процессе обучения, чтобы исключить утечку информации из контрольных данных в вашу модель.
- Начиная работать над моделью, сначала создайте такую, которая обладает хоть какой-то способностью к обобщению и может переобучаться. В этом вам
помогут: настройка скорости обучения и размера пакета, использование более подходящих архитектур, увеличение емкости модели или просто более длительное
обучение.
- Получив модель, способную переобучаться, переключитесь на улучшение ее способности к обобщению за счет регуляризации. Попробуйте
уменьшить емкость модели, добавить регуляризацию весов или прореживание, используйте раннюю остановку. И естественно, не забывайте о данных: чем
больше набор данных и чем они качественнее, тем выше будет способность модели к обобщению.
Со следующего шага мы начнем рассматривать обобщенный процесс машинного обучения.
