На этом шаге мы рассмотрим связь между итерполяцией и обобщением .
Работая с образцами данных, которые можно интерполировать друг в друга, вы в какой-то момент начинаете понимать образцы, которых раньше никогда не видели, сопоставляя их с другими образцами, лежащими поблизости на многообразии. То есть можно прийти к пониманию всего пространства, используя ограниченную выборку образцов. Для восполнения пробелов можно применить интерполяцию.
Обратите внимание, что интерполяция на скрытом многообразии отличается от линейной интерполяции в родительском пространстве (рисунок 1).
Рис.1. Разница между линейной интерполяцией и интерполяцией на скрытом многообразии. Всякий образец из скрытого многообразия изображений цифр является допустимой цифрой, но среднее двух изображений - обычно нет
Например, среднее количество пикселей в двух изображениях цифр в наборе MNIST обычно не является допустимой цифрой.
Важно отметить, что глубокое обучение обеспечивает обобщение посредством интерполяции на основе изученного приближения многообразия данных, и было бы ошибкой думать, что интерполяция - все, что нужно для обобщения. Это лишь верхушка айсберга. Интерполяция может помочь разобраться только в чем-то очень близком увиденному вами раньше: она дает возможность локального обобщения. Самое интересное, что люди постоянно сталкиваются с чем-то совершенно новым - и у них не возникает проблем. Вам не нужно заранее обучаться на бесчисленных примерах каждой предполагаемой ситуации. Любой ваш день отличается от предыдущего, пережитого вами и кем бы то ни было с момента зарождения человечества. Вы можете пробыть неделю в Нью-Йорке, неделю в Шанхае и неделю в Бангалоре - и вам не понадобится тысяча репетиций для жизни там.
Люди обладают развитой способностью обобщать, основанной на когнитивных механизмах, отличных от интерполяции: абстракции, символическом моделировании мира, рассуждении, логике, здравом смысле, врожденной подготовленности к жизни, - на всем том, что мы обычно называем разумом. В отличие от интуиции и распознавания закономерностей, они в основном имеют интерполяционный характер. Однако и те и другие механизмы важны для интеллекта. Мы еще позже вернемся к этой теме.
На следующем шаге мы рассмотрим, почему работает глубокое обучение.
