На этом шаге мы рассмотрим необходимость наличия базового уровня.
Кроме различных протоколов оценки, необходимо также иметь базовый уровень, на который можно опереться .
Обучение модели глубокого обучения немного напоминает пуск ракеты, находящейся в параллельном мире, нажатием кнопки. Вы не слышите и не видите, как ракета взлетает. Вы не можете наблюдать многогранный процесс обучения - он протекает в пространстве с тысячами измерений, и даже если спроецировать процесс в привычное трехмерное представление, вы все равно не сможете его интерпретировать. Единственная обратная связь, которая у вас есть, - это ваши проверочные метрики, например высотомер на невидимой ракете.
Очень важно знать, оторвалась ли ракета от поверхности земли в принципе. На какой высоте был произведен пуск? Ваша модель показывает точность 15% - но как понять, хорошо это или плохо? Прежде чем начать работу с набором данных, всегда нужно выбрать тривиальный базовый уровень, который вы должны превзойти. Перейдя поставленную черту, вы будете знать, что движетесь в правильном направлении: ваша модель действительно использует информацию из входных данных и генерирует обобщающие прогнозы. Таким базовым уровнем может быть результат случайного классификатора или простейшего метода, не имеющего отношения к машинному обучению.
Например, в задаче классификации цифр из набора MNIST простым базовым уровнем мог бы быть случайный классификатор, показывающий точность 0,1 на проверочных данных; в задаче IMDB такой же классификатор даст точность на проверочных данных на уровне 0,5. В задаче с Reuters базовая точность составит примерно 0,18-0,19 из-за несбалансированности классов. При бинарной классификации, когда 90% образцов принадлежат классу A и 10% - классу B, классификатор, всегда прогнозирующий A, уже будет иметь точность 0,9 на проверочных данных - вашей целью будет превзойти этот уровень.
Базовый уровень, на который можно сослаться, имеет большое значение, когда вы начинаете работу над задачей, которую прежде никто не решал. Если вы не можете превзойти тривиальное решение, ваша модель бесполезна - может, вы используете неправильную модель или задача вообще не может быть решена с помощью машинного обучения. В таком случае пора вернуться к чертежной доске.
На следующем шаге мы рассмотрим, о чем не нужно забывать при оценке моделей.
