На этом шаге мы рассмотрим решение проблемы недостающих данных.
Иногда в исходных данных могут отсутствовать некоторые значения. Например, в случае с предсказанием цен на дома первым признаком (столбец с индексом 0 в данных) был уровень преступности на душу населения. Как быть, если этот признак определен не во всех образцах? Если оставить все как есть, у нас появится недостаток значений в обучающих или контрольных данных.
От такого признака можно вообще отказаться, а можно поступить иначе.
- Если признак категориальный, то можно создать новую категорию, которая будет означать "отсутствие признака".
Модель автоматически узнает, что это означает по отношению к целям.
- Если признак числовой, желательно избегать использования произвольного значения (например, 0) - это может создать разрыв в скрытом пространстве, образованном признаками, из-за чего обучаемой модели будет труднее найти
обобщающее решение. Вместо этого можно попробовать заменить отсутствующие значения средним или медианным значением для конкретного признака в наборе данных. Также можно обучить модель предсказывать отсутствующие значения одних признаков по значениям других.
Обратите внимание: если в контрольных данных имеются отсутствующие значения, а сеть была обучена без них, то она не будет отсутствующие значения распознавать! В этой ситуации следует искусственно сгенерировать обучающие экземпляры с отсутствующими признаками: скопируйте несколько обучающих образцов и отбросьте в них некоторые признаки, которые, как ожидается, не определены в контрольных данных.
На следующем шаге мы рассмотрим выбор протокола оценки.
