На этом шаге мы напомним варианты протоколов оценки.
Как рассказывалось в предыдущих шагах, цель модели - добиться обобщения, и каждое решение, которое вы будете принимать в процессе разработки модели, будет зависеть от метрик на этапе проверки, оценивающих эффективность обобщения. Цель протокола оценки - точно оценить выбранную вами меру успеха (например, точность) на реальных данных. Надежность этого процесса имеет решающее значение для построения полезной модели. Начиная с 131 шага, мы рассмотрели три распространенных протокола оценки, таких как:
- выделение из общей выборки отдельного проверочного набора данных - этот способ хорошо подходит при наличии большого объема данных;
- перекрестная проверка по K блокам - оптимальный вариант при небольшом количестве исходных образцов, из которых нельзя выделить представительную выборку для проверки;
- итерационная проверка по K блокам с перемешиванием - позволяет с высокой точностью оценить модель, когда в вашем распоряжении имеется ограниченный объем данных.
Просто возьмите один из этих вариантов. В большинстве случаев первый поможет получить достаточно надежную оценку. Однако всегда помните о репрезентативности проверочного набора и проявляйте осмотрительность, чтобы не допустить избыточности между обучающим и проверочным наборами.
На следующем шаге мы рассмотрим преодоление базового случая.
