На этом шаге мы дадим определение этого понятия.
Из сказанного на предыдущих шагах можно сделать вывод, что добавление нелинейных признаков может улучшить прогнозную силу линейной модели. Однако часто мы не знаем, какие признаки необходимо добавить, и добавление большего числа признаков (например, рассмотрение всех возможных взаимодействий в 100-мерном пространстве признаков) может очень сильно увеличить стоимость вычислений. К счастью, есть хитрый математический трюк, который позволяет нам обучить классификатор в многомерном пространстве, фактически не прибегая к вычислению нового, возможно, очень высокоразмерного пространства. Этот трюк известен под названием "ядерный трюк" (kernel trick) и он непосредственно вычисляет евклидовы расстояния (более точно, скалярные произведения точек данных), чтобы получить расширенное пространство признаков без фактического добавления новых признаков.
Существуют два способа поместить данные в высокоразмерное пространство, которые чаще всего используются методом опорных векторов:
- полиномиальное ядро, которое вычисляет все возможные полиномиальные комбинации исходных признаков до определенной степени, и
- ядро RBF (радиальная базисная функция), также известное как гауссовское ядро.
Гауссовское ядро немного сложнее объяснить, поскольку оно соответствует бесконечному пространству признаков. Объяснить гауссовское ядро можно так: оно рассматривает все возможные полиномы всех степеней, однако важность признаков снижается с возрастанием степени.
Это следует из ряда Тейлора для экспоненциальной функции.
И хотя на практике математические детали ядерного SVM не столь важны и можно легко понять, каким образом SVM с помощью ядра RBF делает прогнозы, мы рассмотрим их на следующем шаге.
На следующем шаге мы рассмотрим понимание принципов работы SVM.
