На этом шаге мы приведем общие сведения о деревьях решений.
Деревья решений являются моделями, широко используемыми для решения задач классификации и регрессии. По сути они задают вопросы и выстраивают иерархию правил "если... то", приводящую к решению.
Эти вопросы похожи на вопросы, которые вы можете спросить в игре "20 вопросов". Представьте, вам нужно научиться отличать друг от друга четыре вида животных: медведей, ястребов, пингвинов и дельфинов. Ваша цель состоит в том, чтобы получить правильный ответ, задав несколько вопросов. Вы могли бы начать с вопроса, есть ли у этих видов животных перья, вопроса, который сужает количество возможных видов животных до двух. Если получен ответ "да", вы можете задать еще один вопрос, который может помочь вам различать ястребов и пингвинов. Например, вы могли бы спросить, может ли данный вид животных летать. Если у этого вида животных нет перьев, ваши возможные варианты - дельфины и медведи, и вам нужно задать вопрос, чтобы провести различие между этими двумя видами животных, например, спросить, есть ли плавники у этого вида животных.
Эти вопросы можно выразить в виде дерева решений, как это показано на рисунках 1 и 2.
[In 1]: import mglearn mglearn.plots.plot_animal_tree()
Рис.1. Дерево решений, различающее несколько видов животных
Рис.2. То же дерево решений, переведенное на русский язык
На этих рисунках каждый узел дерева либо представляет собой либо вопрос, либо терминальный узел (его еще называют листом или leaf), который содержит ответ. Ребра соединяют вышестоящие узлы с нижестоящими.
Говоря языком машинного обучения, мы построили модель, различающую четыре класса животных (ястребов, пингвинов, дельфинов и медведей), используя три признака "есть перья", "может летать" и "имеет плавники". Вместо того, чтобы строить эти модели вручную, мы можем построить их с помощью контролируемого обучения.
На следующем шаге мы рассмотрим построение деревьев решений.
