На этом шаге мы охарактеризуем работу нейронной сети.
Завершив обучение нейронной сети и проверив ее работоспособность на тестовых данных, вы, по сути, получаете черный ящик. Фактически вы не знаете, как вырабатывается ответ, но все же он вырабатывается!
Незнание внутреннего механизма не всегда является проблемой, если главное для вас - ответы и вас не интересует, каким образом они получены. Но именно этим недостатком страдают рассматриваемые методы машинного обучения: обучение не всегда означает понимание сути задачи, которую черный ящик научился решать.
Давайте разберемся, можем ли мы заглянуть внутрь нашей простой нейронной сети и увидеть, чему она научилась, чтобы визуализировать знания, приобретенные ею в процессе тренировки.
Мы могли бы проанализировать весовые коэффициенты, в которых, в конце концов, и сосредоточено все, чему учится сеть. Но вряд ли эти данные будут нести в себе полезную для нас информацию, особенно если учесть, что нейронная сеть работает таким образом, чтобы распределить то, чему она учится, по различным связям. Это обеспечивает устойчивость сети к повреждениям, как это свойственно биологическому мозгу. Маловероятно, что удаление одного или даже большего количества узлов полностью лишит сеть возможности нормально работать.
Рассмотрим одну безумную идею.
На следующем шаге мы рассмотрим обратные запросы.
