На этом шаге мы рассмотрим, что представляет собой нейрон.
Наименьшей единицей искусственной нейронной сети является нейрон. Он хранит вектор весов, которые представляют собой обычные числа с плавающей точкой. Нейрону передается вектор входных данных, которые также являются обычными числами с плавающей точкой. Нейрон объединяет входные данные с их весами посредством скалярного произведения. Затем запускает функцию активации для этого произведения и выдает результат на выходе. Можно считать, что это действие аналогично поведению настоящих нейронов. Функция активации - это преобразователь выходного сигнала нейрона. Она почти всегда нелинейна, что позволяет нейронным сетям представлять решения нелинейных задач. Исли бы не было функций активации, то вся нейронная сеть была бы просто линейным преобразованием. На рисeунке 1 показана работа одного нейрона.
Рис.1. В нейроне его веса объединяются с входными сигналами для получения результирующего сигнала, который модифицируется функцией активации
Здесь и далее используется несколько математических терминов, которые вам, возможно, не встречались со времен изучения курсов вычислительной математики или линейной алгебры. Объяснение
того, что такое векторы или скалярное произведение, выходит за рамки нашего изложения, но вы, вероятно, все равно получите представление о том, что делает нейронная сеть, просто
изучая изложенный материал, даже если не вполне понимаете математическую часть. Позже, в следующих шагах, будут применены некоторые численные методы, такие как вычисление обычных
и частных производных, но даже если вы не понимаете математику, то все равно сможете проследить код. В сущности, здесь не объясняется, как можно получить формулы, по которым
выполняются вычисления. Вместо этого мы сосредоточимся на использовании самих вычислений.
На следующем шаге мы рассмотрим слои.
