На этом шаге мы рассмотрим причины развития глубокого обучения.
Две ключевые идеи глубокого обучения для решения задач распознавания образов - сверточные нейронные сети и алгоритм обратного распространения ошибки - были хорошо известны уже в 1989 году. Алгоритм долгой краткосрочной памяти (Long Short-Term Memory, LSTM), составляющий основу глубокого обучения для прогнозирования временных рядов, был предложен в 1997 году и с тех пор почти не модифицировался. Так почему же глубокое обучение начало применяться только с 2012 года? Что изменилось за эти два десятилетия?
В целом машинным обучением движут три технические силы:
- оборудование;
- наборы данных и тесты;
- алгоритмические достижения.
Поскольку эта область руководствуется экспериментальными выводами, а не теорией, алгоритмические достижения возможны только при наличии данных и оборудования, пригодных для проверки идей (или, как это часто бывает, для возрождения старых идей). Машинное обучение - это не математика и не физика, где прорывы могут быть сделаны с помощью ручки и бумаги. Это инженерная наука.
На протяжении 1990-х и 2000-х годов данные и оборудование были действительно узким местом. Но в это же время случилось следующее: интернет значительно развился, а для рынка игрового программного обеспечения были созданы высокопроизводительные графические процессоры.
На следующем шаге мы более детально рассмотрим оборудование.
