На этом шаге мы перечислим эти задачи.
Ранее вы познакомились с основами использования глубокого обучения в технологиях компьютерного зрения на примере простых моделей (стеки слоев
Conv2D и MaxPooling2D), применяемых для решения простой задачи (бинарная классификация изображений). Но компьютерное зрение - это не
только классификация изображений! В последующих шагах будет рассмотрен более широкий круг задач и представлены некоторые продвинутые приемы.
Три основные задачи в сфере компьютерного зрения
До сих пор наше внимание было сосредоточено на моделях классификации изображений, которые принимают изображение и возвращают соответствующую ему метку: "Это изображение, вероятно, содержит кошку; а на этом, вероятно, присутствует собака". Но классификация изображений - лишь один из нескольких возможных вариантов применения глубокого обучения в компьютерном зрении.
В целом в данной сфере есть три основные задачи.
- Классификация изображений. Цель - присвоить изображению одну или несколько меток. Это может быть однозначная классификация (изображение
можно отнести только к одной категории) или многозначная (изображению можно присвоить несколько меток, в зависимости от наличия на нем объектов из
разных категорий, как на рисунке 1). Например, когда вы выполняете поиск по ключевому слову в приложении Google Photo, ваш запрос обрабатывается
очень большой моделью многозначной классификации, распознающей более 20 000 различных классов и обученной на миллионах изображений.
Рис.1. Три основные задачи компьютерного зрения: классификация, сегментация и обнаружение объектов
- Сегментация изображений. Цель - сегментировать, или разбить, изображение на непересекающиеся области, каждая из которых представляет
некоторую категорию (как на рисунке 1). Например, когда в Zoom или Google Meet вам нужно установить отображение какого-то фона за собой
во время видеозвонка, для реализации этой опции программа использует модель сегментации изображения, отличающую ваше лицо от фона за ним с точностью до пикселя.
- Обнаружение объектов. Цель - нарисовать прямоугольники (которые называют ограничивающими рамками) вокруг интересующих объектов
на изображении и связать каждый прямоугольник с некоторым классом. Автопилот автомобиля, например, может использовать модель обнаружения объектов для наблюдения
за автомобилями, пешеходами и знаками, попадающими в поле зрения своих камер.
На следующем шаге мы рассмотрим пример сегментации изображения.
