На этом шаге мы перечислим преимущества и недостатки такого развертывания.
Это, пожалуй, самый распространенный способ предоставления доступа к модели для получения прогнозов: установите TensorFlow на сервере или в облачном экземпляре и посылайте запросы модели через REST API. Для этого можно создать свое обслуживающее приложение, например, на основе Flask (или любой другой библиотеки для разработки веб-приложений на Python) или использовать библиотеку, входящую в состав фреймворка TensorFlow и предназначенную для предоставления доступа к моделям через API, которая называется TensorFlow Serving ( https://www.tensorflow.org/tfx/guide/serving). TensorFlow Serving позволяет развернуть модель Keras за считаные минуты.
Данный вариант развертывания следует использовать:
- когда приложение, использующее модель для прогнозирования, имеет надежное соединение с интернетом (что очевидно, ведь приложение не сможет получать прогнозы
из удаленного API, если мобильное устройство перевести в режим полета или разместить там, где доступ к интернету ограничен);
- когда приложение не имеет строгих требований к задержке: обработка запроса, вычисление прогноза и передача ответа
обычно занимают около 500 миллисекунд;
- для получения прогноза не требуется передавать конфиденциальные данные, потому что данные должны быть доступны
модели в расшифрованном виде (но помните, что HTTP-запросы и ответы должны шифроваться с
использованием протокола SSL).
Системы поиска изображений, подбора музыкальных рекомендаций, выявления мошеннических действий с кредитными картами и анализа спутниковых изображений вполне могут обслуживать пользователей через REST API.
Перед развертыванием модели в виде REST API вам также придется ответить на очень важный вопрос: будете ли вы размещать код на своем сервере или предпочтете использовать стороннюю облачную службу. Например, Cloud AI Platform, продукт компании Google, позволяет выгрузить модель TensorFlow в Google Cloud Storage (GCS) и получить конечную точку API для отправки запросов. Платформа сама позаботится о таких тонкостях, как обслуживание пакетных прогнозов, балансировка нагрузки и масштабирование.
На следующем шаге мы рассмотрим развертывание модели на устройстве.
