На этой неделе компания F5 заявила, что сотрудничает с Intel, чтобы предложить клиентам способ разработки и безопасной доставки выходных данных моделей и рабочих нагрузок на основе ИИ.
В частности, компании объединят возможности безопасности и управления трафиком из пакета F5 NGINX Plus с набором инструментов OpenVINO и процессорами инфраструктуры (IPU) Intel. По словам поставщиков, пакет предложит клиентам защиту, масштабируемость и производительность для разработки передовых методов вывода ИИ.
NGINX Plus — это пакет решений безопасности приложений от F5, включающий программный балансировщик нагрузки, кэш контента, веб-сервер, API шлюз и прокси-сервер микросервисов, предназначенный для защиты распределенных веб- и мобильных приложений.
OpenVINO — это набор инструментов с открытым исходным кодом, который ускоряет вывод ИИ и позволяет разработчикам использовать модели ИИ, обученные с использованием популярных фреймворков, таких как TensorFlow, PyTorch, ONNX и других. Сервер моделей OpenVINO использует технологию контейнеров Docker и может быть развернут в кластерной среде для обработки высоких нагрузок вывода и масштабирования по мере необходимости.
«Сервер моделей OpenVINO поддерживает удаленный вывод, позволяя клиентам выполнять вывод на моделях, развернутых на удаленных серверах», — сообщает Intel. «Эта функция полезна для распределенных приложений или сценариев, где вывод ИИ необходимо выполнять на мощных серверах, в то время как клиентское устройство имеет ограниченные ресурсы».
Intel IPU — это аппаратные ускорители, которые снимают с центрального процессора сервера ряд нагрузок, таких как обработка пакетов, формирование трафика и виртуальная коммутация.
«Интегрированное предложение F5/Intel, которое уже доступно, будет особенно полезно для периферийных приложений, таких как видеоаналитика и Интернет вещей, где решающее значение имеют низкая задержка и высокая производительность», — написал Кунал Ананд, технический директор F5, в блоге о технологии.
«F5 NGINX Plus работает как обратный прокси-сервер, предлагая управление трафиком и защиту для серверов модели ИИ», — написал Ананд. «Благодаря конфигурациям высокой доступности и активным проверкам работоспособности NGINX Plus может гарантировать, что запросы от приложений, рабочих процессов или пользователей попадут на рабочий сервер модели OpenVINO».
Ананд добавил, что он также позволяет использовать сертификаты HTTPS и mTLS для шифрования коммуникаций между пользовательским приложением и сервером модели без снижения производительности.
По словам Ананда, с помощью OpenVINO разработчики сначала преобразуют и могут дополнительно оптимизировать и сжимать модели для более быстрых ответов. «… модель ИИ готова к развертыванию путем встраивания среды выполнения OpenVINO в свое приложение, чтобы сделать его совместимым с ИИ. Разработчики могут развертывать свои приложения с ИИ через легкий контейнер в центре обработки данных, в облаке или на периферии на различных аппаратных архитектурах», — написал он.
По словам Intel, интеграция Intel IPU с NGINX Plus создает безопасный воздушный зазор между NGINX Plus и серверами OpenVINO. Этот дополнительный уровень безопасности защищает от потенциальных общих уязвимостей, помогая защитить конфиденциальные данные в модели ИИ, заявили поставщики.
Intel IPU совместимы с сервером Dell PowerEdge R760 с процессорами Intel Xeon. Использование Intel IPU с сервером Dell PowerEdge R760 rack может повысить производительность как для серверов модели OpenVINO, так и для F5 NGINX Plus, по словам Ананда.
«Запуск NGINX Plus на Intel IPU обеспечивает производительность и масштабируемость благодаря аппаратным ускорителям Intel IPU», — написал Ананд. «Эта комбинация также оставляет ресурсы ЦП доступными для серверов модели ИИ».
Майкл Куни
Источник: https://www.networkworld.com/article/3498354/f5-teams-with-intel-to-boost-ai-delivery-security.html
Да, вот бы нам такой серверочек Dell PowerEdge R760 с IPU и NGINX Plus. Улетели бы в космос на сверхзвуковых скоростях.
Вообще жаль Intel. Хорошая была компания.
В I квартале 2023 г. Intel получила крупнейший чистый убыток в своей истории – более $2 млрд. В II квартале 2024 г. у нее вновь образовался гигантский чистый убыток – свыше $1,6 млрд. С января 2024 г. акции Intel подешевели приблизительно на 60%.