將視覺轉化為強大的洞察力

概述

Vitis™ 視頻分析 SDK

Vitis™ 視頻分析 SDK 是在 Xilinx 平台上構建支持人工智能功能的智能視頻分析解決方案的完整軟件堆棧。它從 USB/MIPI 攝像頭輸入,通過 RTSP 從文件或數據流獲取視頻,並使用 Vitis AI 從像素點為各種使用案例生成深度洞察,比如了解智慧城市的交通和行人、醫院的健康與安全監控、自助結賬以及零售分析等,從而可檢查生產設施等的組件缺陷。

核心 SDK 包含多個硬件加速器插件,該插件使用各種加速器,如視頻編碼器、解碼器、多尺度器(用於調整大小和色彩空間轉換)以及用於人工智能推斷的深度學習處理單元 (DPU) 等。通過在專用加速器中執行所有計算量大的操作,它可實現視頻分析應用的最高性能。

對於真人百家乐游戏开户 社區,Vitis 視頻還提供一個通用基礎架構插件形式的框架、軟件加速庫和一個簡化的接口,可供用戶開發自己的加速庫,控製自定義的硬件加速器。使用這個框架,用戶可輕鬆將其自定義加速器/內核集成在 Vitis 視頻分析 SDK 中。它建立在 Xilinx 運行時 (XRT)、Vitis 和 Vitis AI 基礎之上,並抽象了這些複雜的接口,有助於開發人員更輕鬆地構建視頻分析應用。

采用 Vitis 視頻分析 SDK,應用可部署在基於 Zynq® UltraScale+™ MPSoC 的嵌入式平台上,如 kia™ SoM 和 ZCU104 或 PCIe 加速平台,其中包括 Alveo U30、U50 和 VCK5000 等。


Vitis 視頻分析 SDK 圖形架構

Vitis 視頻分析 SDK 是一種使用開源 GStreamer 框架構建的優化圖形架構。下圖是一個從輸入視頻到輸出元數據的典型視頻分析應用。所有單獨的模塊都是所用的各種插件。所有單獨的模塊都是所用的各種插件。底部是在整個應用中使用的不同硬件引擎。插件之間無內存拷貝的最佳內存管理和各種加速器的使用,可確保最高性能。


Vitis 視頻分析 SDK 核心組件

定製插件
高度優化的 GStreamer 插件旨在使用 Xilinx 平台上的優化內核和 IP 提供非常具體的功能。

基礎架構插件
這些是正在開發的通用基礎架構 GStreamer 插件,可幫助用戶將其內核集成在 GStreamer 框架中。

加速軟件庫
這些是為管理加速內核 /IP 的狀態機而開發的優化加速軟件庫,可公開界麵,以便將這些加速軟件庫連接到 VVAS 通用基礎架構插件中。這些可用作開發基於 VVAS 框架的加速庫的參考。

加速硬件(內核/ IP)
這些都是 Xilinx 開發的高度優化的內核。

參考平台與應用
VVAS 提供多種參考平台,以滿足不同應用/解決方案的需求。


開發流程

開發流程

  1. 下載多通道 ML智能模型選擇應用的預構建映像
  2. 訓練教程和應用的現有功能/流水線
  3. 為您的自定義邏輯/內核開發 Vitis 視頻分析 SDK 加速軟件庫,並將其與 Vitis 視頻分析 SDK 基礎架構插件集成,驗證功能的正確性。
  4. Vitis 視頻分析 SDK 在當前版本中提供了 16 個 AI 模型。如果您想使用不同的 AI 模型,請自帶或從 Xilinx Model Zoo 下載並使用 Vitis AI 進行編譯
  5. 使用新構建的 AL 模型運行您的流水線/應用

部署選項
KV260

嵌入式部署

Vitis 視頻分析 SDK 不僅可在邊緣器件上為端到端智能視頻分析應用提供一流的性能,同時還可保持部署的靈活性和最佳功耗。

Vitis 視頻分析 SDK 快速上手以及 Xilinx 邊緣平台選擇:


本地部署 Alveo 卡

PCIe 加速部署

Xilinx 數據中心加速卡由 Vitis 視頻分析 SDK 提出支持,可高效加速智能視頻分析應用的整個流水線,與現代 CPU 和 GPU 相比,可提供更高的性能和更低的總體擁有成本。

體驗 Vitis 視頻分析 SDK 並設置您的 Xilinx® Alveo™ 加速卡:


技術文檔
開始設計

PCIe 加速平台快速上手

  • 步驟 1:安裝 Vitis 視頻分析 SDK docker 和驅動
  • 步驟 2:安裝並設置 PCIe 加速卡
  • 步驟 3:運行示例應用

了解更多信息,請訪問//www.rushcopely.com/products/acceleration-solutions/xilinx-aupera-vmss.html


下載二進製文件:

(Vitis 視頻分析 SDK 版本 1.1,工具版本 2021.2)

視頻