概述

Vitis™ 視頻分析 SDK

Vitis™ 視頻分析 SDK 是在 AMD 平台上構建支持人工智能功能的智能視頻分析解決方案的完整軟件堆棧。它從 USB/MIPI 攝像頭輸入,通過 RTSP 從文件或數據流獲取視頻,並使用 Vitis AI 從像素點為各種使用案例生成深度洞察,比如了解智慧城市的交通和行人、醫院的健康與安全監控、自助結賬以及零售分析等,從而可檢查生產設施等的組件缺陷。

核心 SDK 包含多個硬件加速器插件,該插件使用各種加速器,如視頻編碼器、解碼器、多尺度器(用於調整大小和色彩空間轉換)以及用於人工智能推斷的深度學習處理單元 (DPU) 等。通過在專用加速器中執行所有計算量大的操作,它可實現視頻分析應用的最高性能。

對於真人百家乐游戏开户 社區,Vitis 視頻還提供一個通用基礎架構插件形式的框架、軟件加速庫和一個簡化的接口,可供用戶開發自己的加速庫,控製自定義的硬件加速器。使用這個框架,用戶可輕鬆將其自定義加速器/內核集成在 Vitis 視頻分析 SDK 中。它建立在 Xilinx 運行時 (XRT)、Vitis 和 Vitis AI 基礎之上,並抽象了這些複雜的接口,有助於開發人員更輕鬆地構建視頻分析應用。

借助 Vitis 視頻分析 SDK,您可以在基於 Zynq™ UltraScale+™ MPSoC 的嵌入式平台(例如 Kria™ SOM 和 ZCU104 評估套件)或更大的邊緣或數據中心平台(例如 Alveo V70)上運行您的應用。

vvas-stack

Vitis 視頻分析 SDK 圖形架構

Vitis™ 視頻分析 SDK 是一種使用開源 GStreamer 框架構建的優化圖形架構。下圖是一個從輸入視頻到輸出元數據的典型視頻分析應用。所有單獨的模塊都是所用的各種插件。所有單獨的模塊都是所用的各種插件。底部是在整個應用中使用的不同硬件引擎。插件之間無內存拷貝的最佳內存管理和各種加速器的使用,可確保最高性能。


Vitis 視頻分析 SDK 核心組件

定製插件
高度優化的 GStreamer 插件旨在使用 AMD 平台上的優化內核和 IP 提供非常具體的功能。

基礎架構插件
這些是正在開發的通用基礎架構 GStreamer 插件,可幫助用戶將其內核集成在 GStreamer 框架中。

加速軟件庫
這些是為管理加速內核 /IP 的狀態機而開發的優化加速軟件庫,可公開界麵,以便將這些加速軟件庫連接到 VVAS 通用基礎架構插件中。這些可用作開發基於 VVAS 框架的加速庫的參考。

加速硬件(核/ IP)
這些都是 AMD 開發的高度優化的內核。

參考平台與應用
VVAS 提供多種參考平台,以滿足不同應用/解決方案的需求。


開發流程

開發流程

  1. 下載多通道 ML 和 智能模型選擇應用的預構建映像
  2. 訓練教程和應用的現有功能/流水線
  3. 為您的自定義邏輯/內核開發 Vitis™ 視頻分析 SDK 加速軟件庫,並將其與 Vitis 視頻分析 SDK 基礎架構插件集成,驗證功能的正確性。
  4. Vitis 視頻分析 SDK 在當前版本中提供了 16 個 AI 模型。如果您想使用不同的 AI 模型,請自帶或從 AMD Model Zoo 下載並使用 Vitis AI 進行編譯
  5. 使用新構建的 AL 模型運行您的流水線/應用
部署選項
KV260

嵌入式部署

Vitis™ 視頻分析 SDK 不僅可在邊緣器件上為端到端智能視頻分析應用提供一流的性能,同時還可保持部署的靈活性和最佳功耗。

Vitis 視頻分析 SDK 快速上手以及 AMD 邊緣平台選擇:


V70 Alveo 卡

PCIe 加速部署

AMD 數據中心加速卡由 Vitis 視頻分析 SDK 提出支持,可高效加速智能視頻分析應用的整個流水線,與現代 CPU 和 GPU 相比,可提供更高的性能和更低的總體擁有成本。

體驗 Vitis 視頻分析 SDK 並設置您的 AMD Alveo™ 加速卡:


技術文檔
開始設計
視頻