步驟 4:啟動智能攝像頭加速應用 (PetaLinux)

Xilinx 憑借 Kria™ KV260 視覺 AI 入門套件向用戶推出 “加速應用” 的概念。這些是為 AI 及軟件真人百家乐游戏开户 預先構建的應用,可幫助他們領先一步開發目標終端應用

您可以快速運行一款我們的加速應用,甚至可以使用不同的人工智能模型或傳感器對其進行定製。聽起來讓人很振奮!我們來試用一下智能相機加速應用

xilinx-smart-camera-tile

智能攝像頭加速應用簡介:

內置機器學習並能執行麵部/行人檢測的超高清攝像頭,支持從各種視頻源(Mipi 攝像頭、視頻文件 & USB 攝像頭)捕獲信息,能夠通過基於 ROI 編碼的視頻的 HDMI、DisplayPort 或 RTSP 傳輸功能輸出處理過的視頻。

最普及的使用案例:智慧城市應用(麵部、行人檢測和交通管理)和視頻分析功能。

smart-camera-diagram

啟動智能攝像頭加速應用:

您已經在步驟 3 中創建了啟動該應用所需的連接

在運行目標上動態安裝智能相機應用軟件包

Xilinx 能夠采用運行時軟件包管理 (rpm) 格式為用戶提供軟件包饋送,使他們能夠在使用 dnf 軟件包管理器實用程序命令“dnf install”運行 Linux 啟動器映像的基礎上,動態加載 Xilinx 加速應用。此外,Xilinx 還可提供 xmutil 實用程序 (xmutil getpkgs),用於搜索軟件包饋送並查詢針對 Vision AI 入門套件提供的加速應用軟件包組。命令如下:

1) 運行以下命令,獲取所提供的應用軟件包組列表。
sudo xmutil getpkgs

2) 運行以下命令,從上表安裝智能相機加速應用軟件包組。 出現提示時,按“是”,等待大約 2 分鍾,安裝 204 個軟件包。

sudo dnf install packagegroup-kv260-smartcam.noarch

加載智能相機加速應用固件

在執行 /opt/xilinx/bin 上提供的新安裝應用之前,需要使用 xmutil 實用程序命令加載 FPGA 固件(PL 位流 + 設備樹覆蓋 + PL 驅動程序)。按照以下步驟在 Vision AI 入門套件上加載智能相機加速應用固件。

1) 運行以下命令,列出 Vision AI 入門套件上可用的現有應用固件。

sudo xmutil listapps

2) 運行以下命令,卸載默認的“kv260-dp”應用固件。

sudo xmutil unloadapp

3) 運行以下命令,加載智能相機加速應用固件。

sudo xmutil loadapp kv260-smartcam

運行智能相機加速應用

將 AR1335 攝像頭模塊對準用戶麵部並運行智能相機加速應用。要使用 IAS 攝像頭模塊運行加速應用,請使用以下命令:

sudo smartcam --mipi -W 1920 -H 1080 -r 30 --target dp

我們已成功啟動智能相機加速應用!在 DisplayPort/HDMI 顯示器上顯示的輸出視頻中,一個邊界框應該會出現在用戶的麵部周圍。

另外,如果您使用的是 USB 網絡攝像頭,請將推薦的 USB 網絡攝像頭指向用戶的臉部,然後運行以下命令:

sudo smartcam --usb 0 -W 1920 -H 1080 -r 30 --target dp

注:“--usb”的參數 0 取決於 USB 網絡攝像頭在 Vision AI 入門套件上運行 Linux 時檢測到的媒體節點。在本案例中,它是 /dev/media0,所以我們使用“--usb 0。

您也可從 Jupyter Notebook 控製智能相機應用。Linux 啟動完成後,請通過在瀏覽器中輸入 SOM 的 IP 地址來啟動 Jupyter 筆記本。通過該筆記本的單元來練習 Kria SOM 的智能相機功能。

如需了解有關智能相機加速應用和定製選項的更多詳情,請訪問GitHub 頁麵