|
作者：Arm 生成式及多模態(tài)人工智能 (AI) 工作負載的廣泛增長(cháng)，推動(dòng)了對計算機視覺(jué) (CV) 技術(shù)日益高漲的需求。此類(lèi)技術(shù)能夠解釋并分析源自現實(shí)世界的視覺(jué)信息，并可應用于人臉識別、照片分類(lèi)、濾鏡處理及增強現實(shí)等多種應用中。然而，這些計算機視覺(jué)應用可能很難實(shí)現最優(yōu)化的延遲性能和處理速度，特別是在內存大小、電池容量和處理能力有限的移動(dòng)設備上難度更高。 而 Arm KleidiCV 便能在其中大顯身手。該開(kāi)源庫利用了最新 Arm CPU 中的高性能圖像處理功能，可被集成至各類(lèi)計算機視覺(jué)框架中，從而簡(jiǎn)化并加速計算機視覺(jué)工作負載的性能優(yōu)化，而無(wú)需開(kāi)發(fā)者執行額外操作。這一點(diǎn)對于移動(dòng)設備來(lái)說(shuō)至關(guān)重要。加速圖像處理是為多樣的 AI 用例打造更輕量化、更準確且性能更強大的模型的第一步，也是關(guān)鍵一步。此外，也可在為用戶(hù)維持電池壽命的同時(shí)，使計算機視覺(jué)功能運行得更加快速。 KleidiCV 通過(guò)與全球最大的開(kāi)源計算機視覺(jué)庫 OpenCV 實(shí)現新的集成，使得全球數百萬(wàn)計算機視覺(jué)開(kāi)發(fā)者都可以利用其進(jìn)行性能加速。該集成現已上線(xiàn)，安卓用戶(hù)可通過(guò) OpenCV 4.11 默認獲取，這為安卓移動(dòng)市場(chǎng)中 Arm 架構設備上的計算機視覺(jué)應用提供了前所未有的性能增強。 KleidiCV 與 OpenCV 集成的性能優(yōu)勢 OpenCV 是全球計算機視覺(jué)開(kāi)發(fā)者的首選平臺，OpenCV Python 包的日均下載量超過(guò) 30 萬(wàn)次。KleidiCV 與 OpenCV 的集成（由 Maven 代碼倉庫訪(fǎng)問(wèn)）通過(guò)直接映射到能夠為計算機視覺(jué)工作負載提供一系列加速功能的底層 Arm 架構和特性（如 Neon 和 SVE2），從而為計算機視覺(jué)開(kāi)發(fā)者實(shí)現自動(dòng)的性能增強。 去年，Arm 同步推出了 KleidiAI 和 KleidiCV。KleidiAI 庫為集成至 AI 框架提供目標內核，并在 Arm CPU 上無(wú)縫加速傳統機器學(xué)習和生成式 AI 模型。發(fā)布時(shí)的初始基準測試顯示，OpenCV 上的各類(lèi)圖像處理任務(wù)的典型性能提升了 75%。 通過(guò)將 KleidiCV 集成到 OpenCV 4.11，上述性能（或 OpenCV 上的各類(lèi)圖像處理任務(wù)的典型）提升了高達四倍，進(jìn)而能夠為對象檢測和識別以及圖像分割中使用的關(guān)鍵圖像處理任務(wù)加速計算機視覺(jué)計算，并實(shí)現更快的響應時(shí)間。這些任務(wù)包括： 模糊處理：通過(guò)減少高頻細節來(lái)增強圖像以進(jìn)行對象檢測； 濾鏡：用于銳化和平滑圖像； 旋轉：對齊圖像以進(jìn)行對象識別； 調整大�。航档吞幚泶蟪叽鐖D像時(shí)的計算負載。 KleidiCV 的主要特性和優(yōu)勢 KleidiCV 通過(guò)自動(dòng)檢測運行它的硬件并相應地選擇最佳實(shí)現來(lái)簡(jiǎn)化開(kāi)發(fā)過(guò)程。這意味著(zhù)開(kāi)發(fā)者無(wú)需手動(dòng)優(yōu)化其代碼即可實(shí)現更高性能。KleidiCV 的其他主要特性和優(yōu)勢包括： 多線(xiàn)程：該特性可加速處理，并實(shí)現更卓越的性能。 廣泛的適用性：KleidiCV 支持包括圖像處理和調整大小等在內的各種工作負載，使其與汽車(chē)、消費類(lèi)技術(shù)和基礎設施市場(chǎng)中的廣泛應用均息息相關(guān)。 內置安全性：Arm 的 Security Development Lifecycle（安全性開(kāi)發(fā)生命周期）已被嵌入至 KleidiCV 的功能中。 OpenCV 4.11 的增強功能和更新 OpenCV 4.11 的更新為其計算機視覺(jué)工作負載工具和功能套件帶來(lái)了多項增強功能，這些增強功能與 KleidiCV 集成相輔相成。其中包括： 改進(jìn)的 DNN 模塊：通過(guò) InferenceEngine 后端為 3D 卷積網(wǎng)絡(luò )和異步推理提供初始支持。 增強的 Calib3d 模塊：用于 solvePNP 和姿態(tài)優(yōu)化例程的新 IPPE 算法。 優(yōu)化的通用內部函數：提供 AVX-512 實(shí)現和其他優(yōu)化以實(shí)現更加出色的性能。 這些更新與 KleidiCV 的優(yōu)化相結合，顯著(zhù)增強了 OpenCV 的功能，使其成為開(kāi)發(fā)者的強大工具。 塑造計算機視覺(jué)工作負載的未來(lái) KleidiCV 的首次集成現已完成，Arm 不斷彰顯軟件優(yōu)化如何在移動(dòng)端的 Arm CPU 上充分釋放新的計算機視覺(jué)性能和功能。這不僅為移動(dòng)端，更是為其他多樣化的市場(chǎng)（例如機器人、汽車(chē)和醫療應用等）的計算機視覺(jué)工作負載加速和模型鋪平了道路。 通過(guò)利用 Arm CPU 的強大性能和 OpenCV 的廣大開(kāi)發(fā)者用戶(hù)，OpenCV 4.11 與 KleidiCV 的集成能夠為各類(lèi)計算機視覺(jué)應用帶來(lái)顯著(zhù)的性能增強。借助 KleidiCV 和 Arm 領(lǐng)先的計算平臺，Arm 正在塑造計算機視覺(jué)在移動(dòng)端及更廣泛領(lǐng)域的未來(lái)。 |
