超快速的ONNX模型推論 | Intel輕量化最佳實踐研討會

Edge Innovation系列—OpenVINO™ Execution Provider for ONNX Runtime

目錄

• 简介
• 使用ONNX Runtime加快推理速度
• OpenVINO™ Toolkit 的介紹
• OpenVINO Execution Provider的工作原理
• 開始使用OpenVINO™ Execution Provider for ONNX Runtime
• OpenVINO™ Execution Provider的範例程式
• 了解OpenVINO Execution Provider的架構
• Intel® Edge Software Hub的參考實作
• 在Medium上獲取更多資訊
• 結論

简介

在本篇文章中，我們將介紹Intel的OpenVINO™ Execution Provider for ONNX Runtime，旨在幫助AI開發人員在邊緣裝置上加速深度學習模型的推理速度。我們將探討ONNX Runtime的背景以及OpenVINO™ Toolkit的優勢，並深入了解OpenVINO Execution Provider的工作原理。此外，我們還將提供一些範例程式和架構圖，以幫助開發人員更好地理解和使用這個工具。

使用ONNX Runtime加快推理速度

• 使用跨平台的ONNX Runtime來加速機器學習模型的推理過程
• ONNX Runtime支援多種主要深度學習框架的模型
• 簡單的程式碼修改即可將ONNX Runtime和OpenVINO™ Toolkit結合使用

OpenVINO™ Toolkit 的介紹

• OpenVINO™ Toolkit能夠優化Intel®硬體的效能，用於加速深度學習模型
• OpenVINO™ Toolkit的高效優化技術
• 在使用ONNX模型時，開發人員可以結合OpenVINO™ Toolkit獲得更快的推理速度

OpenVINO Execution Provider的工作原理

• 將onnxruntime library進行修改，使用OpenVINO Execution Provider進行推理
• 使用OpenVINO Execution Provider優化計算硬體的加速能力
• 開發人員只需修改一行程式碼即可將ONNX Runtime和OpenVINO™ Toolkit結合使用

開始使用OpenVINO™ Execution Provider for ONNX Runtime

• 安裝onnxruntime-openvino套件及相關依賴
• 導入必要的模組
• 設定推理的提供者為OpenVINO Execution Provider
• 執行推理，獲取輸出結果

OpenVINO™ Execution Provider的範例程式

• 使用Object detection範例展示如何使用OpenVINO™ Execution Provider進行目標檢測
• 執行推理過程並將輸出結果呈現出來
• 範例程式使用YOLO Deep Learning ONNX模型進行目標檢測

了解OpenVINO Execution Provider的架構

• ONNX模型轉換為內存圖形表示形式並進入圖形分區器或獲取能力模組
• 通過查詢可用的後端，Execution Provider得知需要支援的部分
• 提供Execution Provider所需的資訊以進行推理處理

Intel® Edge Software Hub的參考實作

• 检测和跟踪驾驶员行为的參考實作，以确保安全驾驶
• 车辆事件记录的參考實作，以监控车辆外部情况并向云端傳送事件
• 使用Intel® Edge Software Hub的參考實作範例開發人員可以更深入了解OpenVINO™ Execution Provider的應用

在Medium上獲取更多資訊

• 在Medium上查看Intel的OpenVINO toolkit的相關文章
• 開發人員指南和操作指南
• 訂閱Intel的Medium頻道以獲取最新資訊

結論

OpenVINO™ Execution Provider for ONNX Runtime 是一個有效的工具，旨在加快在邊緣裝置上進行深度學習模型推理的速度。開發人員可以利用OpenVINO™ Toolkit和ONNX Runtime的結合使用，以獲得更快的推理速度並優化計算硬體的效能。通過範例程式和架構圖的説明，我們希望開發人員能夠充分了解和善用OpenVINO™ Execution Provider for ONNX Runtime 這個工具。

FAQ

Q: ONNX Runtime可與哪些深度學習框架的模型一起使用？

A: ONNX Runtime支援多種主要深度學習框架的模型，包括PyTorch、TensorFlow、Keras、TFLite和scikit-learn等。

Q: OpenVINO™ Toolkit可以優化哪些Intel®硬體？

A: OpenVINO™ Toolkit針對Intel®硬體進行了優化，可以提升深度學習模型的效能。這些硬體包括Intel® Core處理器、Intel® Xeon處理器、Intel® FPGA和Intel® Movidius™ VPU等。

Q: 在使用OpenVINO Execution Provider時，有哪些優化技術被應用？

A: OpenVINO Execution Provider使用了一些進階的優化技術，包括模型量化、模型壓縮、多執行緒推理和硬體特定加速器的使用，從而提高推理速度並降低硬體資源的消耗。

Q: 開發人員如何開始使用OpenVINO™ Execution Provider for ONNX Runtime？

A: 開發人員需要安裝onnxruntime-openvino套件及相關依賴，然後進行程式碼的相應修改即可開始使用OpenVINO™ Execution Provider for ONNX Runtime。

Q: 如果遇到問題，我在哪裡可以獲得更多資訊或支援？

A: 您可以訪問Intel開發者網站或參考OpenVINO™ Toolkit的官方文檔獲取更多資訊和支援。此外，您還可以在Intel的Medium頻道上查看有用的開發人員指南和操作指南。

參考資源

• Intel Developer Website
• OpenVINO™ Toolkit Documentation
• ONNX Runtime GitHub
• Intel® Edge Software Hub
• Intel Medium Channel