打造節能智能系統！台灣英特爾AI全球影響力節目

目錄

• 深度學習在邊緣的意義
• 基因序列的能效
• 近似運算在視覺分析中的應用
• 深度神經網絡的近似處理
• 優化嵌入式系統的能效
• 近似推理系統的設計
• 實驗原型的評估
• 軟硬體協同近似
• AI硬體和軟體設計中的近似運算
• Intel在能效AI方面的研究

深度學習在邊緣的意義 👁️

在現代科技的發展中，深度學習技術讓人工智能（AI）成為了現實。深度學習是指在不同的邊緣設備或最終用戶設備上運行AI模型的應用。這些應用涵蓋了智慧城市、自主駕駛、智能家居、虛擬現實、語音識別等眾多領域。人們已經習慣在日常生活中使用AI技術，例如在Alexa中使用語音識別功能來玩遊戲，甚至可能使用虛擬現實技術。這種AI模型運行在低功率的設備上，這些設備靠電池供電，因此我們將這種情況稱之為“邊緣處理”（Edge Computing）。然而，如何在電力有限的設備上實現可持續且節能的AI，依然是一個具有挑戰性的問題。

基因序列的能效 💡

在當今的邊緣設備中，DNA推理的能效是一個非常重要的要求。深度神經網絡（DNN）在某些應用中的計算性能已經超過了人類的準確性水平，但是這些應用也面臨着計算複雜性和高能耗等挑戰。邊緣設備的計算和記憶能力有限，電池壽命也較短。因此，為了實現可持續和環保的邊緣AI，我們需要在DNA推理中實現極致的能效。

DNA推理算法用於執行各種視覺分析應用，如人臉識別、物體檢測和圖像分割。這些應用通常需要容錯能力，而DNN能夠處理噪聲輸入、信息冗余以及計算中的近似。近似計算是一種可以利用應用程序容錯能力來節省能源的技術，這是一種被廣泛使用的技術。在本研究中，我們將研究這種近似計算技術。

近似運算在視覺分析中的應用 📸

如果我們觀察一個用於物體檢測的智能攝像頭，我們可以發現它由許多不同的子系統組成，包括計算、傳感器、記憶體和通訊模塊。這些子系統都對能源的消耗有重要的貢獻。因此，為了充分利用DNN的容錯能力並實現最大的能源效益，我們需要探索如何近似整個系統，而不僅僅是計算部分。

在智能攝像頭的例子中，我們可以近似傳感器子系統，通過選擇性的下採樣來降低圖像的解析度。在記憶體子系統中，我們可以使用刷新率降低來減少DRAM的能耗。對於計算部分，我們可以使用結構化剪枝技術來減少DNN模型的大小，以便更快地運行並節省能源。最後，在通訊子系統中，我們可以使用JPEG壓縮技術在將圖像傳輸到雲服務器之前對圖像進行壓縮。

我們對各個子系統進行了近似調整，每個子系統都有特定的品質界限，我們調整近似級別并進行了質量和能量的敏感性分析，以衡量整個系統的品質和能源消耗，然後我們選擇具有最大能量品質梯度的近似配置，并將其保存為下一輪的狀態。在下一輪中，我們從當前狀態繼續探索，並消除違反品質界限的子系統，這個迭代剪枝過程一直持續到沒有子系統可以進一步近似為止，相應的能量和品質即為最終值。

深度神經網絡的近似處理 🧠

通過觀察近似推理系統，我們進一步了解了深度神經網絡近似處理的現狀。我目前在Intel公司從事高級架構研究工作。我們致力於利用近似技術實現節能的AI。我們正在探索不同近似對DNN性能的影響，例如，量化技術可以降低DNN模型的位精度，同時保持准確性，這種量化技術可以將模型的大小減小到原來的四分之一。我們正在將相似的近似技術應用於計算和記憶體子系統中，這將提高AI硬體的運行速度和能源效率。

這項研究有助於實現Intel的使命，將低功耗的、智能的、AI-ready的用戶系統普及化。謝謝您聆聽這次演講，所以這次演講的重點是，這些近似智能系統的概念將使您能夠構建節能且智能的系統，並使每個人都能獲得AI的好處。想象一下您可以在全球范圍內真正有所作為！

參考資料：

• 參考文獻 1
• 參考文獻 2
• 參考文獻 3