实现可持续边缘AI：优化能效的智能系统

目录

1. 引言
2. 什么是边缘深度学习
3. 在边缘的能效问题
4. DNA推理中的能效
5. 编写一种近似推理系统
6. 我们的主要贡献
7. 板上实验和结果
8. 与单个近似方法的比较
9. AI近似技术的现状
10. 在英特尔的能效研究

引言

近年来，人工智能（AI）在各个领域中的应用不断增加。然而，AI模型的高计算复杂性和能量消耗限制了其在边缘设备上的应用。为了解决这个问题，我们需要开发能效更高的近似推理系统，以便在边缘设备上运行深度学习模型。本文将介绍边缘深度学习的概念，并提出了一种能效更高的近似推理系统。

什么是边缘深度学习

边缘深度学习是指在不同的边缘设备或终端用户设备上运行人工智能模型的技术。这些应用包括智能城市、自动驾驶、智能家居、虚拟现实和语音识别等。边缘深度学习的特点是在低功耗设备上运行，并受到电池电量的限制。因此，为了实现可持续和绿色的边缘人工智能，我们需要在DNA推理中实现极高的能效。

在边缘的能效问题

DNA推理是当今边缘设备中最重要的要求之一。尽管深度神经网络（DNN）在许多应用中频繁地达到甚至超过人类的准确性水平，但也面临着高计算复杂性和高能量消耗等挑战。另外，边缘设备的计算能力、存储和电池寿命都非常有限。因此，为了实现可持续和绿色的边缘人工智能，我们需要极高的能效在DNA推理中进行近似计算。

DNA推理中的能效

DNA推理算法用于执行各种视觉分析应用，例如人脸识别、物体检测和图像分割。这些算法通常具有容错性，并且能够处理噪声输入。深度神经网络的容错性来自于信息冗余和自我修复能力。此外，近似计算是一种通过利用应用程序的容错性来提供能效优势的技术。

编写一种近似推理系统

我们的主要贡献是提出了一种近似推理系统，用于在边缘设备上实现能效高的推理计算。我们在不同的子系统中引入了近似计算，并设计了两个独立的变体。通过实验，我们发现该近似推理系统可以节省高达4倍的能量。

我们的主要贡献

在本研究中，我们首次提出了一种能效更高的近似推理系统，名为Axis。我们在不同的子系统中引入了近似计算，并设计了两个独立的变体：Cam Edge和Cam Cloud。我们还开发了一个原型系统，并对分类、检测和分割等不同类型的应用进行了实验。实验结果显示，我们的近似推理系统可以节省高达4倍的能量。

板上实验和结果

我们在Intel FPGA板上实现了实验原型。该原型具有一个500万像素的传感器、1GB DDR DRAM、Nias软件处理器核以及通信模块。我们评估了14个不同的深度神经网络，并进行了性能测试。实验结果表明，我们的近似推理系统能够提供高达4倍的能耗节约。

与单个近似方法的比较

与其他单个子系统的近似方法相比，我们的近似推理系统（Axis）在能效方面表现最佳。通过合理调节每个子系统的近似程度，并进行质量能量敏感性分析，我们选择了具有最大能效质量梯度的近似配置。

AI近似技术的现状

在AI硬件和软件设计中，近似技术的应用可以提高深度神经网络的性能、降低延迟并提高能效。量化是一种常用的硬件-软件联合近似技术，用于减小DNN模型的大小。此外，内存方面也有不同类型的近似技术，例如SRAM的电压缩放和DRAM的刷新率降低。

在英特尔的能效研究

在英特尔AI的先进架构研究小组，我们致力于通过近似技术实现能效更高的人工智能。我们当前的研究重点是探索不同近似技术对DNN性能的影响，例如量化。通过在AI硬件和软件设计中应用近似技术，我们实现了红外速度的提升、延迟的降低，以及AI硬件能效的增加。这有助于实现英特尔将低功耗、智能和AI就绪的客户系统带给大众的使命。

结论

本文介绍了边缘深度学习和能效优化的关键问题。我们提出了一种近似推理系统（Axis）来实现在边缘设备上的能效高的推理计算。通过实验结果，我们证明了Axis系统的有效性和能效优势。我们希望这种能效优化的AI技术能够帮助推动可持续且智能的边缘系统的发展，实现人人都能受益于人工智能的愿景。

参考文献：

1. Braha, Anna. "Enabling sustainable AI using energy-efficient intelligence system." Intel AI Research, Client Computing Group, Intel.
2. Ragnathan, Vijay. "Energy efficiency in DNA inference." SRC Research Scholar, Purdue University.
3. Seabreak, Inc. "Sustainable AI: Powering the edge with efficient intelligence." SeaBreak.com.

FAQ

1. Axis系统与其他近似推理方法相比有什么优势？ Axis系统在能效方面表现最佳，通过优化各个子系统的近似程度，实现了最高的能耗节约。

2. Axis系统的原型实验中使用了哪些深度神经网络？ 我们在实验中评估了14个不同的深度神经网络，包括分类、检测和分割等各种类型的应用。

3. 近似推理系统如何提高AI硬件的能效？ 近似推理系统通过在计算和内存等子系统中引入近似计算和优化，降低了DNN模型的计算复杂性，从而提高了AI硬件的能效。

4. 近似推理技术在哪些领域有应用潜力？ 近似推理技术在各个领域都有应用潜力，特别是对于边缘设备和终端用户设备上的人工智能应用，能够提供更高的能效和更好的性能。

5. 近似推理技术对模型的准确性有何影响？ 近似推理技术会降低模型的准确性，但可以在一定范围内进行调节，以在准确性和能效之间取得最佳平衡。

6. Axis系统如何实现对各个子系统的优化？ Axis系统通过调节各个子系统的近似程度，并进行质量能量敏感性分析，选择能效质量最优的近似配置。

7. 近似推理技术如何促进人工智能的普及？ 近似推理技术可以提高边缘设备的能效，降低能耗，并使人工智能技术更加普及和可持续。这将使得每个人都能够受益于人工智能，真正改变世界。

8. 近似推理技术如何在DNA推理中发挥作用？ 近似推理技术通过减小计算复杂度、优化内存使用以及引入容错机制等方式，提高了DNA推理的能效和性能。

9. Axis系统能否应用于其他领域或应用场景？ 是的，Axis系统的优化思想和方法可以应用于其他领域或应用场景，特别是那些对能效和性能要求较高的边缘计算应用。

10. 近似推理技术如何改善边缘设备的能效？ 近似推理技术通过在边缘设备的不同子系统中引入近似计算和优化，减小深度神经网络模型的计算复杂度，降低能耗，从而提高设备的能效。