对于目前的深度学习AI芯片来说，需要大大简化网络模型、缩减存储量（如不用DRAM）、缩小算法规模，同时又要保持足够的精度，才有这样的可能性。最近几年涌现出了很多深度学习AI芯片的新算法或新的电路和器件，降低功耗都是它们最主要的目的之一。
从电路级运行来说，一次NAND门电路运算大概消耗0.2fJ（即0.2×10-15 J）。现在的问题是如何把每次MAC运算的能耗成本降低到飞焦（fJ）级别，如果能够实现，这样的AI芯片将会在物联网环境或边缘侧得到普遍应用。要达到这样的目标，存内计算、模拟计算、可逆计算等都可能是有力的手段。同时，与深度学习AI芯片相比，基于神经形态的类脑芯片比较容易达到超低功耗的目标，因为这类芯片是在时间触发和事件触发模式下运行的，本质上就具备低功耗的特性。
另外，神经网络的一大优势就是面对随机噪声时具有非常强的纠错弹性和容错性。在超低功耗下工作时，电路容易出错；而能量采集技术还没有达到很高的稳定性。这时，神经网络本身的纠错和容错优势可以发挥作用。迄今为止，能量采集和转换的效率还非常低，这方面还需要大力改进。例如，太阳能板、整流器、天线、超级电容器等领域都在不断创新和改善性能，未来很可能会出现新的技术突破。
像EPIC这样的自供电智能传感AI芯片，在未来可能将变得极为重要。人们可以像撒纸屑一样，向空中扔一些灰尘大小的廉价AI芯片，让它们分布到人们关心的环境中。它们将创造一个以前所未有的方式智能地进行交互的世界。而只有当器件可以在无人值守、不用电池的情况下使用数年至数十年时，此类应用才能体现效果。
蓝牙5已经准备丢弃电池，“拥抱”自供电。据预测，到2023年，全球将有超过300亿个支持蓝牙的设备，其中以IoT应用为目标的百分比将不断增长。“无电池”将对成本和维护产生重大影响。AI已经大量用于IoT（常称为AIoT）。蓝牙系统的增长和发展必定与AIoT的增长和发展息息相关，未来的蓝牙5也代表了AIoT的发展趋势。
AIoT中使用的AI芯片常采用RISC-V架构。RISC-V是一种开放式指令集架构（Instruction Set Architecture，ISA），它的商业化填补了计算机产业的长期空白。它不仅打破了ARM和英特尔现有的ISA双寡头垄断格局，还允许用户掌控自己的低功耗芯片开发进程，推动创新。初创公司GreenWaves的GAP8是业界首款支持物联网应用的电池供电AI超低功耗处理器，基于RISC-V架构。它具有9个内核，能够以数十毫瓦的功耗量级维持10GOPS的性能。这款频率为250 MHz的处理器旨在为边缘侧计算和物联网加速CNN的运行。
云端和边缘侧之间的关系。对一个超低功耗系统来说，接入云计算不可能带来好处，连续传输信号会消耗大量能量。达到超低功耗的唯一希望就是脱离云端，并将本地计算所消耗的能量降低到一定程度，从而靠采集能量就可以提供足够的能量来运行各种应用。如果把边缘侧AI设备全部做成无电池的自供电设备，将可能减轻数十亿个AI设备的负担，极大地扩展AI潜在的应用范围，使其得到大范围的普及，从而将“触手可及的AI”这一愿景变为现实。
