机器学习有两个基本阶段：训练和推理。人工神经网路旨在模仿大脑的运作方式，首先要读取大量的已知资料——例如狗和猫的图片——这样才能学会识别每个物体的样子以及它们的不同之处；然后经过训练的神经网路或模型就可以开始工作，根据所学到的知识推断呈现在面前的新资料是什么事物，例如判别影像中的是狗还是猫。
　　目前大多数训练都是在资料中心进行的，但也有少数是在边缘端进行。像Google、Facebook、Amazon、Apple和Microsoft这样的大公司都拥有大量消费者资料，因此可以为他们的「伺服器农场」提供足够多的资料进行工业规模的AI训练，以改善其演算法。训练阶段需要速度非常高的处理器，例如绘图处理器(GPU)或Google开发的张量处理器(TPU)。
　　当边缘装置收集到资料——例如建筑物或人脸的照片——并传送到推理引擎进行分类时，推理就会发生。以云端为基础的AI因为固有的延迟缺点，对许多应用来说是不可接受的；例如自动驾驶车需要对看到的物体做出即时决策，这以云端AI架构就不可能实现。
　　随着AI功能逐渐向边缘端发展，它们将推动更多的AI应用，而且这些应用会越来越需要更强大的分析能力和智慧，好让系统在本地即可做出运作决策，无论是部分还是完全自主的，就像自动驾驶车辆所配备的功能。
　　传统CPU不是很擅长这类任务，而高阶GPU则是功耗大、价格昂贵；边缘端推理需要更便宜、功率更低的晶片，可快速透过神经网路识别一种动物、一张脸，锁定一个肿瘤，或将德语翻译成英语。如今有超过30家公司正在研发AI专用的硬体，以提高在智慧型手机、平板电脑和其他边缘装置中完成这类特殊运算任务的效率。
　　分析师们预测，从2017~2021年，全球AI晶片市场将取得高达54%的年复合成长率(CAGR)，其关键成长动力在于能满足机器学习要求的强大硬体。
　　消除记忆体瓶颈
　　所有AI处理器都仰赖于资料集，也就是「学习过的」物件种类(如影像、声音等等)模型，用以执行识别功能；每个物件的识别和分类都需要多次存取记忆体，而当今工程师面临的最大挑战就是如何克服现有架构中的记忆体存取速度和功耗瓶颈，以实现更快的资料存取，同时降低资料存取消耗的能源成本。
　　透过在尽可能接近AI处理器核心的位置储存训练资料，可获得最快存取速度和最大能效；但是目前的设计所采用之储存架构，都是几年前还没有其他实用解决方案时打造的，仍然是速度快但小容量的嵌入式SRAM与大容量但速度较慢的外部DRAM之传统组合。当训练模型以这种方式储存，嵌入式SRAM、外部DRAM和神经网路之间频繁且大规模的资料交换会增加功耗及传输延迟；此外，SRAM和DRAM都是挥发性记忆体，限制了在待机状态的省电效果。
　　利用高密度、高速和低功耗的非挥发性记忆体将整个训练模型直接储存在AI处理器晶片上，就可以实现更高的能效和速度。透过实现以记忆体为中心的新架构(如图1)，整个训练模型或知识库就可以放在晶片上，直接与神经网路连结，这样就有实现大规模节能与性能提升的潜力，并因此能大幅延长电池寿命并提供更好的用户体验。现在已经有几种新一代记忆体技术正竞相实现此一目标。
　　　ReRAM的潜力
　　针对AI应用的理想非易失性嵌入式记忆体应该具备如下特点：容易制造、容易整合到成熟的CMOS后段制程、容易微缩到先进制程节点、可大量供应，并且能够满足各种应用对功耗和速度的要求。
　　在制程微缩方面，电阻式记忆体(ReRAM)会比磁性记忆体(MRAM)或相变化记忆体(PCM)更具优势，这在考量14奈米、12奈米甚至是7奈米晶圆制程时是一个重要因素；其他记忆体技术都需要比ReRAM更复杂和昂贵的制程，运作功耗也更高。
　　　举例来说，美国业者Crossbar的ReRAM所采用之奈米丝(nanofilament)技术，可以在不影响性能的情况下微缩到10奈米以下。ReRAM以简单的元件结构为基础，采用适合CMOS制程的材料和标准生产流程，可以在现有的CMOS晶圆厂生产；因为是一种低温、后段制程整合的方案，可以在CMOS逻辑晶圆上整合多层ReRAM阵列，以构建3D ReRAM储存架构。
　　AI需要最佳的每瓦性能，尤其对于小功率的边缘装置；ReRAM的能效可达到DRAM的五倍——达到每奈焦(nanojoule) 1,000位元的读取—同时表现出比DRAM更好的整体读取性能，高达12.8GB/s，随机延迟小于20ns。
　　以记忆体为中心的架构
　　科学家们一直在探索各种新颖的大脑启发典范，试图透过模仿中枢神经系统的神经元和突触(synapses)之交互作用来实现更高的能效。以ReRAM技术为基础的人工神经突触是一种非常有前途的方法，可用于在神经形态结构中实现这些高密度且能终极微缩的突触阵列。藉由在边缘端启动AI，ReRAM有可能在现有和全新的AI解决方案中扮演重要角色。