给手机“减负”！Facebook发布提高设备AI工作能效的AutoScale

2020-05-14 11:57

3 款手机实验，3 次场景模拟

为了验证AutoScale的有效性，团队在三款智能手机上进行了实验，每款手机都用功率表测量其能耗，这三款手机分别是：小米Mi 8 Pro、三星Galaxy S10e和摩托罗拉Moto X Force。为了模拟云推理执行，他们将手机连接到服务器，通过Wi－Fi Direct将三星S6平板电脑连接到手机，模拟执行AI助手的口令。

AutoScale的推理方式主要分为五步：1．将DNN特征和环境信息等设置为输入源2．在查找表中选择合适的预测操作3．将AI工具分配到预测的位置4．记录AI工具的运行能效，评估各参数后给出R值5．将记录好的参数更新在查找表里，实现自适应性预测。

针对这三款手机，AutoScale准确选择出理想的执行目标

实验显示，在自动定量训练阶段，设备执行了100次推理训练，使用了64，000个训练样本，并编译或生成了10个AI模型，其中包括机器翻译工具MobileBERT和图像分类器Inception。团队分别在静态和动态设置情况下展开后续实验，针对每种设置情况模拟了三个不同的场景：

· non－streaming计算机视觉测试场景，允许AutoScale对手机摄像头拍摄照片功能进行推理；

· streaming计算机视觉场景，AutoScale可以对手机摄像头的实时拍摄视频功能进行推理；

· 调用翻译工具的场景，AutoScale能够对翻译AI工具的编译过程进行推理。

在现实环境模拟中，AutoScale准确预测了理想执行目标，并极大地提高了DNN边缘推理的能效。在以上三个场景中，AutoScale的表现都优于基线模型。AutoScale的网络延迟度较低，在non－streaming计算机视觉测试场景中的延迟时间甚至缩短到小于50毫秒，其在翻译场景中的延迟时间则小于100毫秒。它也同时在维持低延迟的条件下保持了高性能，比如在streaming计算机视觉场景中，它可以达到每秒处理约30帧画面的工作效率。

此外，AutoScale的预测准确率高达97．9％，在边缘推理方面的能效是基线模型所能做到的1．6～10．8倍。它占用的内存也较小，仅有0．4MB，相比之下，中端手机的内存容量为3GB，AutoScale仅需占用0．01％，可见其“性价比”之高。

Facebook和亚利桑那州立大学的研究人员乐观地表示：“我们证明了AutoScale是一个可行的、能够自动化推理出最低AI能耗的解决方案的模型，并将为在各种实际执行环境下进行DNN边缘推理的能效改进工作预先做好万全的准备。”