微型机器学习:下一次人工智能革命
发布时间:2020-11-06 12:17

NASA开创的电子产品小型化已经成为整个消费品行业。现在我们把贝多芬全集带上衣领,用耳机听。——天体物理学家、科学评论员尼尔德格拉斯泰森[.]超低功耗嵌入式设备的普及,以及面向微控制器的张量流Lite等嵌入式机器学习框架的引入,将使人工智能驱动的物联网设备大规模传播。——哈佛大学副教授维贾伊贾纳帕雷迪
  微机器学习:下一次人工智能革命中的嵌入式设备
  这是关于微型机器学习系列的第一篇文章。本文旨在介绍微机器学习的概念及其未来的发展潜力。本系列的后续文章将深入讨论具体的应用程序、实现和教程。
  简介
  在过去的十年里,由于处理器速度的提高和大数据的出现,我们目睹了机器学习算法规模的翻倍。最初,该模型足够小,可以使用中央处理器中的一个或多个内核在本地机器上运行。
  不久之后,用GPU进行计算成为处理大数据集的必要条件,并且由于引入了基于云的服务,比如SaaS平台(比如Google  Colaboratory)和IaaS(比如Amazon  EC2 Instances),使得实现变得更加容易。此时,该算法仍然可以在单台机器上运行。
  最近我们看到了专用集成电路(ASIC)和张量处理单元(TPU)的发展,可以封装8个GPU左右的功率。这些设备增强了在多个系统中进行分布式学习的能力,以尝试构建越来越大的模型。
  最近,随着GPT-3算法(2020年5月发布)的发布,这种情况达到了顶峰,它拥有惊人的网络架构,包含1750亿个神经元——是人脑神经元数量(约850亿)的两倍。这是图灵-LG中神经元数量的10倍多,图灵-LG是有史以来第二大神经网络(发布于2020年2月,包含约175亿个参数)。这个模型的培训费用估计在1000万美元左右,用电量在3GWh左右(大概是三个核电站一个小时的发电量)。
  虽然GPT-3和图灵-LG的成就值得称道,但也自然导致了业内部分人士对人工智能行业碳足迹不断增加的批评。然而,它也有助于激发人工智能对更节能计算的兴趣。这些想法,如更有效的算法、数据表示和计算,几年来一直是一个看似无关的领域的焦点:微机器学习。TinyML是介于机器学习和嵌入式物联网(IoT)设备之间的交叉学科领域。这个领域是一个新的工程学科,可能会给很多行业带来革命性的变化。
  tinyML的主要行业受益者是边缘计算和节能计算。TinyML起源于物联网(IoT)的概念。物联网的传统概念是将数据从本地设备发送到云端进行处理。有人对这个概念提出了一些担忧,包括隐私、延迟、存储、能效等等。
  能效。传输数据(有线或无线)非常耗能,比机载计算(具体来说就是产品单元)多一个数量级左右。开发一个可以自己处理数据的物联网系统是最节能的方法。人工智能先驱们讨论这种“以数据为中心”的计算概念已经有一段时间了(与云模型的“以计算为中心”相比),现在我们开始看到它的应用。
  隐私。数据传输可能会侵犯隐私。这些数据可能会被恶意行为者截获,当数据存储在一个位置(如云)时,它本来就不太安全。这可以通过将数据主要保存在设备上并最大限度地减少通信来提高安全性和隐私性。
  储物。对于很多物联网设备来说,他们获得的数据毫无价值。想象一下,一台监控摄像机24小时记录着一栋建筑的入口。在一天的大部分时间里,摄像机记录的视频是没有用的,因为什么都没有发生。通过拥有更智能的系统,它只会在必要时被激活,这需要更低的存储容量,并减少了传输到云所需的数据量。
  延迟。对于标准的物联网设备,比如亚马逊Alexa,这些设备将数据传输到云端进行处理,然后根据算法的输出返回响应。从这个意义上来说,设备只是一个方便的云模型的网关,就像是自己和亚马逊服务器之间的信鸽。这个设备蠢到完全靠网速产生效果。如果你网速慢了,亚马逊的Alexa也会变慢。对于具有板载自动语音识别功能的智能物联网设备,由于减少(甚至不减少)对外部通信的依赖,延迟将会减少
  这些问题导致了边缘计算的发展,即在边缘设备(位于云的“边缘”的设备)上执行处理活动的想法。这些设备在内存、计算和功耗方面受到高度限制,这导致了更高效的算法、数据结构和计算方法的发展。
  这种改进也适用于更大的模型,这可以将机器学习模型的效率提高一个数量级,而不影响模型的准确性。比如微软开发的盆景算法可以小到2 KB,但性能甚至比典型的40 MB  kNN算法或者4 MB神经网络还要好。这个结果听起来可能并不重要,但是在一个只有1/10000大小的模型上,同样的精确度是相当惊人的。这么小的模型可以在Arduino  Uno上运行,Arduino  Uno的可用内存是2 KB。简而言之,你现在可以在一个5美元的微控制器上建立这样一个机器学习模型。我们正处于一个有趣的十字路口,机器学习正在两种计算范式之间分叉:以计算为中心的计算和以数据为中心的计算。在以计算为中心的范例中,数据由数据中心实例存储和分析,而在以数据为中心的范例中,处理在本地完成。虽然我们似乎正在迅速走向以计算为中心的范式的上限,但以数据为中心的范式的工作才刚刚开始。
  在现代世界,物联网设备和嵌入式机器学习模型越来越普遍(预计到2020年底,活跃设备将超过200亿)。他们中的许多人可能根本没有被注意到。智能门铃,智能恒温器,说两句话就能醒的智能手机,甚至只是拿起手机。本文的其余部分将更加关注tinyML的工作原理及其当前和未来的应用。