首页科技快讯专为物联网而生的TinyML，正在开启音频分析的新蓝海

专为物联网而生的TinyML，正在开启音频分析的新蓝海

来源：晰数塔互联网快讯时间：2021年04月06日 11:22

编者按：本文来自微信公众号“物联网智库”（ID:iot101），作者：彭昭（物联网智库创始人&云和资本合伙人），36氪经授权发布。

在3月22到26日，TinyML基金会举办了2021 TinyML峰会，这是有史以来的第三届。

虽然本届峰会在云端举办，但同样声势浩大，而且无论是影响力还是参会者都可谓上了一个新台阶。诸多国际一线企业、业内独角兽初创公司和知名院校云集线上。

其中的代表性公司包括：ARM、高通、脸书、微软、三星、Greenwaves、SensiML、Silicon Labs、Syntiant、Qeexo、普林斯顿大学、密歇根大学、埃里克斯霍尔姆大学、麻省理工学院、斯坦福大学等。

在此前的文章中，我曾介绍过微型机器学习TinyML，也就是在终端和边缘侧的微处理器上实现的机器学习过程。更准确的说，TinyML是指工程师们在mW功率范围以下的设备上，实现机器学习的方法、工具和技术。

TinyML微型机器学习是机器学习和物联网设备的交集，它是一门新兴的工程学科，有可能在许多行业引发革命。

在这次峰会上，大家分享了TinyML的最新进展以及各种应用实例，值得关注的趋势包括：

用户对于隐私的关注推动了TinyML的发展

TinyML有可能将开启音频识别的新蓝海

最新发布的TinyML产品和工具

01 保护隐私成为TinyML发展的推动力

消费者对于隐私问题的担忧，成为TinyML发展的推动力，很多公司为了响应消费者需求，正在开发功耗更低、响应速度更快、隐私保护更佳的设备。

人工智能与设备的结合，经历了三个发展阶段：

第1阶段--云端能

在人工智能发展的初期，机器学习模型是在云端训练和托管的。运行AI所需的强大计算能力使云成为理想的选择。

开发人员和数据科学家利用高端CPU和GPU训练模型，然后托管它们以进行推理。每个消耗AI的应用程序都与云对话。该应用程序将与微控制器通信以管理传感器和执行器。

第二阶段--边缘智能

随着物联网的发展，越来越多的遍布于工业自动化、智能医疗、智能联网汽车中的场景，都要求人工智能模型能在本地运行。边缘侧成为在本地托管人工智能模型的理想选择。边缘智能可以有效避免云中运行相同AI所带来的延迟。

但是鉴于边缘资源有限，AI模型的训练仍然需要云。这种方法提供了两全其美的优势，既有用于训练的云端强大计算环境，又能兼顾用于推理的低延迟边缘托管环境。但是由于与云端进行协作，边缘智能仍旧无法解决消费者对于隐私性的担忧。

阶段3--微型人工智能

分布最广的物联网设备往往体积很小、电量有限。它们被作为终端硬件，通过嵌入式传感器采集各种数据；计算能力有限，对功耗极为敏感。某些情况下，将这类设备连接到边缘侧以便实现智能，在成本上并不划算，

直接在微处理器中嵌入人工智能，成为消费和工业物联网场景的关键。这种方法并不依赖于外部程序，也不依赖边缘和云端。这种方案能够提供最佳的实时响应，同时对隐私提供极大保护。

TinyML峰会上提供的微型机器学习的例子包括，智能家居场景中，带有传感器洗衣机和冰箱可以在电机损坏之前主动发送信号。洗衣机可以根据衣服的重量，精准的调节水位。

具备TinyML的可穿戴设备，可以脱离云端持续监测用户的睡眠水平、心率体征等健康数据。TinyML胰岛素泵可以在不必时刻保持网络连接的情况下，根据血糖水平自动释放胰岛素。这些不必时刻联网的设备，让数据处于私有状态，更加安全并保护隐私。

02 TinyML开启音频分析的新蓝海

过去我们极大的发展了机器视觉，现在我们正在赋予机器听觉。

和视觉信息一样，声音无处不在。语音启动的设备，在智能家居的应用中非常常见，最典型的比如智能音箱。

还有很多声音，比如机床震动的声音、车辆抛锚的声音、报警器鸣响的声音…这些声音不同于语音，没有语言模型。

目前越来越多的物联网企业正在将分析的重点从视频转移到音频。比如在家居场景中，亚马逊推出了Guard这项在智能音箱中的功能，用来识别窗户破碎的声音并报警。在工业场景中，预测性维护已经取得了长足的发展，很多企业监测设备的振动和声音，用来主动发现故障，为客户节省数百万元的维护成本。

在TinyML峰会中，一家名为Audio Analytic的公司分享了关于音频分析的最新进展，并且认为TinyML即将开启音频分析的新蓝海。

他们已经建立了包含700种不同声音的配置文件，可以检测到从火车进站到婴儿啼哭，常见的和不常见的各种声音。

借助TinyML，Audio Analytic公司展示了基于ARM Cortex-M0+处理器检测声音的方案。应用场景包括墙壁上安装的小型传感器，可以检测玻璃破碎的声音；降噪耳机通过识别疾驰而来的汽车的声音，主动关闭降噪功能，以便让佩戴者及时作出反应。

根据峰会中的分析，声音检测可能在4个场景取得大发展：

第一个是安全场景：比如根据玻璃破碎或者烟雾报警器的声音，通知更多人员。

第二个是个人健康：比如检测婴儿的哭声、打鼾的声音，并且及时提醒。根据烹饪时发出的声音，自动调节房间的空气质量。

第三个是家庭娱乐：比如根据外部环境和回声，根据房间大小，自动调整娱乐系统的音效。

第四个是工业应用：比如根据风力发电机振动的声音，检测叶片的裂纹并给予预警。

03 TinyML产品与工具陆续发布

Nordic Semiconductor在其nRF52和nRF53系列低功耗蓝牙芯片中引入了TinyML，并且提供相应的开发套件，成为业界首个支持人工智能技术的蓝牙产品。

Nordic将这些支持TinyML技术的蓝牙SoC应用于濒临灭绝的动物保护，野生大象佩戴了Nordic提供的蓝牙追踪项圈，帮助护林员防止非法狩猎盗取象牙的事件发生，取得了很好的效果。

SensiML联手Silicon Labs，为开发者快速研发支持TinyML的智能传感应用程序提供便利。

使用Silicon Labs提供的Thunderboard Sense 2物联网开发入门套件，配合使用SensiML提供的Analytics Toolkit AI/ ML开发软件，开发者能够快速创建运行于物联网终端设备的智能方案。

这些方案将特别适用于低功耗和能源敏感型应用，包括能源、水表和燃气表、楼宇自动化、警报及安防，和便携式医疗/健身器材。

在峰会上，Raspberry Pi联合创始人Eben Upton公布了“Pi Silicon”的未来路线，其内部专用集成电路ASIC团队正在进行下一次迭代，并且正专注于研发针对超低功耗机器学习TinyML应用程序的轻量级加速器。

同期，Eben Upton发布了三款“Pi Silicon”树莓派板，分别为SparkFun MicroMod RP2040、Arduino Nano RP2040 Connect和ArduCam Pico4ML。三款产品会将机器学习、摄像头、麦克风和屏幕集成到Pico软件包中。

尤其是售价仅为4美元的Pico4ML，提供对于TinyML的支持。比如在上图展示的样例中，Pico4ML可以同时检测到两张人脸，一个真人以及一个超级马里奥，Pico4ML以百分比值做出判断，在提供实时图像的同时，显示图像是真人的概率。

写在最后

划个重点。

第一，TinyML将为数以亿计的物联网终端设备带来“生命”，它将引发的变革不容小觑。

第二，消费者对于隐私问题的担忧，成为TinyML发展的推动力，很多公司为了响应消费者需求，正在开发功耗更低、响应速度更快、隐私保护更佳的设备。

第三，目前越来越多的物联网企业正在将分析的重点从视频转移到音频，TinyML可能即将开启音频分析的新蓝海。

专为物联网而生的TinyML，正在开启音频分析的新蓝海