声音和振动识别增强了基于上下文的感知计算

　　据外媒报道，卡耐基梅隆大学的研究人员开发出一种方法，通过分析麦克风的声音，使智能设备能够找出它们的位置以及人们在周围做的事情。

　　如果智能设备不了解它们的位置或周围的人正在做什么，它们看起来就会显得愚蠢。卡内基梅隆大学的研究人员表示，通过分析声音和振动的补充方法可以增强这方面的意识。

　　CMU人机交互研究所(HCII)的助理教授Chris Harrison说：“放置在厨房台面上的智能扬声器无法弄清楚它是否在厨房里，更不用说知道一个人在厨房里做了什么。” “但如果这些设备能够理解周围发生的事情，那么它们可能会更有帮助。”

　　Harrison和Future Interfaces Group的同事于15日在柏林计算机协会用户界面软件和技术研讨会上报告这个问题的两种方法 - 一种使用最普遍的传感器即麦克风，另一种采用现代传感器，即是20世纪50年代克格勃使用的日常版窃听技术。

　　在第一种情况下，研究人员试图开发一种基于声音的活动识别系统，称为Ubicoustics。该系统将使用智能扬声器、智能手机和智能手表中的现有麦克风，使他们能够识别与地点相关的声音，如卧室、厨房、工作室或入口和办公室。

　　卡耐基梅隆大学的研究人员正在使用激光振动测量法 - 一种类似于曾被KGB用于窃听的方法 - 监测物体的振动和运动，使智能设备能够意识到人类的活动。

　　“这里的主要想法是利用娱乐业中常用的专业音效库，”HCII的学生Gierad Laput博士说，“它们干净，标签清晰，分割良好且多样化。此外，我们可以将它们转换并投影到数百种不同的变体中，创建大量数据，非常适合培训深度学习模型。

　　“这个系统可以作为软件更新部署到现有设备并立即工作，”他补充说。

　　即插即用系统可以在任何环境中工作。例如，当有人敲击前门时它可以提醒用户，或者当检测到活动时，可以移动到食谱中的下一步，例如运行搅拌器或切碎。

　　研究人员包括HCII的学生Karan Ahuja博士和软件研究所的助理教授Mayank Goel开始使用现有的声音标签模型，并使用专业图书馆的声音效果进行调整，如厨房电器、电动工具、吹风机和键盘以及其他特定于上下文的声音。然后，他们合成地改变了声音，创造了数百种变化。

　　Laput博士表示，识别声音并将其置于正确的环境中是一项挑战，部分原因是因为经常出现多种声音并且可能相互干扰。在他们的测试中，Ubicoustics的准确度大约为80%，与人类的准确性相比具有竞争力，但还不足以支持用户应用程序。更好的麦克风、更高的采样率和不同的模型架构都可以通过进一步的研究提高准确性。

　　在另一篇论文中，HCII博士学生杨章、Laput and Harrison，描述了他们所谓的Vibrosight，它可以使用激光振动测量法检测房间特定位置的振动。它类似于KGB曾用于检测窗户等反光表面上的振动的基于光的设备，允许他们收听产生振动的对话。

　　“关于振动的一个很酷的事情是，它是大多数人类活动的副产品，”杨章说。在跑步机上跑步，敲击锤子或在键盘上打字都会产生可在远处探测到的振动。“另一个很酷的事情是振动局限于表面，”他补充道。与麦克风不同，一项活动的振动不会干扰另一种活动的振动。与麦克风和摄像头不同，监控特定位置的振动会使这种技术变得谨慎并保护隐私。

　　这种方法确实需要一个特殊的传感器，一个低功率激光器和一个电动的可操纵镜子。研究人员以约80美元的价格建造了他们的实验设备。反光标签 - 用于使自行车和行人在夜间更加可见的相同材料 - 应用于要监控的物体。另外，传感器可以安装在房间的角落，可以监控多个物体的振动。

　　杨章表示，传感器可以检测设备是否开启或关闭，准确度达到98%，并根据物体的振动曲线确定设备的准确率为92%。它还可以检测移动，例如当有人坐在其中时椅子的移动，并且它知道某人何时阻挡了传感器的标签视图，例如当有人使用水槽或洗眼器时。

注：本文为a&s编辑部编译自外网。