一组由 MIT、微软和 Adobe 组成的图像、声学算法学家等开发出了一种新的算法,能够通过静音视频中的物品微小的振动幅度,提取复原出当时场景中的声音!
该团队已经测试了该技术:测试者在房间内对话,房间内放置一个薯片袋;房间外一台摄像机隔着隔音玻璃对着这个薯片袋进行拍摄。研究人员从这段完全无声的视频中复原出了测试者在房间内的对话!
其他测试对象还包括铝箔、水面,甚至一盆植物的叶子……团队都能够通过算法,从这些视频中的材质表面微震中提取出有效的音频素材。该团队将会在今年的国际顶级计算机图像峰会 Siggraph 大会上呈现研究成果。
声波接触到物品的时候,会导致物品发生振动——即便是最微小的振动。这种振动人眼几乎识别不了,人们不知道从这种振动中能够提取出信息。
Abe Davis, 机电工程和计算机科学研究生,MIT
团队成员还包括 Frédo Durand、Bill Freeman,两位 MIT 的计算机科学教授;Neal Wadhwa,MIT 的另一名研究生;Michael Rubinstein 博士,来自微软研究院;Gaytham Mysore,来自 Adobe 研究院。
不过,大家别太担心普通的摄像头拍下的视频能够被用于提取音频信号。该研究团队使用了能够拍摄每秒 2000 到 6000 帧素材的高速摄像机——已经非常快,但并没有目前世界顶尖的商业级高速摄像机快,后者能够拍摄高达 10 万帧每秒的视频。
但这并不意味着普通的摄像机达到不了效果。该团队解释,使用 60 帧每秒的摄像机拍摄的素材,通过算法仍然能够提取出「一些」音频信号,虽然可能完全听不清说的是什么,不过能够判别出讲话者的个数、讲话者的性别,甚至讲话者的声学特性——用以判断讲话者的身份。
研究团队对着一个正在播放摇滚乐的耳机进行拍摄,通过算法重现出一个音频文件,然后播放给猜歌软件 Shazam。后者完美地识别出了最一开始播放的这首歌……