打造开放 AI 生态!星纪魅族与阿里云举行全面合作签约仪式
干掉缓冲,MIT 新 AI 算法让高清视频和 VR 视频流畅播放
以后看小电影不再缓冲。
观看视频时突然的卡顿和缓冲估计能逼死一批强迫症患者,现在这样的现象有可能会被 MIT CSAIL(计算机科学与人工智能实验室)的研究人员们通过最新的人工智能算法改变。
通常情况下,用户在线观看视频时,视频并不是一次性传送到用户计算机上的,这样会占用太多的带宽,所以,视频会被切割成若干个小段依次传送。
不过,为了保证视频传输的质量,主流的视频网站会采用 ABR 编码算法,然后再根据网络状况来决定视频将以怎样的分辨率来播放,并且设置足够长的缓冲区。
但 ABR 编码算法也存在着不少的问题。如果网络传输速率太低,系统会降低视频分辨率以保证流畅播放,这样难免会造成图像模糊或者出现马赛克等现象。另外,如果用户在拖动进度条时跨度太大,超出了系统预先设置好的缓冲区,视频就会在系统重新加载完之前卡住,常在网上追剧的人对这点应该深有体会。上述两种状况对于大部分用户来说都是难以接受的。
此前,卡内基梅隆大学曾经对此问题做过研究,他们开发过一个「模型预测(MPC)」系统,用于预测网络状态的变化和时间的关系,并依据预测结果进行优化。但该模型无法适用于流量和网络状态突然改变的情景。
MIT CSAIL 最新研发出的,被称为「Pensieve」的方法改进了现有的算法,它能够根据用户的网络状况来使用不同的视频播放方式,以实现视频的流畅播放。
具体来讲,Pensieve 不依赖于单一的模型或者算法,而是通过机器学习的方式来确定选择播基于 ABR 的放缓存内容,还是依赖网络传输速率实时播放。
研究人员经过长期的训练和试验发现,采用新 AI 算法后,视频减少了 10% 到 30% 的缓冲量,同时图像质量增加了 10% 到 25%,对于用户使用体验的提高相当明显。
MIT 的研究员在一份声明中表示,在一个月内,通过下载的视频训练神经网络,Pensieve 就能实现和 MPC 一样的分辨率质量,同时缓冲量减少 10% 到 30%。
除了将 Pensieve 用于 YouTube 这样的视频网站,MIT 的研究员认为,该技术在 VR 领域会有更加广阔的应用空间。相对于普通视频的传输,VR 视频对带宽的要求更加严苛。
除了前期录制、转码,要使 VR 视频稳定不受损,还要考虑传输速率,是否能在播放时实时搭配相应的网速。
MIT 的研究员表示:「4K 质量的虚拟现实视频至少需要每秒数百兆比特的传输速率,而目前大部分的网络速度根本无法支持,但是像 Pensieve 这样的系统可以在 VR 视频传输上有所作为,并且我相信它还会有更加广阔的应用空间,而不局限于网络视频或者 VR。」
现在,该团队正在为下周在洛杉矶举办的 SIGCOMM(美国计算机协会通信组专业会议)做准备。他们需要更多的数据对 Pensieve 的模型进行训练,以实现更高质量的视频和更快的传输速率。不仅如此,MIT 的研究团队已经开始验证 Pensieve 在 VR 视频上应用的可行性。