Uploads%2farticles%2f11718%2f22
|
2017-08-03

Google 联合 MIT 开发新图像算法,从此手机拍照不用修图

新算法可以绕开手机性能和续航的制约,自动处理图像。

用手机拍出一张优质的照片,不仅需要好的手机摄像头,软件算法对图像的优化同样至关重要。近期,搜索巨头 Google 联合 MIT 的科学家开发出了一种新的软件算法,它能让手机像专业摄影师那样自动处理图片,并且,这项算法更加节能,处理速度也更快,在用手机拍摄时可实时显示修饰的图像。

研究人员用机器学习的方式创建该软件,在由 MIT 和 Adobe 创建的拥有 5000 张图片的数据库中进行神经网络训练。数据库中每一幅图片都被五名摄影师修饰过,该系统可以利用这些修饰数据学习如何对图片参数进行调整和修改,比如亮度调节、饱和度调节等。

这项新的系统还可以加速现有的图像处理算法。谷歌在测试一种用于产生 HDR 图像的算法时,就利用该系统实时地捕捉到了标准数码图片丢失的细微颜色信息。

该软件建立于 MIT 一个早期研究项目之上 —— 手机向服务器发送图像的低分辨率版本,然后服务器会回传一个「转换方法」,在手机本地完成图像高分辨率转换,从而减少带宽的消耗。

MIT 电气工程和计算机科学研究生 Michaël Gharbi 说:「Google 在了解我所做的项目后,他们自己也做了部分后续工作,所以我们和 Google 就开始了合作。目前,我们最新的算法跟之前项目有很多相似的地方,只不过这次不用传送到云端处理,而是让手机去学习如何修饰图片。」

Michaël Gharbi 强调,算法进行机器学习最重要的一点,就是提高它的速度和效率。

原始图像(左)和经过新算法处理后图像(右)的对比

为了节省时间和能耗,大部分的图像处理任务是在低分辨率的图像上进行的,这就引入了新的困难,因为必需要从低像素图像中获取高分辨率图像像素点的颜色信息。

Michaël Gharbi 和他的 MIT 同事用两种方法解决了这个问题。

第一,让机器学习系统输出一组用于修改图像像素颜色的简单公式,而不是单纯的图像,系统可根据输出的公式来决定图像修饰的结果。

第二,为了将这些公式应用于高分辨率图像,系统会输出 16 * 16 * 8 的三维网格。网格 16 * 16 的一面对应的是原图像的像素位置,堆叠在其顶部的八层则对应不同的像素强度,而网格中的每个单元格包含了确定原图像颜色的修改公式。

换句话说,网格 16 * 16 的一面有许多单元,每一个单元代表高清图片的几千个像素,假设每一组公式对应单元中央的一个位置,那么方块内每一个高清像素都是由四组公式决定的。

在对最终的结果进行比较后,研究人员发现,该系统处理图像所花的时间是 MIT 原始算法的十分之一,是全分辨率 HDR 图像处理系统的百分之一。

「这项技术在移动平台上的图像处理有着非常广阔的应用前景,」Google 的研究员 Jon Barron 说,「用机器学习的方法处理计算机图像方面的问题是很令人兴奋的一件事,但也受到了移动设备计算性能和续航上的限制。我们研究的算法则提供了一种避开这些问题的方式,从而提供令人瞩目的、流畅的、实时的摄影体验。」

值得一提的是,该系统有可能会应用在未来的 Google Pixel 中。Google 之前已经使用了 HDR+ 算法,从 Nexus 6 开始,就能够在移动设备上表现出更多的图像细节信息。不过,Google 的「计算机摄影学」主管 Marc Levoy 则说:「我们做的只是一些『皮毛』工作而已。」

>>
Back to top btn