来源:论智2017-11-10 12:30:00 热度:

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

AI中国网 https: //www.cnaiplus.com

编者按:谷歌街景是十年前由谷歌地图推出的一项特色服务,它利用专用街景车进行拍摄,把360度实景拍摄照片放在谷歌地图里,实现了真实世界的全景再现,让用户可以足不出户看天下。发展至今,虽然谷歌街景曾因暴露个人隐私屡遭质疑,国内腾讯地图、百度地图、高德地图等也纷纷推出街景服务参与竞争,但它在技术上的地位依旧无人可撼动。昨日,谷歌官方在博客中介绍了基于光流的一种新算法,可缓解街景车摄像机带来的视差,让这个虚拟世界进一步实现无缝连接。

以下是论智的编译内容:

在2007年,谷歌推出谷歌街景,通过在电脑浏览器中探索街区布局、标志性建筑、博物馆和更多城市全景,用户足不出户就可游遍全球。然而,全景生成是一个非常复杂的过程,需要多台街景车捕捉图像,之后再利用图像混合技术进行拼接,这就带来了一个无法忽视的问题——如何缓解相邻相机间由位置不同造成的视差。它主要体现在两方面,一是角度偏差,二是拼接错位。虽然谷歌曾用近似场景和几何校正反复调整相机,但在图像重叠位置,接缝依然很明显。

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

左:谷歌街景车;中:街景车顶部蔷薇结上的15台相机;右:深色部分即相邻相机照片的拼接部分

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

左:悉尼歌剧院贝壳形建筑接缝;右:新算法下修复的街景

为了提供更顺畅的街景图片,近日,谷歌基于光流开发了一种新算法,能有效解决这些问题。这种算法的中心思路是巧妙翘曲每个输入图像,并让它们根据重叠区域连接在一起。这项工作需要细致的操作,避免引入其他类型的视觉假象,同时,它对不同场景的几何分布、光线条件、校准治疗等诸多条件有较高要求。为了简化排列图像的任务和满足计算需求,谷歌把整个过程分为两步。

光流

首先,谷歌需要找到每队图像重叠区域的像素位置,利用PhotoScan和相应技术,工作人员可以计算出两图之间的光流。这提供了一个光滑而又密集的对应字段。之后,他们列出采样计算效率的对应关系。据了解,即便样本中没有足够的视觉结构,光流产生的结果依然振奋人心。

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

相机捕获的一对需要被拼接起来的图片

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

重叠区域光流示意图

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

彩色点是算法在两图重叠位置找到的对应点

全局优化

第二步是翘曲图像,同时调整所有重叠区中的对应点。当图片进行拼接时,重叠区图像先扭曲,再对齐,这是十分具有挑战性的,因为重叠区只占整张图片的一小部分,这种扭曲极易出现欠约束的问题。为了使整个图像更流畅,谷歌针对空间扭曲制作了一个流场。

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

全景图和特写图中的优化拼接过程

这种方法有些类似Shum & Szeliski提出的“去鬼影”做法,两者的主要区别在于谷歌街景的对应关系更光滑、密集,同时他们对重叠部分采取的做法是翘曲而不是线性优化。这些改进是有意义的,结果证明,谷歌的新算法优化效果更好,且不易出现新的视觉假象。

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

左:未修复特写;中:由于重叠区较小,“去鬼影”无法修复不连续性,反而出现了新的视觉假象;右:谷歌全局优化效果

这一点很重要,因为这个算法面向的是数以十亿计的各地街景图像,在下面的例子中,谷歌介绍了新算法的具体效果。

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

伦敦塔桥

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

里约热内卢基督像

【原创】用新算法弥补视差,谷歌街景实现无缝拼接

西雅图街头的一辆SUV

目前,该算法已被添加到谷歌街景中,有条件访问的读者可以前去体验新版无缝街景。

机器人网原创文章,未经授权禁止转载。详情见转载须知

AI中国网 https: //www.cnaiplus.com

本文网址:

欢迎关注微信公众号:人工智能报;合作及投稿请联系:editor@cnaiplus.com

AI中国号...

关注微信公众号,了解最新精彩内容