shopify analytics ecommerce
tracking
请选择 进入手机版 | 继续访问电脑版

加拿大新闻网

VANCOUVER
加拿大新闻网 首页 新闻 国际 查看内容

谷歌逆天夜视拍照突然火了!还能合成3D视角

加新网CACnews.ca| 2022-8-24 13:34 |来自: 新智元

64
谷歌一年前的论文突然火了!这个名叫RawNeRF的技术,不仅完美降噪,还能改变视角,调整焦点和曝光等等。难道,我们距离超强的夜景拍照相机不远了?最近,网上一段来自谷歌的AI夜景拍摄视频被刷爆了!



视频中的这个技术叫RawNeRF,顾名思义就是NeRF的一个全新变体。


NeRF是一种全连接神经网络,使用2D图像的信息作为训练数据,还原出3D场景。


RawNeRF比起之前的NeRF,有了多处改进。不仅能完美降噪,还能改变相机视角,调整焦点、曝光和色调映射。


谷歌的这篇论文于2021年11月发表,并被CVPR 2022收录。



项目地址:https://bmild.github.io/rawnerf/


黑夜中的RawNeRF


在此之前,NeRF是使用色调映射的低动态范围LDR图像作为输入。


而谷歌的RawNeRF改为直接在线性原始图像上进行训练,可以保留场景的完整动态范围。


在合成视图领域,处理黑暗的照片一直是一个难题。


因为在这种情况下,图像中的细节极少。而且这些图像让我们很难把新视图拼接到一起。



还好,我们有一个新的方案——使用原始传感器(RAW sensor data)的数据。


就是像这样的一张图,这样,我们就有了更多的细节。


不过,仍然存在一个问题:噪点也多了。



所以我们必须做个选择:是更少的细节和更少的噪点,还是选择更多的细节和更多的噪点。


好消息是:我们可以使用图像降噪技术。



可以看到,降噪之后的图像效果不错,但要合成视图,这种质量还是不够。


不过图像降噪技术给我们提供了一个思路:既然可以给单个图像去噪,那也可以给一组图像去噪。


让我们来看看RawNeRF的效果。



而且,它还有更多令人惊喜的功能:对基础数据进行色调映射,从深色图像中提取更多细节。



比如改变图像的焦点,营造出很棒的景深效果。



更厉害的是,这个还是实时的。



此外,图像的曝光也会随着焦点的变化而产生相应的变化!



接下来,就让我们看看RawNeRF的五个经典的应用场景吧。


五大经典场景


1. 图像清晰度


看这张图像,你能看到路牌上的信息吗?



可以看到,经过RawNeRF处理后,路牌上的信息就清晰多了。


在下面这个动图里,我们可以清晰地看到原始的NeRF技术和RawNeRF在图像合成上的区别。



其实,所谓的NeRF也并不是多古老的技术,时间才刚刚过了2年而已……


看得出来,RawNeRF在高光的处理上,表现得还是非常出色的,我们甚至能看到右下角车牌周围的高光变化。


2. 镜面高光


镜面高光属于非常难捕捉的对象,因为在移动相机时,它们会发生很大的变化,而且照片之间的相对距离也比较远。这些因素对于学习算法来说,都是巨大的挑战。


在下面这张图中可以看到,RawNeRF所生成的镜面高光可以说是相当还原了。



3. 薄的结构


即使在光线充足的情景中,以前的技术对于栅栏的显示效果也并不好。



而RawNeRF即使处理有一堆栅栏的夜间照片,也妥妥hold得住。


即使在栅栏与车牌重合的地方,效果依然很好。



4. 镜面反光


路面上的反光,是一种更有挑战性的镜面高光。可以看到,RawNeRF也处理得非常自然,非常真实。



5. 改变焦点,调整曝光


在这个场景中,让我们试试改变视角,不断变换焦点,同时调整曝光。



在以前,要完成这些工作,我们需要从25到200张照片的集合。


而现在,我们只需要几秒钟,就可以完成拍摄了。


当然,RawNeRF现在并不完美,我们可以看到,左边的RawNeRF图像和右边的真实照片,还是有一些差异。



不过,从一组充满噪点的原始图像达到现在这样的效果,RAWnerf已经取得相当大的进步了。要知道,两年前的技术还完全做不到这样。


RAW的好处


简单回顾一下,NeRF训练管线所接收的是经过相机处理的LDR图像,之后的场景重建和视图渲染,基于的都是LDR色彩空间。因此,NeRF的输出实际上已经是经过了后期处理的,想要大幅修改和编辑是不可能了。


相比而言,RawNeRF是直接在线性原始HDR输入数据上训练的。由此产生的渲染结果可以像任何原始照片一样进行编辑,如改变焦点和曝光等等。



由此带来的好处主要有两点:HDR视图合成和降噪处理。


在亮度变化极大的场景中,固定的快门速度不足以捕捉到全部动态范围。RawNeRF模型则可以同时对短曝光和长曝光进行优化处理,从而恢复完整的动态范围。


例如(b)中的这种大光比场景,就需要更复杂的局部色调映射算法(例如HDR+后期处理),才能同时保留暗部的细节和室外的高光。


此外,RawNeRF还可以使用线性颜色渲染具有正确饱和的「虚化」亮点的合成失焦效果。



在图像噪点的处理上,作者进一步地将RawNeRF在完全未经处理的HDR线性原始图像上进行了训练,使其变成了一个能处理几十甚至几百张输入图像的「降噪器」。


这种鲁棒性也就意味着,RawNeRF可以出色地完成在黑暗中重建场景的任务。


例如在(a)这个只有一根蜡烛照明的夜景中,RawNeRF可以从嘈杂的原始数据中提取出本来会被后期处理破坏的细节(b,c)。



作者介绍


论文的第一作者Ben Mildenhall是谷歌研究院的一名研究科学家,从事计算机视觉和图形方面的问题。



他在2015年于斯坦福大学取得计算机科学和数学学士学位,并在2020年于加州大学伯克利分校取得计算机科学博士学位。



刚刚结束的CVPR 2022,可以说是Ben的高光时刻了。


7篇录用论文中有5篇拿下Oral,并且还有一篇获得了最佳学生论文的荣誉提名。



网友评论


视频一出,立马惊艳了众网友。大家一起脑洞大开。








看这技术进步的速度,要不了多久,夜间拍照再也不用愁了~

免责声明:本网转载的文章仅为传播更多信息之目的,本网未独立核实其内容真实性,文章也不代表本网立场。如文章侵犯了你的权利,请联系我们修改或删除。本网提供的内容,包括并不限于财经、房产类信息,仅供参考,不构成投资建议;本网内容,包括并不限于健康、保健信息,亦非专业意见、医疗建议,请另行咨询专业意见。本网联系邮箱:contact@cacnews.ca

64

最新评论

今日推荐

华人爸爸当孩子面活活砍死妻子 疑小舅子劝架火上浇油动杀机 与警方对峙数小时!

华人 3 小时前

失控! Costco沃尔玛被逼急 9月卖圣诞树! 飓风抬高杂货价格!

加拿大 3 小时前

警惕!"温哥华最危险路口地图"出炉 这里最要命! 1家3口遇车祸!

温哥华 3 小时前

重磅! BC宣布"5年计划" 这些处方药不看医生也能买! 住院飙20%

大温新冠疫情 3 小时前

21死! 飓风席卷之处惨变"末日" 百万迈凯伦遭冲走

加拿大 3 小时前

震惊全球! 300学生考试遇爆炸 满地尸骸 炸成废墟! 25死56伤!

国际 3 小时前

爽! 温哥华下周天气好到爆! 10月准备迎热浪! 游客来玩开心哭! 多伦多又羡慕了!

温哥华 3 小时前

钟嘉欣怀第3胎在温哥华逛街! 比照片还美! 却被曝“双面人” 口碑翻车

娱乐 3 小时前

加拿大最狠省长! 你赢了!?为抢人"不择手段"

加拿大 3 小时前

王俊凯新电影今日上映 王源易烊千玺为兄弟宣传

娱乐 8 小时前

汤唯获春史电影奖最佳女主角 韩影颁奖季赢开门红

娱乐 8 小时前

网曝中国将翻拍影版《浪漫满屋》 预计十月底开机

娱乐 8 小时前

法国做了个人肉飞艇 花100多万才能充一次气

科技 8 小时前

独家揭秘英女王每日餐单 餐谱中3种食物最值借鉴

国际 8 小时前

27岁知名女星曝恋情 遭男方粉丝曝光“内娱女飞贼”

娱乐 8 小时前

59岁“乒乓球奶奶”倪夏莲3比1轻取韩国选手

体育 8 小时前

新型口罩可检测周边新冠病毒 10分钟内发预警

新冠预防 8 小时前

凯特给孩子拍照遭王室摄影师猛批:抢了我们饭碗

国际 8 小时前

男子患上罕见脱毛症 半年里全身毛发通通掉光

健康 8 小时前

钟嘉欣被曝人品差 被指是双面人 私下傲慢无礼

娱乐 8 小时前

英国航空公司宣布新规 男空乘也能穿裙子了!

国际 8 小时前

卡戴珊甩出轨渣男 新欢是意大利性感霸道总裁

娱乐 8 小时前

新生妹子不想住宿舍 干脆自己买栋楼 造个新宿舍

国际 8 小时前

嫌巴黎太脏 男子徒步56公里捡垃圾 收获30万粉丝

国际 8 小时前

中国女篮绝杀澳大利亚女篮 晋级世界杯决赛 众星发文祝贺

体育 8 小时前

日本最佛系工厂:员工来去自由 业绩还蒸蒸日上

国际 8 小时前

零下16度大雪 几百个婴儿睡在北欧大街上 什么情况?

国际 8 小时前

  • 24小时新闻排行
  • 7天新闻排行

今日焦点

旗下公众号

关注获得及时、准确、全方位的新闻消息

Copyright © 2012-2020 CACnews.ca All Rights Reserved 版权所有

返回顶部