AIGC不仅能“无中生有”,更可叠加HDR技术,一键拯救图片曝光,贴近人眼成像效果。
近日,上海人工智能实验室(上海AI实验室)与香港中文大学、浙江大学联合团队构建出书生·浦像超高动态成像算法(浦像HDR,UltraFusionHDR),通过曝光融合与生成式大模型技术,可实现超高动态范围成像,在曝光差异达9档的极端条件下,仍能实现对图片细节的修复。该技术有望为相机、手机的成像性能带来进一步跃升。
通过融合两张相同角度不同曝光度的图片,浦像HDR可生成色彩鲜艳、细节丰富的高质量图像。无论专业摄影师还是普通用户,无需升级设备,即可轻松拯救“废片”,创作出细节丰富、色调悦目的作品。
弥补曝光融合缺陷,拓展HDR应用范围
高动态范围(HDR)成像技术的出现,有效解决了传统成像中因曝光过暗或过亮导致的细节丢失问题,广泛应用于摄影及自动驾驶系统等领域。为弥补曝光缺陷,目前的HDR采用曝光融合,但仅适用于曝光差异较小的图像(3-4EV)。然而由于实际拍摄场景中的曝光差异值通常过大(4EV以上),动态物体引发的运动伪影及光照角度不同等问题,导致现有方式常常难以拥有理想的成像效果。为此,上海AI实验室联合团队提出,基于生成式大模型提高HDR技术运动场景鲁棒性和色彩饱和度的方法,以实现超高动态范围的图像融合能力,从而构建出浦像HDR算法。通过创新的多阶段处理流程,浦像HDR算法有效解决了动态场景下的运动伪影问题,并能在极端光照条件下保持图像的清晰度和真实感。在曝光融合的基础上,拓展了高效成像的复杂环境适用性,HDR技术的应用范围得以进一步扩展。
“变废为宝”,轻松生成高质量作品
曝光不足或“过曝”,运动摄影产生的伪影,逆光拍摄的“背光”效果……在大多数摄影师眼中,当出现以上情况,素材就会被当作“废片”删除了。而通过浦像HDR,仅需上传角度相似的两张不同曝光度图像,算法将自动克服潜在的对齐误差和光照变化,生成色调自然、细节丰富的高动态范围图像,一键“变废为宝”。即使在曝光差异高达9EV的极端光照条件下,依然能保持图像的美观与高质量,消除噪点和伪影。使用曝光差异达9EV的两张照片,浦像HDR依然能够准确融合,保持自然感与美观对于运动摄影中存在的主体移动、光照角度变化、背景遮挡等问题,传统的曝光融合方法,难以避免运动伪影的产生。面对此类场景,研究人员针对性提升了HDR技术的运动场景鲁棒性,使浦像HDR可基于两张不同主体位置、光照角度的图片,生成出细节真实、主体一致的运动摄影作品,同时消除伪影。
大模型赋能,摄影系统成像性能提升
在成像硬件不变的前提下,如何提升摄影效果?联合团队创新性提出了基于生成式大模型的技术方案,以AI助力摄影系统成像系统性能提升。研究人员在算法中引入生成式图像大模型的先验知识,结合信息融合模型,有效解决了不同曝光水平之间差异较大的融合难题,显著提升了融合过程的鲁棒性。随后,算法自适应地学习色调映射,从而克服了超高动态范围图像中复杂的色调映射问题。引导式图像修复设计框架有效地保持了生成结果的图像保真度,避免了生成式大模型引起的纹理变化问题,确保最终输出的图像自然且逼真。