AI无需干净训练数据即可去噪:仅观察噪声图像自动修复照片
- 神经网络从未见过无噪照片也能自动增强图片。
- 适用低光摄影、磁共振成像、基于物理的图像合成。
能否将低光、像素化或颗粒感照片在不使用Photoshop情况下去伪影去噪?新机器学习模型仅观察损坏图像样本即可做到。
从损坏测量重建信号是统计数据分析关键部分。近年因机器学习进展,避免传统信号损坏统计建模兴趣激增。
MIT、NVIDIA和阿尔托大学研究者用基本统计推理配合神经网络做信号重建。它从未见过干净图像也能学会恢复信号。
这不同于其他最先进方法或近期图像增强AI。其他机器学习技术训练神经网络用成对噪声和干净图片恢复照片,此法仅需一对带噪声/颗粒的输入图像。
该AI系统从未经无噪照片训练也能自动增强图片。
传统机器学习涉及用大量数据集训练卷积神经网络等回归模型,数据集含成对损坏输入(噪声图)和干净目标(修复图),最小化经验风险。
而此法中,干净目标可完全丢弃,只要网络能观察每源图像两次。可训练修复含显著(50%)异常值内容图像。有时超越用干净范例模型。且比获取干净目标成本更低。
参考:arXiv:1803.04189 | NVIDIA
训练网络5万张图像用NVIDIA Tesla P100 GPU、TensorFlow、CUDA深度神经网络库。
应用场景
获取干净训练数据困难的真实场景众多:天文摄影等低光成像、磁共振成像、基于物理的图像合成。
显然网络无法学习输入图像不存在的特征,但用干净目标训练同样如此。
MRI重建示例 | 研究者提供
阅读:NVIDIA AI将30fps视频转240fps
研究从标准噪声分布(含加性高斯噪声)起步,继续解决更难、解析上难处理的图像合成蒙特卡洛噪声。也观察到MRI亚奈奎斯特频谱采样图像重建可仅从噪声图像学习。
工业技术