是否曾经注意到水下图像往往模糊不清并且有些失真?这是因为诸如光衰减和反向散射之类的现象会对可见度产生不利影响。为了解决这个问题,中国哈尔滨工程大学的研究人员设计了一种机器学习算法,该算法可以生成逼真的水图像,以及第二种算法,可以对这些图像进行训练以恢复自然色彩并减少雾度。他们说,他们的方法在质量和数量上都与最新技术相匹配,并且能够在单个图形卡上每秒处理多达125帧。
研究小组指出,大多数水下图像增强算法(例如那些调节白平衡的算法)都不基于物理成像模型,这使其不适用于任务。相比之下,这种方法利用了生成对抗网络(GAN)(一种由生成器组成的AI模型,该生成器试图欺骗鉴别器将合成样本归类为真实样本),以生成一组特定调查地点的图像引入第二种算法,称为U-Net。
该小组在带有标签的场景语料库上对GAN进行了训练,其中包含3,733张图像和相应的深度图,主要是扇贝,海参,海胆以及其他生活在室内海洋农场中的此类生物。他们还获得了包括纽约深度在内的开放数据集,其中包括总共数千张水下照片。
训练后,研究人员将他们的双模型方法的结果与基线的结果进行了比较。他们指出,他们的技术具有以下优点:颜色恢复均匀,并且可以很好地恢复绿色色调的图像,而不会破坏原始输入图像的底层结构。通常,它还可以在恢复色彩的同时保持“适当的”亮度和对比度,这在竞争解决方案方面并不是特别熟练。
值得注意的是,研究人员的方法并不是从受损镜头中重建帧的第一个方法。Cambridge Consultants的DeepRay利用在100,000个静止图像的数据集上受过训练的GAN来消除由不透明玻璃板引起的失真,并且开源DeOldify项目采用了包括GAN在内的一系列AI模型来对旧图像和胶卷进行着色和还原。 。在其他地方,9月微软亚洲研究中心的科学家详细介绍了用于自动视频着色的端到端系统。去年,Nvidia的研究人员描述了一种框架,该框架仅可以从一个着色和带注释的视频帧中推断出颜色。并于6月推出了 Google AI 一种无需人工监督即可为灰度视频着色的算法。