为最新的高分辨率显示器渲染3D图形从来都不是一件容易的事，而具有高刷新率的双显示器的VR头显的挑战水平则要增加很多倍– Oculus的母公司Facebook非常了解这一点。今天，Facebook研究人员揭示  了一种对实时渲染的3D内容进行升采样的新技术，该技术使用机器学习立即将低分辨率，计算上更容易的图像转换为非常接近的高分辨率参考资料。

理解Facebook创新的最简单方法是，将蒙娜丽莎想象成只有16个彩色正方形，例如4×4网格。看着网格的人会看到一张无法原谅的锯齿状的方形图像，也许可以识别蒙娜丽莎的著名轮廓，但是受过训练的计算机可以立即识别出网格并将其替换为原始艺术品。利用三层卷积神经网络，Facebook的研究人员开发了一种技术，该技术不仅适用于平面图像，而且适用于3D渲染场景，可将“高度混叠的输入”转换为“实时的高保真度和时间稳定的结果”，并赋予色彩，深度和时间运动矢量。

从计算的角度来看，研究表明，与原始《毁灭战士》游戏相似的3D环境可以通过预先培训而升级为类似Quake的VR体验。这并不意味着任何开发人员都可以将原始的3D引擎转换为丰富的VR体验，而是该技术可以帮助功耗受限的VR设备-Oculus Quest认为-在内部渲染较少的像素（请参见照片中的“输入”）在显示漂亮的输出时（上图中的“我们的”），同时使用机器学习作为捷径来获得接近参考的质量结果。

尽管机器培训的细节很复杂，但最终的结果是，网络是使用从给定3D场景的100个视频中捕获的图像进行训练的，因为真实的用户可能会从各种角度来体验它。这些图像可实现全分辨率参考场景，该场景将需要140.6毫秒才能以1600 x 900像素进行渲染，而以26.4毫秒才能以400 x 225像素进行渲染，然后在17.68毫秒内对4×4上采样，总计44.08毫秒-在非常接近原始图像的情况下，渲染时间节省了近3.2倍。这样，Quest VR头戴式耳机的佩戴者将受益于已经在功能更强大的计算机上进行了全面探索的场景。

研究人员说，他们的系统通过提供更高的重建精度，大大优于最新的虚幻引擎的时间抗锯齿缩放技术，如上图所示。他们指出，Nvidia的深度学习超级采样（DLSS）最接近其解决方案，但是DLSS依赖专有的软件和/或硬件，这些软件和/或硬件可能无法在所有平台上都可用。Facebook建议其解决方案不需要特殊的硬件或软件，并且可以轻松地集成到现代3D引擎中，利用它们的现有输入来提供4×4超级采样，而普通解决方案最多只能使用2×2上采样。

与新系统一样积极，但并不完美。尽管对生成的图像进行了所有高级培训并在时间上保持了平稳性，但是在复制过程中可能会丢失一些细微的细节，因此，如果文本不存在，便笺簿上的文本可能无法读取（如上所示）。 t在低分辨率渲染的最后几帧内正确标记。对于“高分辨率显示应用程序”的实现成本，仍然存在一些疑问，尽管人们期望有更多的功能，更好的优化和专业的工程技术来改善系统的性能。

基础研究论文今天以“ 实时渲染的神经超级采样 ”发表，归因于Facebook Reality Labs的Lei Xiao，Salah Nouri，Matt Chapman，Alexander Fix，Douglas Lanman和Anton Kaplanyan。它将于7月中旬在Siggraph 2020上展出。