自从GeForce 8800系列第一次引入CUDA以及它所代表的GPU计算以来,AI逐渐从科幻小说的幻想中走向现实世界。无论是在棋盘上干碎柯洁的围棋AI AlphaGo还是这几天不断占据互联网热榜的ChatGPT,背后都是各种AI算法作为支撑。
而对于游戏玩家来说,AI进步带来的最大变化可能就是NVIDIA随着RTX 20系Turing架构GPU引入的DLSS技术。通过使用预训练的AI,DLSS允许用户渲染一个较低分辨率的画面并将它上采样到设定的输出分辨率,通过降低显卡硬性负载的方式来提升游戏帧数。而随着时代的发展,DLSS技术的效果表现也不断得到打磨,甚至随着RTX 40系Ada架构GPU的发布我们还得到了能够进一步无中生有提升帧数表现的DLSS帧生成功能,无论是性能表现还是画面表现都得到了显著提高。
DLSS的目的是提升帧数+画质,但如果我们反其道而行之呢?不去提升帧率,而是通过AI将视频本身进行超采样呢?这就要提到我们这期视频的主角-RTX视频超分辨率(下文简称RTX VSR技术)了。
“RTX 视频超分辨率 (RTX Video Super Resolution) ”是AI图像处理放大技术,允许GeForce用户在1440p或4K以AI增强的清晰度观看更高分辨率的视频。GeForce RTX 30和40系列GPU将处理Chrome或Edge浏览器上的低分辨率视频,以提升视频质量。
原理
RTX VSR技术最大的应用场景是流媒体领域,也就是我们平时在各种网络平台观看的直播与视频。无论是视频上传时的标准化的转码还是对所有视频统一进行存储、管理直到最后分发到用户的设备上,这全套流程的成本都十分昂贵,因此几乎所有流媒体平台都选择了压缩码率的方式来节约算力、带宽与成本。这个过程中由于视频码率降低,最终的视频上可能会呈现一些肉眼可见的伪影、残像或噪点,这就是信息丢失。尽管这些信息丢失大概率并不影响观众去完整理解视频,但它们仍然是十分影响观看体验的。
除了有损压缩外,另外一个问题是低分辨率,这一点尤其在直播中最为明显。在线直播不仅需要将主播电脑发出的视频流实时复制到多个观众的设备中,还需要让所有参与者都能看到其他观众发出的弹幕与礼物,因此对直播平台也提出了更高的要求。为了为更多用户提供服务,直播平台一般只会提供相对较低分辨率的视频流,例如1080P甚至更低,这在高分辨率显示器上的观看体验显然是不佳的。
对于这两项常见的问题,RTX VSR技术都可以通过GeForce 30系或40系显卡中的RTX Tensor Cores与AI算法来尝试修复这些信息,并为用户提供更高分辨率且高清的画面。通过将NVIDIA Tensor Core与最先进的AI图像处理技术相结合,智能锐化和强化特征和边缘,同时消除恼人的压缩伪影。RTX VSR将适用于大多数在浏览器中播放的视频,无论是通过斗鱼,虎牙,哔哩哔哩等平台观看您喜爱的主播的直播,还是观看他们其它的视频内容。
只需要使用RTX 30系或RTX 40系GPU安装Game Ready驱动 531.14或以上版本,并在NVIDIA控制面板中调整视频图像设置功能里启用RTX VSR技术,就可以在Google Chrome(110.0.5481.105以上)或Microsoft Edge(110.0.1587.56以上)中体验AI加持下的高清画面。不过,由于需要使用显卡中的Tensor Cores,RTX VSR技术会增大看视频时的GPU占用。针对不同性能的显卡,NVIDIA控制面板里提供了四种不同的预设,第4档性能要求最高,但画面效果也最好;第1档性能要求最低,但画面提升也没有那么显著,用户可以综合自己的需求选择。
驱动下载地址:https://www.nvidia.cn/geforce/drivers/
测试
当然,口说无凭,我们还是需要来实际测试一下。为了让RTX VSR技术能够不受硬件掣肘,我们使用了一台搭载目前最强游戏GPU- GeForce RTX 4090旗舰游戏电脑,具体配置如下:
首先是官方示例,通过Chrome浏览器打开的ICAT嵌入式应用对比。这个示例使用一段4K分辨率的无人机航拍风景视频,我们抓取了一些重点分享。
可以看到,在开启RTX VSR技术之后,原视频里如同劣质贴图的墙体变得十分清晰,每块砖头都清晰可见,且立体感满满,尤其是文字的清晰度更高了一个数量级。
同时,这颗大树的树叶本来由于抖动整个画面直接糊成一团,在RTX VSR技术的加持下同样拥有明显的画面表现提升。不仅如此。草坪上的青草和落叶也有明显的区分,对于位处画面边缘的视频来说效果十分强悍。
除此之外,RTX VSR技术的AI算法似乎还能够通过类似DLSS帧生成的方式计算出物体的远近关系优化景深效果,这一点同样能够使得画面整体观感得到提升。
第二项测试我们试一试流媒体,为了尽最大可能展示RTX VSR技术的性能,我们将画面原生分辨率设置到360P,也就是它能够接受的最低原生分辨率来展示效果。
先来个简单的,在B站上观看游侠网的Steam Deck的开箱视频,截取其Steam Deck宣传片部分。由于Steam Deck宣传片采用了白色背景以突出机器的黑色机身,对于VSR的AI来说是一个较为轻松的测试。
可以明显地看到,在开启RTX VSR技术后,肩键部分的图像质量有了显著提高,不仅锯齿和噪点几乎全部消失,透过打光实现的颜色过渡也更为平滑。与此同时,整机的质感也更符合实际。考虑到输入的画面只有360P,这种表现可以说是惊艳。
在更复杂的PSVR2开箱视频中,可以看出RTX VSR技术的完成度事实上已经颇高。无论是近景的人物还是远景的箱子、桌子以及光线上的投射方面都没有明显的出戏点。而且,在PSVR2头盔上连接的、与头发发色十分接近的耳机线也得到了十分良好的还原。
小结
综合我们的使用体验,RTX VSR技术在实际使用中能够带来十分显著的观感提升,即使是在360P下也能获得不错的表现。而目前RTX VSR技术,虽然仅支持RTX 40系列和RTX 30系列GPU,但在理论上RTX 20系显卡也能在未来通过驱动更新支持这一功能。此外,RTX VSR技术兼容性也十分强大。不过,只支持通过浏览器的流媒体服务对一小部分使用场景来说确实略显不便,如果在未来通过驱动更新能够对VLC等主流多媒体播放器提供进一步支持的话,相信RTX VSR将会有更大的发展空间。