视频超分技术简介及应用

[日月潭]

一、二为原理简介，认为内容太多，也可以跳过，直接到三的使用介绍。

一、超分技术简介
超分辨率（Super-Resolution, 简称SR），是一种将低分辨率的图像通过算法提升到高分辨率的技术。视频超分辨率Video Super-resolution，也可以简称VSR。
按技术发展路径及时间先后，超分辨率可分为两大类：1、传统超分辨率算法。 2、基于深度学习的超分辨率算法。每一类可以分为几个子类。以传统超分算法中的插值算法为例，比较典型的有Bilinear(双线性)、Bicubic(双三次插值)、Lanczos(兰佐斯)等。微软windows media player播放器采用的是Bicubic算法。本文重点说明的是基于深度学习的超分辨率算法，根据网络模型不同，分为基于卷积神经网络、基于残差网络( ResNet)、基于生成对抗网络(GAN)的算法等；根据训练集的不同，可以分为盲超(blind SR)、非盲超(non-blind SR)等。
二、传统超分与基于深度学习的超分算法的不同
2.1、算法模型完全不同。
以传统插值算法为例，根据邻近像素点"组合"生成新的像素点，比如用邻近两个像素点，各取一部份生成一个新的像素点，完成图像放大，这个过程叫2taps；Bilinear、Bicubic、Lanczos等算法，表示不同的组合（插值）方式。
基于深度学习的超分算法，以前述提到的非盲超(non-blind SR)为例，首先将比如1080P的图片缩小到540P，然后使用训练代码将图像放大到1080P，比较放大后的图像与原生1080P的差异，再用训练代码不断优化，直至生成一个较好的超分模型，可用于图像放大；这个过程，称为深度学习或机器学习，原理上是人工智能的一个分支。使用这种超分算法，新生成的像素点是超分模型根据前述学习，人工智能AI "推理"出的新像素点，和前述插值方法有很大不同。

2.2、资源占用不同
从训练角度，基于深度学习的超分算法训练趋于需要大显存、大算力以至多路显卡，比如V100\A100以及对中共禁运的H100等顶级显卡，使用pytorch等深度学习框架，调用显卡长时间、多轮训练；需要的算力及时间惊人，当然也看模型需要。而传统超分并没有这个过程。
从应用的角度，使用基于深度学习的超分算法一般需要调用显卡资源，对显卡性能要求可能较高。而传统超分性能需求相对较低，CPU可以满足需要；一般应用由于需要兼顾各种性能的CPU及成本考虑，如网页播放器、很多的硬件播放器(如机顶盒等)会使用Bilinear等比较低档的算法，使用Bicubic这类较高档算法的已经算比较"良心"。

2.3、超分效果不同
基于深度学习的超分效果，影响因素比较多，不但和算法模型有关，和训练过程有关，还和选择的训练图集有关，比如采用同样的模型，采用真人训练图集和动漫训练图集，最终超分效果区别就很大；而传统超分只和算法相关，参数一定的情况下，效果也比较固定，也容易区分出用的哪一种插值方法。
传统超分放大后的图像容易出现比较严重的artifacts(模糊、锯齿、光晕等图像瑕疵的统称)，一般低倍数放大比较实用；基于深度学习的超分算法放大后的图像比较锐利、细节较好，artifacts控制比较好，高倍数放大(3倍以上)效果也比较好。
但一般图像放大不建议超过8倍。

2.4、图像超分与修复的关系。
超分也可以称为重建，将低分辩率图像重建为高分辩率图像；修复特指对图像中存在的artifacts(模糊、锯齿、光晕等图像瑕疵的统称)的去除过程，本身和是否超分无关。超分与修复是不同的图像处理方向，但也有联系。一般来讲，图像放大容易出现artifacts，所以超分往往自带一些图像修复算法。图像修复，也区分传统和基于深度学习的修复算法。

2.5、按应用领域划分，除了视频超分以外，还有医学超分、天文超分、显微超分等。


三、基于深度学习的超分算法应用

3.1、超分算法应用--RTX SVR。
前述提到，基于深度学习的超分算法需要很大的软硬件资源，实时处理困难，所以普通应用很少见。2023年2月Nvidia推出了 RTX SVR技术，也就是Nvidia的视频超分算法，特点是基于深度学习和N卡的张量核心计算，资源占用比较合理，可以用于实时处理视频的放大。目前来看，效果还是相当不错，后续AMD也会推出类似的技术。本文以N卡为例说明如何运用RTX SVR技术及效果评价。
3.2、RTX SVR技术需要的软硬件条件。
软件条件：操作系统win10/11，chrome/edge(基于 Chromium核心)浏览器并更新到当前最新版本，N卡驱动更新至当前最新版本。
硬件条件：Nvidia RTX 20及以上系列显卡，如RTX2060、RTX3070、RTX4080等，也包括未来的RTX系列显卡。
3.3、如何在网页视频中开启RTX SVR
桌面鼠标右键---NVIDIA控制面板--视频--调整视频图像设置--RTX 视频增强--勾选 Super Resolution，这里可以看到状态为：非活动，质量为自动，如果不是HDR显示器，高动态范围不可选。
这里可以任意打开一个网页视频，调低网页视频分辩率，然后再将视频网页拉大，高于原分辩率，即可启用视频超分。状态为：活动；质量选项，目前驱动设置为自动，也可以选择1-4档手动调节。RTX SVR技术包含超分和修复两项技术，1-4档的含义，为参数强度。1档最低，4档最高，4是调整强度最大，图像最锐利，修复也最多。
技术细节1：前面讲过，超分和修复两项技术本身可以独立存在。只要前面勾选开启Super Resolution，即使图像不放大，也自动对视频有修复功能。
技术细节2：参数强度调节的含义，强度大并不完全代表质量最好，强度大通常表示对原画面破坏也越大；所有的图像修复技术，本质上说都对原画面有破坏作用，仅就修复的目地而言，只是去掉令人不悦的如锯齿、模糊等artifacts；修复强度控制在一定范围内，既可以有效改善观感，又能保持原画面观感，平衡为佳。
技术细节3：参数强度越高，显卡性能要求也越高，1档性能要求最低，4档要求最高。结合技术细节2说明，可以根据自身显卡性能及画面质量调节参数，比如使用2060显卡，显卡性能低，可以开低档参数，避免显卡性能不足反倒造成画面卡顿；如果画质太差，可以开高档参数3或4，加大一些修复强度；放大倍数较大，也可以开高档参数，比如480P放大至1080P，可以考虑开3或4档。
技术细节4：HDR功能，需要支持HDR的显示器，一般市面上常见视频类型是SDR，这项技术是将SDR颜色空间映射到HDR对映的颜色空间，扩大色域空间，增强颜色和对比度等等，需要适配HDR显示器，选用。
3.4、本地播放器开启RTX SVR
时间关系，暂略。

四、超分效果分析。
参考视频：https://www.ganjingworld.com/channel/1frf2ranalr6HfJIkcO3O0A8m1j20c
交响赞美诗 基本就是做了修复，修复片源中存在的部份问题。
《斯德哥尔摩综合症》VCD版本是片源，《斯德哥尔摩综合症》1080P超分版是采用顶级超分算法放大后的版本（4倍超分），效果是超过 RTX SVR技术的。由于视频网站会有二次编码，网页效果打了折扣，实际效果更好一些。可以开启超分功能，将VCD版本放大至1080P，对比超分版效果。
当然不是Nvidia技术不好，超分效果受很多因素影响；即使开启了超分，仍然会有效果不明显，或效果不好的情况，大致有如下原因：
4.1、RTX SVR技术需要实时放大及修复，对显卡性能要求很高，但又要满足大部份显卡能够正常使用，在性能/质量上只能做出妥协，降低一些质量满足实时播放的要求；而《斯德哥尔摩综合症》超分版采用的超分算法，效果更好，但运算时间N倍于视频时长，无法实时播放。
4.2、在2.3这一节中，算法模型和训练数据不同对超分效果的影响。算法模型是决定超分效果的根本，训练集也很重要。简而言之，一般训练超分模型，会选用特定的数据集，就是一堆图片集合；动漫和真实世界的图像有完全不同的特点；即使是真实世界的图像，也有很多种类型，人像和数字的特点就差很多吧；同一个训练模型，很难兼顾所有的图像类型。而基于深度学习的超分算法，是根据训练集学习的经验，来"推理"出新的图像。如果算法模型和训练集并不适合某类图像，效果当然就不好了。没有万能的超分算法，基于深度学习的超分算法现在多如牛毛，各有适合的图像类型。只有合适的才是更好的，即使是看上去"落后"的传统超分算法，如Bilinear、Bicubic、Lanczos等，在某些场合，效果可能也好过现有超分算法。
4.3、和片源视频质量有关。原则：片源视频质量越好，超分效果可能越好；片源视频质量越差，超分效果可能不明显。
4.4、要注意驱动控制面板中是否开启了超分功能。笔记本电脑需要额外设置，Windows--图形设置--自定义应用选项，添加 Chrome 或 Edge 浏览器的路径。右键单击自定义应用程序列表下的浏览器图标，选择"选项"并设置为"高性能"。
4.5、带DRM等版权保护的视频超分无效。
4.6、火狐浏览器默认未开启超分功能。观察驱动面板会发现超分功能处于非活动状态。
打开Firefox浏览器，输入 about:config ,然后点"接受风险并继续"，在弹出的搜索框中输入gfx.webrender.super-resolution.nvidia ，在弹出框双击，将fals状态变为true即可开启超分功能。
有些版本如ESR(延长版)会失效，选用普通版就可以了。

观看网页视频目前推荐Chrome 或 Edge，比较方便。微软Edge 浏览器自带一个超分功能，目前只存在于测试版中，支持其它显卡，但功能有限，暂不推荐使用自带的超分功能。
另，显卡驱动程序注意保持更新，至少2-3月要升级一次，VSR技术也会不断更新。
4.7、超分功能的作用。如果视频只有较低分辩率，如DVD(480P)超分后可能会有接近1080P的效果；翻墙代理速度不佳，只能使用较低分辩率观看视频；有意降低网页视频分辩率，减少翻墙流量。

五、视频网站推荐
5.1神韵作品网站
示例1：竹林烁影
https://www.shenyuncreations.com/zh-CN/video/_video_bc42c133991e4824b6506c291653ba4b/Echoes-of-the-Bamboo-Grove
示例2：历届全世界中国古典舞大赛金奖展示(2023)
https://www.shenyuncreations.com/zh-CN/video/_video_32e562ecd0bc49fe88a64c0c01652310/Classical-Chinese-Dance-Competition-Gold-Medalists-Technique-Showcase(2023)

翻墙后，分别用chrome和火狐浏览器(默认未开启超分)打开链接，分辩率设定为480P，将网页放大到比如1080P，就能看到超分效果了。超分后接近原生1080P的效果，当然片源质量一般不建议低于480P。

5.2、动态网直播
http://dongtaiwang.com/loc/fgtv/ntdhls.php?
5.3、干净世界
https://www.ganjingworld.com/zh-CN
5.4、油管等，略

5.5、质量评价指标
超分效果质量评价包括主观及客观评价。主观评价指标以人眼观看效果为主，客观评价指标包括传统的SSIM/PSNR，分别指结构相似性和峰值信噪比。一个合格的基于深度学习的超分算法，一般来讲，不论客观评价指标还是主观评价指标，都好于传统的超分算法，甚至会大幅领先、效果惊人。
还有一些新兴的评价超分效果的指标，略。

[日月潭]

修改部份内容描述，增加2.5/5.5 两项说明。

[日月潭]

4.6增加开启火狐的超分功能说明。