回顾:莫斯科国立大学视频质量测量工具
Moscow State University's Video Quality Measurement Tool (MSU VQMT)是我用来计算和可视化VMAF等客观指标的常用工具, PSNR, and SSIM. In version 13, MSU增加了编解码器兼容性和度量性能, 添加了新的HDR指标和显示功能, 并增强了VQMT已经是一流的可视化工具. 如果您是VQMT用户，那么这是一个必要的升级. 如果你没有，现在是考虑的好时机 buying the $999 utility.
AV1 Support
您可以访问新特性的完整列表 here. 排名靠前的是对av1编码视频的原生支持. 在以前的版本中，您必须在VQMT中分析AV1文件之前将其解码为YUV. 在版本13中，您现在可以将AV1文件直接输入到VQMT中，这非常方便.
Faster VMAF
VMAF无疑是我运行得最多的基准，计算VMAF本来就很慢，因为它由四个独立的指标组成(这就是为什么它被称为Video) Multimethod Assessment Fusion). In version 13, MSU通过OpenCL加速了VMAF，它应该可以在AMD和NVIDIA显卡上工作. 您可以通过在Metric规范屏幕中选择该变量来启用该特性，如图所示 Figure 1.
Figure 1. CUDA加速Netflix的VMAF指标.
I tested the new feature on two computers, HP Z840工作站，两个E5-2687W v3 Xeon cpu，运行速度为3.1 GHz，总共40核，以及基于Quadro K2200 gpu的显卡. 我还在一台运行至强E3-1505M CPU和Quadro M1000M GPU的8核惠普ZBook Studio G3上进行了测试.
在对两台计算机的第一次测试中，我计算了一个10秒文件的VMAF. 在Z840上，基于gpu的方法快了67%，这是相当惊人的. On the Z-book, with a less powerful mobile GPU, the improvement was 40%; still impressive but less so. 然后我在一个VQMT实例中测试了两个10秒的文件, 两台电脑的相对性能略有提高(Table 1).
Table 1. GPU加速VMAF计算带来的性能提升.
然后，我使用同时运行的四个VQMT实例测试了四个同步计算. 我经常同时运行计算，因为VMAF计算是单线程的，运行4到6个实例比只运行1到2个实例获得更好的吞吐量, particularly on the Z840. Interestingly, here, Z840的相对性能下降到41%, 而笔记本电脑的收益则增加到49%.
我正在进行测试，看看在基于cpu的计算可能有意义的VQMT实例数量方面是否存在一个交叉点, 虽然我的测试没有显示出这个阈值. 如果您在具有弱GPU的快速多核计算机上运行多个VQMT实例, 您可以执行类似的测试来衡量基于gpu的计算的好处. 为了记录，我检查了基于GPU和cpu的分数，它们是相同的.
Subsampling Operation
If you're really under the gun timewise, 您应该知道版本12中引入的另一个特性:次采样操作. You select this in the Subsampling & Performance tab shown on the left in Figure 2, using the controls on the upper right. 在图中，我每隔四帧进行一次评分，这应该会大大加快操作速度，而且确实如此. 问题是，它如何改变得分? The answer is, yes, but not much.
Figure 2. Computing VMAF on every fourth frame.
You see this in Table 2. 在两个一分钟的测试文件上测试每一帧需要131秒, 当每四帧测试时，哪一帧下降到42秒, 虽然没有达到预期的75%，但已经很接近了. However, 既不是VMAF平均值，也不是低帧分数(一种测量瞬时质量问题可能性的方法), 任何地方都有相应的变化.
Table 2. 当不测试每帧时，处理时间显著下降.
在我的研究采用抽样方法之前，我会用其他文件确认这些结果, 但当你急需VMAF分数时，这种方法看起来很有希望.
HDR Metrics and Visualization
下一个主要的版本13添加是HDR参数, specifically PSNR, SSIM, MSSSIM, VQM, and Delta ICtCp. By way of background, 当应用于HDR视频时，SDR指标已被证明是不可靠的，因为SDR和HDR使用不同的传递函数和色彩空间，具有非常不同的亮度水平(参见 HDR图像质量评价的客观质量指标的基准 and 高动态范围图像和视频质量预测的实用性. 有关不同色彩空间和传递函数的简单说明，请参见 here). In essence, SDR指标并不像人眼在HDR显示器上看到的那样“看到”像素，因此无法准确预测人类的评分.
底线是，你不能可靠地使用SDR指标来分析HDR视频. VMAF doesn't have an HDR version; in this video Netflix的Christos Bampis承认，是否可以在HDR视频中使用VMAF是一个悬而未决的问题. In this blog post, 备受尊敬的压缩学家Fabio Sonnati表示:“VMAF 4K没有针对HDR进行调整，所以我将把我的考虑限制在SDR的情况下.“如果你是一名HDR制作人，这些新指标将使VQMT与你的实践格外相关.
Operating the HDR metrics is very flexible. For example, 在开始测量之前，您可以选择视频的输入颜色空间, with choices like BT.709, BT-2020 and others. After you run the metric, 您可以使用不同的显示颜色空间来显示视频帧，以模拟视频在另一台设备上的外观(Figure 3). 然而，几乎没有任何解释, 因此，除非您非常熟悉色彩空间，否则您可能会发现灵活性令人生畏. I certainly did, 但随着HDR的日益突出，有一个带有功能的工具来解决它是件好事.
Figure 3. 您可以在许多不同的显示颜色空间中显示源帧和编码帧.
To get a sense of the new HDR metrics, and how they differ from the SDR versions, 我使用SDR和HDR版本的PSNR测试了一个HDR剪辑, SSIM, and MS SSIM (Table 3). 正如你所看到的，分数是不同的，尽管不是完全不同. 不过，如果你要对HDR质量进行基准测试，你应该使用HDR指标. For the sake of completion, 请注意，SSIMWAVE的SSIMPLUS度量是HDR兼容的，提供了另一个有价值的选项(参见 here).
Table 3. SDR and HDR scores on the same video clip.
Improved Visualization Tools
视频质量指标经常被批评为主观评价的不准确预测. For this reason, 通过实际观看视频和观察帧来确认关键分数是至关重要的. VQMT通过生成结果图(Figure 4)，在文件持续时间内显示一个或两个剪辑的分数，以直观地识别任何问题区域. 然后，您可以将播放头移动到该帧并单击右下角的Show frame以查看源和压缩帧.
Figure 4. VQMT的结果图便于直观地验证客观度量.
In previous versions, you could load the frames side-by-side or toggle between the views with simple keystrokes (Ctrl + 1 for original frame; Ctrl +2 for first encode; Ctrl +3 for second encode). However, 并排视图很难看到细微的差异，在运行VQMT时，源帧和编码帧的顺序查看是有效的，但很难在PowerPoint演示文稿或报告中显示.
Figure 5. VQMT版本13中增强的可视化工具
With Version 12, MSU增加了通过残差图可视化帧差的能力 Figure 5 具有可配置的颜色托盘和伽马校正的可视化. 在此视图中，可视化图中的残差越大，失真越大. 这不仅有助于在亲自驾驶工具时验证您的观察结果, 这是一种以图形形式显示编码相关缺陷的非常有用的方法.
自从我在2015年左右开始使用这个工具以来，我一直是VQMT(和MSU团队)的忠实粉丝, and MSU continues to evolve the tool in all relevant vectors; performance, included quality metrics, and usability. 如果你真的想尝试不同的编解码器和/或编码参数, it's an absolutely essential tool.
Related Articles
无限的文件分析和Python界面突出了新功能
31 Oct 2022
莫斯科国立大学图形和媒体实验室的负责人——VQMT和Subjectify的幕后推手.us -提供了他对客观和主观指标的见解，以及VMAF黑客和AV1.
13 Dec 2021
As a metric, 苹果的高级视频质量工具(AVQT)也有一些亮点, 但如果没有更多的验证，很难看到它从现实世界的工作流中碰撞VMAF或SSIMPLUS.
14 Oct 2021
Per Hultin讨论了如何应对不断增长的内容量和在线视频流日益增长的碳足迹所带来的挑战.
27 Sep 2021
好消息是:一如既往，莫斯科国立大学的编解码器研究是最全面的. 坏消息是:除非你是TikTok或腾讯，否则你无法访问一些表现最好的应用.
11 Jun 2021
In rigorous tests of video codecs, 只有一个在客观和主观测试中产生了截然不同的结果. What could cause that discrepancy?
15 Nov 2019
莫斯科国立大学的视频质量测量工具已经很好了. Enhancements in the new version, 包括新的指标和同时运行多个分析的能力, make it even better.
23 Mar 2018
最新的编解码器质量比较研究发现AV1在质量上名列前茅, but far behind on speed, and that VP9 beats out HEVC. Moscow State also launched Subjectify.Us，一个主观上比较视频质量的新服务.
30 Jan 2018