《数字视频处理》期末考核报告

《数字视频处理》期末考核报告

题目：浅看VR全景视频传输技术 姓名：雷子正

学号：2220223125

年级班级：2022级1班

专业： 机械设计制造及其自动化

1、VR全景视频传输应用背景

近年来，随着计算、通信等技术的快速发展及 5G 网络的高速部署，虚拟现实(virtual reality, VR)应用蓬勃发展。

其中，全景视频(panoramic video)，又被称为 360 度视频(360-degree video)或沉浸式视频(immersive video)，作为虚拟现实应用的重要组成部分之一，在学术研究领域和工业应用领域都备受关注。根据调研数据显示，全景视频的市场占有率在 2022 年至 2022 年期间将以 34%的年平均增长率持续增长。国际知名投行 Goldman Sachs 也曾分析报告，基于全景视频的 VR 业务增长迅速，占 VR 应用领域预期总用户数(1亿3千万)的 40%，预估到 2022 年，VR全景视频用户量会达到近 2 亿。 不同于仅呈现在二维平面上的传统视频，作为一种新型的沉浸式媒体应用，全景视频允许用户在 360×180 度的球形视频内获取全方位场景，并在播放过程中随意切换当前视野(Field of view, FOV)。现如今，用户可以使用计算机、智能手机、头戴式显示设备(head mounted display, HMD)等播放全景视频。为了给用户营造更好的全景视频质量体验(quality of experience, QoE)，视野范围增大的同时也意味着更高的分辨率要求和带宽需求。就入门级全景视频而言，全画面分辨率为 8K(7680×4320)，单眼分辨率为 1920×1920,其网络带宽需求约为 100Mbps。如此巨大的数据量传输是一项艰巨挑战。

对此，早于 2022 年，运动图像专家组(Moving Picture Experts Group, MPEG)便针对全景视频展开标准化工作(MPEG-I)，联合视频研究组(Joint Video Exploration Team, JVET)也在高效视频编码(high efficiency video, HEVC)中引入全景视频传输的相关支持。

在这样的背景下，本文浅谈全景视频传输尚且存在的挑战和未来的可研究方向。

2、发展与展望

全景视频与传统视频截然不同的地方在于，全景视频不同传统视频的整体呈现，由于其全范围而用户的市场有限，因此用户只能观看到当前画面某一小部分画面。为了在节省带宽的基础上提供高速流畅、高分辨率的视频，全景视频传输成为了现今的研究热点。

1)全景视频映射格式的选择对于编码以及其他部分有着显著影响，其相关研究已经从最初的 ERP 单面映射发展到如今的多方面考虑权衡，但仍面临的一个重要挑战是映射过程中存在的过采样或欠采样等问题。在这种情况下，内容特征、

物体运动、视口预测、用户行为特征等元素被纳入到映射格式的考虑范围，通过向视口、显著性元素分配更多的像素，在保证带宽利用的基础上增强映射功能。例如 CHEC 映射即在 HEC 映射的基础上，通过结合内容特征以进一步提高映射效率。

2)由于全景视频的高分辨率，编解码器两端存在巨大的数据压缩以及计算复杂度，这导致全景视频的编解码相关技术还有许多问题存在。因此新的视频编解码技术有待开发，以获取更高效率压缩、更低时延和无缝画面切换，从而提供更高质量的用户体验质量。在编解码改进过程中，运动估计自适应、采样密度矫正、重投影、帧内预测等方法被考虑在内。此外，基于 Tile 的 HEVC 设计可以实现编码器和解码器的高级并行，为编解码技术开发提供了新一思路。

3)在现有的全景视频质量评估方法中，主观质量评估为数据集提供主观质量分数，客观质量评估旨在预测主观质量分数，各有特点和优势。主观评估所需的测试协议标准化定义体系，在大规模数据集情况下客观评估有效性的统计分析，不同用户在不同量表中的质量评估统计等都是亟待解决的问题。目前大多数质量评估主要考虑从相机运动轨迹和视频内容特征对于质量评估的影响，其他因素也非常重要，如用户生理症状、用户性别年龄等用户因素；显示设备、虚拟现实音视频等设备因素；网络延迟、画面抖动等网络因素；相机运动、帧速率、映射编码等视频内容因素；视口预测误差、回放缓存等视频传输因素。现有的数据中心模拟用户注意力分布方法得到了较好的效果，而感知方法通常具有更好的性能，但存在过度拟合的风险，将采样和感知结合使用可以被视为未来的研究趋势。随着视口的引入，将视口内容和球体全面内容综合考虑也是方向之一。

4)基于 Tile 传输的研究是当今主流，能够针对用户的视口以不同质量传输切片，从而在保证高分辨率的同时降低带宽消耗率。由于用户头部运动在观看中非常多变，现有的基于 Tile 的方法还不足应对复杂的视口变化，因此应在优先全景视频分发的情况下考虑切片的交互式选择，例如在传输中动态选择 Tile 的数量，或者以动态调整切片大小的方式以应对不同的网络条件，也可以利用深度强化学习进行切片的预取调度。此外，对于多路径的高分辨率切片传输，可以在预防无序交付的情况下，通过最佳可用路径按等级次序提供高优先级切片。然而，不同质量级别的 Tile 显示会造成画面尤其是边界处伪影，通过增加 Tile 数量或质量等级提升质量过渡平滑度，对于提高用户的观看体验具有重要意义。

3、结束语

沉浸式体验的巨大优势使得 VR 全景视频已经非常流行并具有广阔的应用前景，由于其具有高分辨率和低延迟的更高要求，因此给全景视频的传输带来了强势挑战。