摘 要: 在基于包交换的低比特率无线视频传输中，丢包往往会引起整帧图像数据的丢失，传统的差错掩盖方法难以达到较好的掩盖效果。本文提出了一种基于光流场方程估计丢失整帧的差错掩盖方法。实验证明，PSNR比传统的帧拷贝方法提高1个db左右，并且具有更好的视觉流畅性，可以有效地抑制视频差错的扩散，取得较好的差错掩盖效果。

   关键词: 低比特率; 差错掩盖; 光流场方程; 峰值信噪比

1  引 言

   H.264以优异的压缩性能和网络适应能力得到人们的重视。H.264通过多种技术减少帧间图像时间相关性和帧内图像空间相关性来提高压缩比，这使得H.264的抗误码性能降低。在低比特率无线视频通信中，通常将QCIF图像的每个slice打成一个RTP包，以充分利用网络的带宽资源。由于无线网络的突发误码、丢包等特性，在传输中会发生一个或连续多个包的丢失，从而导致整帧甚至连续多帧视频数据的丢失。因此，研究整帧图像受损的恢复就显的十分重要。帧的丢失使得解码图像质量急剧下降，因此所有能在无线网络中胜任的视频编码标准必须考虑抗误码技术。传统误码掩盖方法可在空域、时域和频域实现，时域误码掩盖[1]主要利用可靠相邻块的运动矢量在前一帧根据块匹配或边界匹配准则确定丢失块的运动矢量；空域误码掩盖[2]主要利用受损块周围有效信息来恢复当前块；频域误码掩盖[3]主要利用周围有效宏块的DCT系数来恢复受损块。在出现大面积损坏或整幅图像丢失时，周围可用的有效信息较少甚至根本没有，如果只采用简单的时域替代掩盖方法，会导致误码扩散、延迟。因此现有的误码掩盖方法对于整帧丢失的情况难以达到较好的掩盖效果。

2 整帧丢失情况的误码掩盖

   在进行误码掩盖前首先要进行误码定位，解码器检测整帧丢失的方法是通过检测每个片的帧号来确定，帧号在片头中传输。如果图像中的片不是正确的宏块，则丢失片信息，根据片的类型对丢失的片进行帧间或帧内误码掩盖；如果解出的片的帧号不等于预期帧号加1，推断出解码器丢失了一幅图像，则调用整帧丢失的差错掩盖程序，并将掩盖的图像插入到参考图像缓冲区中，然后解码器以掩盖的帧图像作为参考帧解下一幅图像。

   在参考软件JM86中，当设置的帧号连续，若仍然发生帧号不连续现象，则说明丢帧，表示在传输过程中发生了丢包，于是解码器通过其他机制检测到包的丢失和丢包位置，并启动错误隐蔽机制来恢复图像；当设置的帧号不连续，解码器必须采取其它合适机制将丢失的帧号及所对应的图像填补，否则当后续图像的运动矢量指向丢失图像时，产生解码错误。参考软件JM86没有考虑整帧丢失情况的差错掩盖，当发生丢帧时，则跳出程序。若不考虑丢失帧，后续帧可以用丢失帧的前一帧做参考帧来解码，与正确的视频帧相比较慢了一帧。同时在运动剧烈的情况下，后续帧的解码也会因运动矢量、补偿块的位置不准确而出错。因此，必须采取一种有效机制恢复丢失帧。

2.1  帧拷贝掩盖丢失帧

   目前最常用的方法是拷贝前一图像帧来恢复当前丢失帧[4]，这等效于拷贝前一帧中相对应位置的MB，即零运动矢量拷贝（或称直接替代）。若图像中物体在转动过程中使用零运动矢量拷贝掩盖方法，不精确的掩盖导致误差扩散，使得掩盖后的图像比实际图像的运动有所延迟。尤其是运动剧烈的视频序列，这种方法的掩盖效果更不理想。当出现连续多个整帧丢失时，这等效于重复拷贝丢失帧的前一帧，直到接收到一个新的帧内编码帧为止。

2.2  前帧对应块运动矢量拷贝掩盖丢失帧

   利用前一帧与当前块相同坐标位置的块运动矢量来作为当前块的丢失运动矢量，然后以前一帧作为参考帧进行1/4像素精度插值，按行的顺序将预测补偿后的块拷贝到当前图像帧中，以便恢复整帧图像。前帧对应块运动矢量拷贝（即MV拷贝）掩盖丢失帧以宏块为单位，因此掩盖后的图像有方块效应。

2.3  基于光流场方程估计丢失帧

2.3.1 光流场概念

   光流(OF:Optical Flow)[5-6]在二维速率场常用来描述图像中物体的运动情况，在计算机显示、视频编码和计算机视图等领域有广泛的应用前景，它能正确估计图像中物体的运动趋势，其前提是假设数据保持恒定。例如在小范围内度量图像亮度，则局部图像的亮度信息保持恒定。OF和亮度信息之间的关系用下式表示，称为OF方程：

   方程式(1)可以看出，一个方程三个变量，无法直接求解。因此，先对方程式进行调整和估计，即调整光流场和估计亮度信息。

   方程(1)、(2)表明具有相同运动趋势物体的亮度信息保持恒定速率运动，即t-1帧到t帧的亮度信息不变，运动矢量不依赖于t帧而依赖于t-1帧的运动矢量。因此，首先估计丢失帧的MV，再用估计的MV来恢复丢失帧。这等效于用F来描述这种关系，如下式所示：

   方程(3)说明一旦估计出运动矢量，t-1帧便可根据和映射出t帧，前提是假设亮度信息保持恒定。由式(1)和(2)可知F函数定义了怎样去估计丢失帧前向运动矢量FMV，以便将t-1帧映射到t帧中。因t帧的亮度信息未知，F函数需要对、和进行适当的平滑约束。由于无线视频通信要求误码掩盖方案简单以便提供低的复杂度和实时性，试验证明F为恒定速率模型[5]时，存在下列关系式：

   由于t-1帧已正确解码，根据方程(3)估计的FMV将t-1帧的像素映射到t帧中。若，说明像素属于帧内编码宏块，则停止映射，对帧内编码宏块的像素作个标记。为了补偿t帧中没有映射到的像素点，t帧中帧内编码宏块像素的MV用相邻像素有效估计MV的中值来代替。

（2）确定映射像素在丢失帧中的空间位置

   H.264基于1/4像素精度进行运动矢量预测，本文为了减少计算量，采用整数像素精度。

（3）映射丢失帧

   根据OF方程估计出的FMV，和t-1帧像素在t帧中的空间位置，将t-1帧中的像素映射到t帧中。一方面，出现多个像素映射到同一个像素点，采用循环求平均的方法，将最终的平均值赋值给丢失像素；另一方面，如果t帧中出现没有像素映射的现象，就会出现一些细细的亮条，则利用相邻像素插值补偿。

3实验结果和分析

   测试序列采用YUV4:2:0格式的foreman.qicf(176*144)图像，编码速率45kbit/s，帧频10帧/s，采用JM86参考软件[7]（RTP打包）。不采用数据分割，编码序列第1帧采用帧内编码，无B/SP/SI帧。编码模式采用一帧两个slice，FMO的类型为奇偶交织。用3GPP的S4-050559提案生成丢包率分别为2%、4%、9%的丢包序列，使用一个参考帧。掩盖后序列的平均信噪比测试结果如表1所示。

   从表格1可知，在丢包率为2%时，本文方法信噪比比帧拷贝掩盖方法提高1.55db，比MV拷贝方法提高0.91db，在其它丢包情况下也有不同程度的提高。采用Forman序列的第226丢失帧为例，图2(a)表示第225帧正确图像；图(b)表示第226帧正确图像。采用三种掩盖方法进行测试，掩盖后图像的主观效果如图3所示。

   图3(a)是帧拷贝掩盖丢帧效果图，可以看到和图2(a)相同，因此帧拷贝掩盖丢失帧出现画面静止现象。图3(b)是基于MV拷贝的掩盖效果，可以看出在下巴部分有方块效应，因拷贝前帧对应块的MV不够精确，发生错位（如墙角部分），会影响后面的一帧，导致错位蔓延。因此，基于前帧对应块运动矢量拷贝掩盖丢失帧适用于运动缓慢的情况，但有方块效应。图3(c)是本文方法的效果图，由此可见根据OF方程估计丢失帧以像素为单位能消除MV拷贝以块为单位带来的错位现象，并且具有较好的平滑性和连续性，同时消除了帧拷贝掩盖方法出现的静止画面现象。

4结 论

   基于OF方程估计丢失整帧的差错掩盖方法，克服了帧拷贝序列图像的停顿现象，具有较好的视觉流畅性，使得PSNR有所提高；避免了MV拷贝方法中明显存在的方块效应、误码扩散甚至错位现象，提高了主观视觉效果。由此可见，本文方法应用在H.264低码率无线视频传输中的整帧丢失掩盖中，可以有效地抑制视频差错的扩散，取得较好的差错掩盖效果。

参 考 文 献

[1] Donghyung Kim,Siyong Yanga and Jechang Jeong. A New Temporal     Error Concealment Method for H.264 using Adaptive Block Sizes[A]. IEEE International Conference on Image Processing[C], 2005,3(11-14): 928-931

[2] Yanling Xu and Yuanhua Zhou. H.264/Video Communication Based  Refined Error Concealment Schems[A]. IEEE Transactions on Consumer Electronics[C], 2004,50(4)：1135~1141

[3] Z.Alkzchouch and M.G.Bellanger. DCT-based spatial domain interpolation of blocks in images[A]. IEEE Transactions on Image Process[C], 2000,9(4):729~732

[4] Pengqiang,Zhu Chang-qian. Study on Temporal Error Concealment for Video Tansmission[J]. Journal of the China Rail Way Society, 2004,26(4): 55~59.[彭强没,诸唱钤. 视频传输差错时域掩盖方法研究，铁道学报，第26卷第4期,2004:55~59]

[5] Zhi-Heng Zhou,Sheng-Li Xie. Error concealment based on robust   optical flow[A]. Proceedings of International Conference on Communications, Circuits and Systemn[C], 2005,1:547~550

[6] Stefano Belfiore,Marco Grangetto,Enrico Magli,Gabriella Olmo. Concealment of Whole-Frame Losses for Wireless Low Bit-Rate Video Based on Multiframe Optical Flow Estimation[A]. IEEE Transactions on Multimedia[C], 2000,7(2):316-328

[7] JVT Model(JM8.6):http://iphome.hhi.de/suehing/tml/dounload/jm8.6zip.