MPEG-4 视频编码核心思想及关键技术

    核心思想 
    在 MPEG-4 制定之前， MPEG-1 、 MPEG-2 、 H.261 、 H.263 都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码，这种编码方案存在以下缺陷： 
·  将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应； 
·  不能对图像内容进行访问、编辑和回放等 * 作； 
·  未充分利用人类视觉系统（ HVS ， Human Visual System ）的特性。 
    MPEG-4 则代表了基于模型 / 对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及 * 作的发展趋势。 
AV 对象（ AVO ， Audio Visual Object ）是 MPEG-4 为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和 * 纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在 MPEG-4 中所见的视音频已不再是过去 MPEG-1 、 MPEG-2 中图像帧的概念，而是一个个视听场景（ AV 场景），这些不同的 AV 场景由不同的 AV 对象组成。 AV 对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始 AV 对象，它可以是自然的或合成的声音、图像。原始 AV 对象具有高效编码、高效存储与传输以及可交互 * 作的特性，它又可进一步组成复合 AV 对象。因此 MPEG-4 标准的基本内容就是对 AV 对象进行高效编码、组织、存储与传输。 AV 对象的提出，使多媒体通信具有高度交互及高效编码的能力， AV 对象编码就是 MPEG-4 的核心编码技术。 
    MPEG-4 不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用。 
    MPEG-4  采用了新一代视频编码技术，它在视频编码发展史上第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于对象和内容的现代编码的转变，因而引领着新一代智能图像编码的发展潮流。
     关键技术 
MPEG-4 除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码外，还提出了一些新的有创见性的关键技术，并在第一代视频编码技术基础上进行了卓有成效的完善和改进。下面重点介绍其中的一些关键技术。 
    A.  视频对象提取技术 
MPEG-4 实现基于内容交互的首要任务就是把视频 / 图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是 MPEG-4 视频编码的关键技术，也是新一代视频编码的研究热点和难点。
视频对象分割涉及对视频内容的分析和理解，这与人工智能、图像理解、模式识别和神经网络等学科有密切联系。目前人工智能的发展还不够完善，计算机还不具有观察、识别、理解图像的能力；同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高层次上对视频内容进行理解。因此，尽管 MPEG-4  框架已经制定，但至今仍没有通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为是一个具有挑战性的难题，基于语义的分割则更加困难。 
     目前进行视频对象分割的一般步骤是：先对原始视频 / 图像数据进行简化以利于分割，这可通过低通滤波、中值滤波、形态滤波来完成；然后对视频 / 图像数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征；再基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取边界。 
     在视频分割中基于数学形态理论的分水岭（ watershed ）算法被广泛使用，它又称水线算法，其基本过程是连续腐蚀二值图像，由图像简化、标记提取、决策、后处理四个阶段构成。分水岭算法具有运算简单、性能优良，能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏感，且未利用帧间信息，通常会产生图像过度分割。 
    B. VOP 视频编码技术 
     视频对象平面（ VOP ， Video Object Plane ）是视频对象（ VO ）在某一时刻的采样， VOP 是 MPEG-4 视频编码的核心概念。 MPEG-4 在编码过程中针对不同 VO 采用不同的编码策略，即对前景 VO 的压缩编码尽可能保留细节和平滑；对背景 VO 则采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高压缩率编码所产生的方块效应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基于内容的交互，为视频编码提供了广阔的发展空间。
MPEG-4 支持任意形状图像与视频的编解码。对于任意形状视频对象。对于极低比特率实时应用，如可视电话、会议电视， MPEG-4 则采用 VLBV （ Very Low Bit-rate Video ，极低比特率视频）核进行编码。 
     传统的矩形图在 MPEG-4 中被看作是 VO 的一种特例，这正体现了传统编码与基于内容编码在 MPEG-4 中的统一。 VO 概念的引入，更加符合人脑对视觉信息的处理方式，并使视频信号的处理方式从数字化进展到智能化，从而提高了视频信号的交互性和灵活性，使得更广泛的视频应用及更多的内容交互成为可能。因此 VOP 视频编码技术被誉为视频信号处理技术从数字化进入智能化的初步探索。 
    C.  视频编码可分级性技术 
     随着因特网业务的巨大增长，在速率起伏很大的 IP （ Internet Protocol ）网络及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越多。在这种背景下，视频分级编码的重要性日益突出，其应用非常广泛，且具有很高的理论研究及实际应用价值，因此受到人们的极大关注。
     视频编码的可分级性（ scalability ）是指码率的可调整性，即视频数据只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种类型用户的各种不同应用要求。 
    MPEG-4 通过视频对象层（ VOL ， Video Object Layer ）数据结构来实现分级编码。 MPEG-4 提供了两种基本分级工具，即时域分级（ Temporal Scalability ）和空域分级（ Spatial Scalability ），此外还支持时域和空域的混合分级。每一种分级编码都至少有两层 VOL ，低层称为基本层，高层称为增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列更高的分辨率和细节。 
     在随后增补的视频流应用框架中， MPEG-4 提出了 FGS （ Fine Granularity Scalable ，精细可伸缩性）视频编码算法以及 PFGS （ Progressive Fine Granularity Scalable ，渐进精细可伸缩性）视频编码算法。 
    FGS 编码实现简单，可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可扩展性，且具有很强的带宽自适应能力和抗误码性能。但还存在编码效率低于非可扩展编码及接收端视频质量非最优两个不足。
    PFGS 则是为改善 FGS 编码效率而提出的视频编码算法，其基本思想是在增强层图像编码时使用前一帧重建的某个增强层图像为参考进行运动补偿，以使运动补偿更加有效，从而提高编码效率。
    D.  运动估计与运动补偿技术 
    MPEG-4 采用 I-VOP 、 P-VOP 、 B-VOP 三种帧格式来表征不同的运动补偿类型。它采用了 H.263 中的半像素搜索（ half pixel searching ）技术和重叠运动补偿（ overlapped motion compensation) 技术，同时又引入重复填充（ repetitive padding ）技术和修改的块（多边形）匹配（ modified block  （ polygon ） matching ）技术以支持任意形状的 VOP 区域。
     此外，为提高运动估计算法精度， MPEG-4 采用了 MVFAST （ Motion Vector Field Adaptive Search Technique ）和改进的 PMVFAST （ Predictive MVFAST ）方法用于运动估计。对于全局运动估计，则采用了基于特征的快速顽健的 FFRGMET （ Feature-based Fast and Robust Global Motion Estimation Technique ）方法。 
在 MPEG-4 视频编码中，运动估计相当耗时，对编码的实时性影响很大。因此这里特别强调快速算法。运动估计方法主要有像素递归法和块匹配法两大类，前者复杂度很高，实际中应用较少，后者则在 H.263 和 MPEG 中广泛采用。在块匹配法中，重点研究块匹配准则及搜索方法。目前有三种常用的匹配准则： 
（ 1 ）绝对误差和（ SAD, Sum of Absolute Difference ）准则； 
（ 2 ）均方误差（ MSE, Mean Square Error ）准则； 
（ 3 ）归一化互相关函数（ NCCF, Normalized Cross Correlation Function ）准则。 
     在上述三种准则中， SAD 准则具有不需乘法运算、实现简单方便的优点而使用最多，但应清楚匹配准则的选用对匹配结果影响不大。 
在选取匹配准则后就应进行寻找最优匹配点的搜索工作。最简单、最可靠的方法是全搜索法（ FS, Full Search ），但计算量太大，不便于实时实现。因此快速搜索法应运而生，主要有交叉搜索法、二维对数法和钻石搜索法，其中钻石搜索法被 MPEG-4 校验模型（ VM, Verification Model ）所采纳，下面详细介绍。 
钻石搜索（ DS, Diamond Search ）法以搜索模板形状而得名，具有简单、鲁棒、高效的特点，是现有性能最优的快速搜索算法之一。其基本思想是利用搜索模板的形状和大小对运动估计算法速度及精度产生重要影响的特性。在搜索最优匹配点时，选择小的搜索模板可能会陷入局部最优，选择大的搜索模板则可能无法找到最优点。因此 DS 算法针对视频图像中运动矢量的基本规律，选用了两种形状大小的搜索模板。 
·  大钻石搜索模板（ LDSP, Large Diamond Search Pattern ），包含 9 个候选位置； 
·  小钻石搜索模板（ SDSP, Small Diamond Search Pattern ），包含 5 个候选位置。 
    DS 算法搜索过程如下：开始阶段先重复使用大钻石搜索模板，直到最佳匹配块落在大钻石中心。由于 LDSP 步长大，因而搜索范围广，可实现粗定位，使搜索不会陷于局部最小，当粗定位结束后，可认为最优点就在 LDSP  周围 8  个点所围菱形区域中。然后再使用小钻石搜索模板来实现最佳匹配块的准确定位，以不产生较大起伏，从而提高运动估计精度。 
此外 Sprite 视频编码技术也在 MPEG-4 中应用广泛，作为其核心技术之一。 Sprite 又称镶嵌图或背景全景图，是指一个视频对象在视频序列中所有出现部分经拼接而成的一幅图像。利用 Sprite 可以直接重构该视频对象或对其进行预测补偿编码。 
    Sprite 视频编码可视为一种更为先进的运动估计和补偿技术，它能够克服基于固定分块的传统运动估计和补偿技术的不足， MPEG-4 正是采用了将传统分块编码技术与 Sprite 编码技术相结合的策略。

    MPEG4 的应用领域
     凭借着出色的性能， MPEG4 技术目前在多媒体传输、多媒体存储等领域得到了广泛的应用，下面我们就来看看目前在那些领域 MPEG4 技术得到了大显伸手的机会。
    1 、精彩的视频世界
精彩的视频世界是 MPEG4 技术应用最多也是最为广大朋友所熟悉的的形式。目前它主要以两种形式出现，一种是 DIVX － MPEG4 影碟（国内市面上已出现，且 D 版居多），另一种是网上 MPEG4 电影。
   （ 1 ）、我们先来说说 DIVX － MPEG4 影碟， DIVX 视频编码技术实际上就是 MPEG4 压缩技术，它由微软 MPEG4V3 修改而来，使用的是 MPEG4 压缩算法，并同时分离视频和音频。它的核心部分便是由 DivX 对 DVD 音视频进行压缩，生成 Mpeg4 视频格式文件 ( 也就是 AVI 格式 ) 。
小提示：笔者也是经常被朋友所问到： " 我看到的 MPEG4 电影片段明明是 avi （扩展名）格式文件，并且 Windows 的媒体播放器也与之关联，但就是无法播放 " 。其实，  MPEG4 并没有确定必须用什么扩展名，它只是一种编码方法而已。使用 avi 作为扩展名，是一种习惯性的沿用。
在计算机上播放 MPEG4 影音文件的方法目前有两种：第一种是用诸如 DivxPlayer 等专门的播放软件来播放；第二种播放方法是安装 MPEG4(Divx) 插件后，用 Windows 自带的媒体播放机来播放。
    （ 2 ）、随着网络技术的不断发展，互联网上的视频流应用也成为了近几年的热门话题。目前，在互联网上比较流行的几种影像格式包括 Quicktime 、 RealPlay 以及微软的 MediaPlayer 等。 MPEG4 技术出现之后，互联网上又出现了 MPEG4 格式的电影，不过在观看前，系统会提示你下载最新的 MPEG4 解码软件。
小提示：大家平时在网上可能经常会看见 ASF 格式的电影，其实它也是微软公司开发出的一种可以直接在网上观看视频节目的压缩格式。使用的也是 MPEG4 的压缩算法，但因为它是以网上即时观看电影的视频流格式存在的，所以它的图像质量相对要差一些。
   
    2 、低比特率下的多媒体通信，
目前， MPEG4 技术已经广泛的应用在如视频电话、视频电子邮件、移动通信、电子新闻等多媒体通信领域。由于这些应用对传输速率要求较低，一般在 4.8 ～ 64kbit/s 之间，分辨率为 176×144 左右。因此 MPEG4 技术完全可以充分的利用网络带宽，通过帧重建技术压缩和传输数据，以最少的数据量获得最佳的图像质量。
   
    3 、实时多媒体监控。
多媒体监控领域原来一直是 MPEG1 技术担当重任，但近些年来，它们也是 " 城头变换大王旗 " 了。由于 MPEG4 压缩技术原本是一种适用在低带宽下进行信息交换的音视频处理技术，它的特点是可以动态的侦测图像各个区域变化，基于对象的调整压缩方法可以获得比 MPEG1 更大的压缩比，使压缩码流更低。因此，尽管 MPEG4 技术一开始并不是专为视频监控压缩领域而开发的，但它高清晰度的视频压缩，在实时多媒体监控上，无能是存储量，传输的速率，清晰度都比 MPEG1 具有更大的优势。
   
    4 、基于内容存储和检索的多媒体系统。
由于 MPEG4 在压缩方法上远远优于 MPEG1 技术，更是 MJPEG 技术所不能比拟的。   经过专家的测试表明，在相同清晰度对应 MPEG1 （ 500Kbits/sec ）码流情况下，  MPEG4 比 MPEG1 节省了 2/3 的硬盘空间，在一般活动场景下也节省近一般的容量。因此无论是从内容存储量，还是从多媒体文件的检索速度来说， MPEG4 技术都是多媒体系统应用的不二之选。
   
    5 、硬件产品上面的应用
目前， MPEG4 技术在硬件产品上也已开始逐步得到应用。特别是在视频监控、播放上，这项高清晰度，高压缩的技术得到了众多硬件厂商的钟爱，而市场上支持 MPEG4 技术的产品也是种类繁多。下面笔者就列举一些代表性的产品，旨在让读者了解 MPEG4 技术在今天应用范围之广。
    （ 1 ）、摄像机：日本夏普公司推出过应用在互联网上的数字摄像机 VN － EZ1 。这台网络摄像机利用 MPEG4 格式，可把影像文件压缩为 ASF （高级流格式），用户只要利用微软公司的 MediaPlayer 播放程序，就可以直接在电脑上进行播放。
    （ 2 ）、播放机：飞利浦公司于今年八月份推出了一款支持 DivX 的 DVD 播放机 DVD737 。它可以支持 DivX 3.11 、 4.xx 、 5.xx 等 MPEG4 标准，而对于新标准的支持则可以通过升级固件来实现。
    （ 3 ）、数码相机：日本京瓷公司在 11 月中旬发售其最新款数码相机 Finecam L30 ，这款是采用 300 万像素、 3 倍光学变焦设计的数码相机产品，  L30 采用了 MPEG4 格式动态视频录制，可以让动态视频录制画面效果比传统数码相机更出色。
    （ 4 ）、手机：在手机领域， MPEG4 技术更是得到了广泛的应用，各大手机厂商也都推出了可拍摄 MPEG4 动态视频的手机型号，如西门子 ST55 、索尼爱立信 P900/P908 、 LG  彩屏 G8000 等。
    (5) 、 MPEG4 数字硬盘：在今年深圳举行的安防展览会上，开发数字录像监控产品的厂家纷纷推出了他们的最新产品，而支持 MPEG4 的 DVR 压缩技术也成为改展会上的亮点。
如北京华青紫博科技推出的 "E 眼神 MPEG4 数字视频王 " 便是一款基于网络环境的高清晰数字化监控报警系统。内置多画面处理器，集现场监控、监听、多路同时数字录像与回放等多种功能为一体。
     其实，市场上还有许多基于 MPEG4 技术的硬件产品，笔者这里就不一一列举了，不过笔者相信，随着视频压缩技术的不断发展， MPEG4 技术的产品会越来越多的出现在我们生活，工作中。