#12001/6/13 20:48:14
为了支持众多的多媒体应用,MPEG-4不仅保留了现有标准中的一些解决方案,而且致力于一些新功能的研究与定义。这些新功能包括可化分为三大类:
u 基于内容的交互功能:
l 基于对象的多媒体存取工具
l 基于对象的码率控制和编辑功能(提供编辑视频对象的方法)
l 基于对象的时域随机存取 l 自然及合成数据的混合编码 u 数据压缩编码: l 视频数据的高效编码 l 多个并发数据的有效编码 u 通用存取功能: l 易错环境下的鲁棒性 l 基于内容的伸缩性(表现在时域、空间及重建图像质量上) 这些功能无疑会加速多媒体应用的发展,而从中受益的应用领域有: ü 因特网多媒体应用 ü 交互式视频游戏 ü 实时可视通信,例如可视电话、实时通信等 ü 交互式存储媒体应用,如CD-ROM、DVD等 ü 广播电视 ü 演播室技术及电视后期制作 ü 采用面部动画技术的虚拟会议 ü 多媒体邮件 ü 移动通信条件下的多媒体应用 ü 远程视频监控 ü 通过ATM网络等进行的远程数据库业务,等等 MPEG-4的视频编码部分为了实现这些丰富多彩的多媒体应用,以算法和工具的形式为下列功能的实现提供了解决方案:
1) 图像和视频的有效压缩;
2) 2D和3D网格纹理映射图(用于合成图像编码)的有效压缩;
3) 隐含(implicit)的2D网格的有效压缩;
4) 控制网格运动的节点时变几何数据流的有效压缩;
5) 各种视频对象的有效存取;
6) 对图像和视频序列的扩展操纵;
7) 基于内容的图像和视频编码;
8) 纹理、图像和视频基于内容的伸缩性;
9) 视频序列中时域、空间及质量的伸缩性;
10) 易错环境下的鲁棒性。
上述的这些功能大部分与基于内容的创作、发布和存取有关。此外,MPEG-4对合成视频对象的支持同样引人注目:MPEG-4可对合成的面部与人体进行参数化描述;对面部与身体活动信息以参数化的数据流进行描述;支持具有纹理映射功能的静态/动态网格编码;支持视点有关应用(View Dependent Application)中的纹理编码。
MPEG-4视频编码标准将支持MPEG-1、MPEG-2中的大多数功能,提供不同视频标准源格式、码率、帧频下矩形图像的有效编码,同时也将支持基于内容的图像编码。图1为MPEG-4支持的码率与相应功能集之间关系的示意图。 在这一功能集的底层是VLBV核心(VLBV:Very Low Bit Rate Video)。它为5-64kbits/s视频操作与应用提供算法与工具,支持较低的空间分辨率(低于352×288像素)和较低的帧频(低于15Hz)。VLBV核心支持的专用功能包括:(a)实时多媒体应用:支持矩形图像序列的有效编码,具有编码效率高、高精度、高容错度、低延时等特点。(b)多媒体数据库应用:支持多媒体数据库的存储、随机存取以及FF/FR(快进/快退)等功能与操作。 图1 MPEG-4支持的码率与相应功能集 MPEG-4的HBV(HBV: High Bit Rate Video,范围在64kbits/s-4Mbits/s之间)同样支持上述功能,但它支持较高的空间与时间分辨率。其输入可以是ITU-R 601的标准信号,因此其典型应用为数字电视广播与交互式检索。
未来的多媒体应用呼唤全新的交互方式,以满足用户的需求。传统的交互存取方式中,在传统的交互过程中,用户得到的场景是制作人员事先编排好的,用户只能对音视频序列进行简单的回放。MPEG-4提出了基于内容(Content-based)的存取概念,努力使用户根据制作者设计的具体自由度,与场景进行交互。用户不仅可以改变场景的视角,在其中尽情畅游,还可以改变场景中物体的位置、大小和形状,或对该对象进行置换甚至清除。用户将从这些简便、灵活的交互过程中获得的丰富的信息和极大的乐趣。