【系统分析师之路】系统分析师必知必会(多媒体基础)

【系统分析师之路】系统分析师必知必会(多媒体基础)

一. 基于内容检索

多媒体数据库中，基于内容检索的体系结构可以分为两个子系统：特征抽取子系统和查询子系统。
目前基于内容的多媒体检索任是新兴的研究领域，需要解决的关键技术问题包括了：多媒体特征描述，特征自动提取，多媒体的同步技术，匹配和机构的选择问题，以及按多相似特征为基础的索引，查询和检索等。

二. 国际电信联盟ITU

为了在线路交换网络和信息包交换网络这两种类型的网络上开发多媒体通信功能，国际电信联盟（ITU)制定了一系列相关标准。
H.323标准:基于包交换网络的多媒体（音视频）通信系统标准。它是面向无QoS保障的包交换网络上的多媒体通信标准。
H.323标准用于LAN视频会议。
H.323为基于网络的通信系统定义了四个主要的组件：终端，网管，网闸，多点控制单元。
通用视频会议系统的核心多点控制单元MCU。
H.324是低速率网络（如PSTN)上多媒体通信及终端的标准
H.320标准面向窄带综合业务数字网（N-ISDN)，是窄带可视电话系统的通信标准
H.264是视频压缩编码技术的标准

三. MIDI和Wave

MIDI音效合成主要有FM调频和WaveTable波表两个部分组成。
MIDI是合成声音，一种是频率调制合成法，一种是音乐样本合成法，也叫做波表合成法。
Wave记录了声音的波形，即模拟信号的采样数据，不是合成声音，Wav记录的声音文件和原声基本是一致的。

四. 图像的压缩冗余

量化是造成编码信息损失的根源，是有损过程。
JPEG的失真主要来源于变换系数量化的编码步骤。
数字图像的冗余表现为以下的几种形式：空间冗余，时间冗余，视觉冗余，信息墒冗余，结构冗余和知识冗余。
静态图像的压缩编码可以采用无损压缩编码或有损压缩编码方法，需要视具体需求进行选择或组合多种编码方法。

1）空间冗余

图像内部相邻像素之间存在较强的相关性所造成的冗余。JPEG可压缩消除该类冗余。
静态图像的相邻像素之间具有较大的相关性。JPEG压缩编码利用变换编码与量化来消除这种冗余。
JPEG标准的压缩编码与解码是有失真的，变换后系数的量化是引起失真的主要原因。

2）时间冗余

在视频图像序列中，不同帧之间的相关性造成的冗余。

3）视觉冗余

人眼不能感知或者不够敏感的那部分图像信息。

4）信息熵冗余

也称为编码冗余，如果每个像素使用的比特数大于该信息的信息熵，则图像中存在信息熵冗余。
熵编码方法主要包含哈夫曼编码、香农-范诺编码以及算术编码等,而行程编码不属于熵编码。
熵编码属于无失真编码，它是根据消息出现概率的分布特性而进行的编码技术。
哈夫曼编码属于熵编码，是建立在信源的统计特性之上的无损压缩编码技术
哈夫曼编码按照信源符号出现的频度或概率排序后递归地自底向上建立编码树，即可得到变长信息编码。
词典编码也属于无损压缩编码，其基本思想是利用数据本身包含有重复代码这个特性。

5）结构冗余

图像中存在很强的纹理结构和自相似性

6）知识冗余

是指在有些图像中还包含与某些先验知识有关的信息

五. 流媒体

流媒体一般是基于UDP和RTP两个协议。
流媒体实现音视频在网络上的实时传输和实时播放。
流媒体一共有两种传输类型：顺序传输和实时传输。

1）顺序传输

给定时刻只能观看已下载的部分，不能根据网络情况对下载速度进行调整，HTTP服务器可以胜任顺序传输

2）实时传输

支持随机访问，能保证媒体信号带宽与当前网络状况相匹配，需要特定的服务器。

六. 视频压缩算法

MPEG视频中的空间冗余，常用变化编码和帧内预测，对于时间冗余，常用帧间预测和运动补偿。

1）选择多媒体压缩算法考虑因素

数据质量
恢复数据时的失真程度，失真越小越好；
数据量
压缩后的数据大小，越小越好；
计算复杂度
越简单快速越好；

2）四类视频压缩方法

时间域压缩
可以迅速传输媒体信源
频率域压缩
可以并行开通更多业务
空间域压缩
可以降低存储费用
能量域压缩
可以降低发射功率

七. MPEG

1）MPEG-1

MP3，CD-ROM，VCD标准
MPEG-1视频中的帧间编码主要采用了基于运动补偿的帧间预测编码
视频图像的帧序列包括帧内图像(I帧)、预测图像(P帧)和插补图像(B帧)。
I帧是帧内图像，帧内编码主要采用了变换编码。帧内图像不参照任何过去的或者将来的其他图像帧，它能够直接作为索引点。
P帧是预测图像，预测图像使用基于运动补偿的单向帧间预测编码；
B帧是插补图像，或称双向预测图像

2）MPEG-2

DVD的标准

3）MPEG-4

多媒体应用标准，是一个数据率很低的多媒体通信标准，可以应用在移动通信和公共电话交换网上，可支持可视电话，可视邮件，电子报纸和其他低速率传输场合下应用。
最适合在公用电话交换网PSTN上实时传输视频数据。

4）MPEG-7

多媒体内容描述接口，采用XML作为内容描述可选语言，
包括音视频和3D模型描述标准，及MPEG-7参考软件。

5）MPEG-21

多媒体应用框架标准；

八. 多媒体图像

1）真彩色图像

每个像素集中有RGB三个分量，每个分量直接决定显示设备的基色强度；
将彩色视频信号数字化时，利用图像子采样技术通过降低色度信号的采样频率，以减少数据量

2）直接色图像

每个像素分别为RGB三个分量，每个分量作为单独的索引值，通过变化表找出基色强度，用变化后的RGB强度值产生色彩。

3）伪彩色图像

将像素值当作彩色查找表的表项入口地址去查找显示图像时显示的RGB值，最终用查到的RGB值来显示色彩。
伪彩色（Pseudo-color）图像的每个像素值实际上是一个索引值或代码，该代码值作为色彩查找表CLUT（Color Look-Up Table）中某一项的入口地址，根据该地址可查找出包含实际R、G、B的强度值。这种用查找映射的方法产生的色彩称为伪彩色

4）矢量图像

使用各种计算机指令来表示一副图像。如点，线，矩形，曲线，其中色彩属性表示了形状的颜色。
位图的基本组成单位是像素点，而矢量图的基本组成单位是图元

九. 媒体分类

媒体总共分为了五个大类：表示媒体，表现媒体，感觉媒体，存储媒体和传输媒体。

1）感觉媒体

直接作用于人的感官的媒体，比如音乐，声音，图像，文字，数据，文件等；

2）表示媒体

为了处理加工，传输感觉媒体而人为研究，创造出来的一种媒体。表示媒体是指各种编码，比如语音编码，文字编码，文本编码，图像编码等。
3）存储媒体
比如硬盘和CDROM，这个比较好辨别；

4）传输媒体

通信的信息载体，比如双绞线，同轴电缆，光纤等。

5）表现媒体

感觉媒体和用于通信的计算机之间转换用的一类媒体。如键盘，话筒，显示器，扫描仪等
表现媒体又可以分为输入表现媒体和输出表现媒体两个大类。
表现媒体可以简单理解为输入输出设备。

十. 其他

多媒体电子出版物创作的主要步骤：应用目标分析，脚本编写，媒体数据准备，设计框架与系统集成，制作合成测试。
点距是指屏幕上两个相邻荧光点的距离。点距越小，显示器显示图形就越清晰。
数字通信中，根据采样定理，最小采样频率为语音信号最高频率的两倍。人的语音频率在300Hz-3.4kHz之间，所以电话话音编码使用的信号采样率为4kHz。
蓝光采用波长较短的蓝色激光（DVD使用的是红色激光），来读取写入数据，单层的数据容量达到了25G，是现有DVD的五倍。
中国的数字音视频压缩编码国家标准是AVS。
计算机多媒体技术和设备的基本特征包括数字化、集成性、交互性和围绕计算机而构成并受计算机的控制