多媒体表示、描述、编码以及通信的相关规定和标准课程总结

• 时间：2016.10.11-2016. 11.3
• 注意关注会议

机构

• ITU（国际电信联盟）

• MPEG： Moving Picture Experts Group，动态图像专家组, 是ISO（International Standardization Organization，国际标准化组织）与IEC（International Electrotechnical Commission，国际电工委员会）于1988年成立的专门针对运动图像和语音压缩制定国际标准的组织。每年举办三次会议。

• 3GPP： 3GPP的目标是实现由2G网络到3G网络的平滑过渡，保证未来技术的后向兼容性，支持轻松建网及系统间的漫游和兼容性。 其职能： 3GPP主要是制订以GSM核心网为基础，UTRA(FDD为W-CDMA技术，TDD为TD-CDMA技术)为无线接口的第三代技术规范。

标准

MPEG标准：

• MPEG-1/1993：11172，VCD
• MPEG-2/1995：13818，DVD
• MPEG-4/1999：.mp4格式的视频，目前仍在使用
• MPEG-4 AAC/2003 /H.264
• MPEG-7/2001：15938，检索标准，较老了
• HEVC（2013）/H.265
• MPEG-21

Dolby AC3标准

AVS标准

两种向量差值的表示：

• 欧氏距离：|F1-F2|^2； 欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。

• 马氏距离： 马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的(scale-invariant)，即独立于测量尺度。对于一个均值为μ，协方差矩阵为Σ的多变量向量，其马氏距离为(x-μ)’Σ^(-1)(x-μ)。

JPEG2000 图像检索

问题：描述、匹配、视角问题、手机搜索

拍照过程（信息有损失）：

• 3D——>2D；

• 成像输入——>摄像头——>去噪——>对应RGB不同的通道对图像采样——>DSP处理——>输出

描述：

Globle Feature：

• 颜色
• 结构
• 轮廓

Local Feature ：

• keypoint（特征点、关键点）
• Interesting content
• precise localization
• repeatable detection under variations of scale rotation（旋转、尺度等变换可重复检测）

SIFT

SIFT概念：

• 尺度不变特征变换（Scale-invariant feature transform，SIFT），是用于图像处理领域的一种描述。

• 这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。

  • keypoint（特征点、关键点）
  • Interesting content
  • precise localization
  • repeatable detection under variations of scale rotation（旋转、尺度等变换可重复检测）

• 该方法于1999年由David Lowe首先发表于计算机视觉国际会议（International Conference on Computer Vision，ICCV），2004年再次经David Lowe整理完善后发表于International journal of computer vision（IJCV）。截止2014年8月，该论文单篇被引次数达25000余次。

SIFT实现方法：

• 金字塔形状分解（pyramids）；逐级检测

• 尺度空间（scale space）;DOG method

仿射（Affin Transform, AT）

包括：旋转、倾斜、平移、缩放

第二课

MPEG-1

• CD11172-1，音频（A、B、C、D、E、F、G）

• 帧同步：CD11172-2，视频。

• 注意：encoder issue编码器问题，只要编码后的码流符合标准即可，对编解码器并没有规定，其中涉及优化问题。

MPEG-1 ：13818（视频标准）

帧内编码：

audio（听觉）

• Bn=20KHZ，Fs=44.1KHZ，或是48KHZ Bps=16bit

voice（语音）

• Bn=3.4KHZ->4KHZ ，Fs=8KHZ Bps=8bit

MPEG Audio

• Audio layout2 ——MP2：时域上编码

• Audio layout3 ——MP2：滤波器组，切割成32个子带

• AAC MP3有更大的采样率：8-96KHZ，更大的比特数和更长的帧长

编码器

• CELP：较有名的编码器， 基于模型的编码
• MIDI

三基色：RGB

• 16777216种颜色

• 4096/2048 量化，取最大值

描述图像，用于检索的指标有

• PBC
• SRC
• Edge histogram
  注意：旋转不变性，解决的是角度问题。