多媒体内容分析技术

本书共7章, 包括多媒体数据的预处理、信号与参数估计、多媒体信号的特征、特征变换与分类、信号的分解、信号的合成/渲染与呈现等, 详细介绍了特征数据 (如图像或视频信号的颜色、纹理、边缘、显著特征、轮廓与形状、运动等, 音频信号的时域、频域、倒谱域等) 的估计、搜索、压缩、比较和分类等算法; 信号分解的概念 (如图像的分割、视频信号的分割、三维重建以及音频信号的分解), 以及图像和音频信号的合成与渲染等。

目 录 第1章 绪论 1 1.1 背景 1 1.2 应用 2 第2章 预处理 6 2.1 非线性滤波器 7 2.1.1 中值滤波器和排序滤波器 8 2.1.2 形态滤波器 10 2.1.3 多项式滤波器 13 2.2 幅值变换 14 2.2.1 振幅映射特性 14 2.2.2 概率分布修正与均衡 16 2.3 插值 17 2.3.1 零阶和一阶插值基函数 18 2.3.2 LTI系统插值 19 2.3.3 样条插值、拉格朗日插值和多项式插值 20 2.3.4 二维网格上的插值 23 2.4 多分辨率表示 26 2.5 局部自适应滤波器 31 2.5.1 可控平滑滤波器 31 2.5.2 迭代平滑(扩散滤波器) 33 2.6 习题 34 第3章 信号和参数估计 37 3.1 期望值和概率描述 37 3.2 观测和退化模型 40 3.3 基于线性滤波器的估计 41 3.3.1 逆滤波器 41 3.3.2 维纳滤波器 42 3.4 最小二乘估计 43 3.5 奇异值分解 46 3.6 ML和MAP估计 47 3.7 参数估计与拟合 49 3.8 异常值的剔除 51 3.9 对应分析 52 3.10 状态建模与估计 55 3.10.1 马尔可夫过程和随机场 55 3.10.2 隐马尔可夫模型 57 3.10.3 卡尔曼滤波器 58 3.10.4 粒子滤波器 59 3.11 习题 60 第4章 多媒体信号特征 62 4.1 颜色 62 4.1.1 颜色空间变换 62 4.1.2 颜色特征表示 69 4.2 纹理 73 4.2.1 基于出现次数的纹理分析 74 4.2.2 基于统计模型的纹理分析 76 4.2.3 纹理的谱特征 78 4.2.4 非均匀纹理分析 81 4.3 边缘分析 82 4.3.1 基于梯度算子的边缘检测 82 4.3.2 基于二阶导数的边缘描述 84 4.3.3 边缘查找与一致性分析 86 4.3.4 边缘模型拟合 88 4.3.5 边缘属性描述与分析 89 4.4 显著特征检测 90 4.5 轮廓与形状分析 93 4.5.1 轮廓拟合 93 4.5.2 基于方向和曲率的轮廓描述 97 4.5.3 几何特征与二值形状特征 100 4.5.4 投影与几何映射 102 4.5.5 区域形状的矩分析 110 4.5.6 基于基函数的区域形状分析 113 4.6 运动分析 113 4.6.1 将3D运动在成像平面上进行投影 113 4.6.2 基于光流原理的运动估计 116 4.6.3 基于匹配的运动估计 120 4.6.4 非平移运动参数估计 126 4.6.5 物体边界运动向量场估计 128 4.7 视差与深度分析 130 4.7.1 共面立体视觉 130 4.7.2 对极几何 132 4.7.3 相机标定 134 4.8 音频信号特征 137 4.8.1 基于时间线的音频特征提取 137 4.8.2 时域特征 139 4.8.3 谱域特征 143 4.8.4 倒谱域特征 145 4.8.5 谐波特征 146 4.8.6 多通道特征 150 4.8.7 感知特征 150 4.8.8 语义特征 152 4.9 习题 153 第5章 特征变换与分类 158 5.1 特征值归一化与变换 158 5.1.1 特征值归一化 159 5.1.2 特征值集的特征向量分析 160 5.1.3 独立成分分析 161 5.1.4 非负矩阵分解 162 5.1.5 广义Hough变换 163 5.1.6 统计表示的推导 164 5.2 距离度量 168 5.2.1 向量距离度量 168 5.2.2 与集合比较相关的距离度量 170 5.2.3 概率分布的相似性 171 5.2.4 基于类先验知识的距离度量 175 5.3 特征数据的压缩表示 177 5.4 基于特征的比较 178 5.5 可靠性 181 5.5.1 可靠性准则 181 5.5.2 分类质量 183 5.6 分类方法 185 5.6.1 两类线性分类 186 5.6.2 线性分类的推广 189 5.6.3 最近邻分类 191 5.6.4 无先验知识的分类 192 5.6.5 最大后验(朴素贝叶斯)分类 197 5.6.6 人工神经网络 199 5.7 信念、似然和证据 203 5.8 习题 205 第6章 信号的分解 207 6.1 图像的空间域分割 208 6.1.1 基于样本分类的分割 208 6.1.2 基于区域的分割方法 211 6.1.3 基于轮廓的分割方法 213 6.1.4 基于“能量最小化”的分割 214 6.2 视频信号的分割 218 6.2.1 关键帧和镜头切换检测 218 6.2.2 背景差分分割 219 6.2.3 目标跟踪与时空分割 220 6.2.4 组合分割和运动估计 224 6.3 三维表面和体数据重建 225 6.3.1 三维点云生成 225 6.3.2 三维曲面重建 226 6.3.3 三维体数据重建 227 6.3.4 基于投影的三维形状描述 228 6.4 音频信号分解 230 6.4.1 音频时域分割 230 6.4.2 音频源分离 230 6.5 习题 232 第7章 信号合成、渲染与呈现 233 7.1 多媒体信号的合成与混合 233 7.2 马赛克和缝合 236 7.3 图像内容合成 238 7.4 扭曲与变形 241 7.5 虚拟视图合成 243 7.6 帧率变换 246 7.7 图像和视频信号的视图自适应体绘制 249 7.8 音频信号的合成与渲染 251 7.8.1 声音效果 253 7.8.2 空间(房间)特征 254 附录A 基本原理和定义 257 附录B 符号和变量 273 附录C 缩略语表 278 原著参考文献