[0001] 本发明涉及多媒体视频分析和提取技术领域，具体涉及一种根据人类视觉特性分析提取视频摘要的视频简编。

[0002] 在过去几十年里，计算机视觉领域在视频数据的获取、存储、操作及传输方面都取得了很多重大理论突破和技术进步，而在视觉信息的查询和表征方面暂处于起步阶段。随着科学技术的突飞猛进，近十多年，国内外许多大学、科研单位、军方及大型集团都开始投入大量的人力、物力和财力研究开发基于内容的视频信息检索领域，力求利用能客观体现视频信息本身的低级特征来检索数据，并建立低级特征到高级语义特征的联系。

[0003] 1992年，基于内容的图象检索(CBIR)一词开始在国际上正式使用，同时基于内容的视频检索(CBVR)研究也已开始。当时人们将多媒体仅与存储和快速传输各种媒体信息的技术联系在一起时，基于内容的视觉信息检索从信息加工的角度指出，对多媒体信息进行自动查询和搜索也是非常重要的。

[0004] 1994年，在国内开始关注这方面的研究，并先后在一些刊物和杂志上概括通俗地介绍了有关的原理、方法和研究应用的特点，以唤起国内科技人员的注意和重视。同时，也结合在相关领域已有的工作基础，开始了基于内容视觉信息检索的基础研究，这个研究方向的选择现在看来是很值得的。

[0005] 1996年，在这方面的研究工作得到了国家自然科学基金项目(69672029)的支持，其后几年又陆续得到国家高技术发展计划(863)基金项目(863 317 9604 05)、清华大学创新基金项目(EE9906)、国家自然科学基金项目(60172025)等的支持。

[0006] 1998年，应邀在中国图象图形学会主办的第9届全国图象图形学术大会上做了有关基于内容视觉信息检索的特邀报告(其后还在多个大学和会议上介绍过相关内容)，受到与会人员的欢迎。

[0007] 2000年，在每年一次(从1996年开始)撰写的中国图象工程系列综述中增列了基于内容的图象和视频检索文献类(由于当年开始有相当数量的有关文献发表)。后来，该类的文献统计量逐年上升，已成为中国图象工程近年发展的主要热点之一。同年在清华大学为研究生开设了一门新的专业课——基于内容的视觉信息检索。

[0008] 目前，国内外已研发出了多个相关的视频分析系统。

[0009] QBIC全称是Query By Image Content，是IBM Almaden研究中心开发的基于内容的检索系统，它是第一个功能齐全的视频数据库系统，也是基于内容检索系统的典型代表，对视频数据库发展有较远的影响。QBIC系统支持示例查询和用户草图查询，抽取颜色、纹理、形状特征、以及镜头和目标运动等信息，并采用R-tree作为高维索引结构，进而结合关键字对大型图像和视频数据库进行查询。

[0010] 尽管目前已有多种算法，但由于视频内容的丰富性，尚存在许多问题：如大物体和镜头运动的区分、高速的物体或镜头运动、灯光背景的照射和闪烁、复杂的剪辑效果(如碎裂、波纹、变形等)等复杂情况下，误识别和漏识别率普遍较高；由于视频的数据量大，处理时间长，很多算法的识别速度与实际应用相距还很远；提取是基于内容的视频分析技术的关键，以往的研究特征主要集中在颜色、纹理、形状等低级特征上，但这些特征不能完全准确地描述出图像的含义。

[0015] 本发明涉及一种根据人类视觉特性分析提取视频摘要的视频简编。采用动态视频摘要模式，从人类视觉角度分析视频内容，根据视频内容对视觉的影响程度来提取视频内容片段。进行视频镜头分类，不同的镜头类型对视觉有不同的吸引力，同时融入人脸识别技术。从观众视觉感知的角度分析视频内容，依据视频的色彩对比度来提取视频片段，跟符合人类视觉系统。

[0016] 视频分割成镜头后就要对各个镜头进行特征提取，得到一个尽可能充分反映镜头内容的特征空间，这个特征空间将作为视频聚类和检索的依据。特征提取包括关键帧中的视觉特征和镜头的运动特征的提取。

[0017] 本实施例中具体实施说明如下：

[0018] 1、通过对6个高级影片元素：镜头类型、色彩的对比度、镜头动作、物体动作、对话字幕、音轨的分析后，将视频内容进行分类、提取。

[0019] 2、在对镜头类型、镜头动作、物体动作的分析中，加入人脸识别技术，将视频内容的分类进一步细化。

[0020] 3、以色彩对比度的变化来模拟观众的视觉感知来分析提取视频。颜色是图像最显著的特征，它计算简单、性质稳定，对于旋转、平移、尺度变化都不敏感，表现出很强的鲁棒性。利用主要颜色和平均亮度进行图像的相似匹配是很粗略的，但是它们可以作为层次检索方法的粗查，对粗查的结果再利用子块划分的颜色直方图匹配进行进一步的细查。

[0021] 4、根据字幕内容对视频内容分类。

[0022] 5、根据对音轨联合线性图标的分析，将其关键帧从曲线峰值中提取并分类。

[0023] 以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通