本发明涉及视频监视系统。更具体的是本发明涉及具有车载(on-board)视频 分析能力的代理视频服务器，以及涉及包括一个或多个代理视频服务器用以以透 明和可升级的方式提供增强的视频管理功能的视频监视系统。该新颖的代理视频 服务器管理和代理视频网络中的每个视频源来虚拟化该源以使其向视频客户端表 现为具有增强能力的“智能”视频源。这种虚拟化功能实际上对视频客户端隐藏存 储分布的复杂性和视频监视网络内的处理能力以及视频源所呈现的协议多样性。 这种新颖的代理视频服务器对具有多个视频源的分布式系统特别有优势。 视频监视系统被熟知应用于监控处于视频监视下的环境内的对象(例如一件 行李或人)的多种应用。模拟闭路电视(CCTV(analog closed circuit television)) 监控系统已经操作了很多年。这些传统的基于模拟的CCTV系统和近来可用的基 于网络的视频监视系统被用于监控和/或跟踪进入或离开建筑设施或安全门的个 体、车辆，在商店、办公楼、医院等等或可能关心居住者的健康和/或安全的其他 这样的环境中的个体。在航空工业中，视频监视系统被用于监控飞机场内关键位 置的个体的存在，比如在安全门或停车库。CCTV惯常被记录于盒式磁带录像机 (VCR(videocassette recorder))并显示于模拟视频监控器上。但作为计算机和网 络技术发展的结果，视频监视工业从传统的模拟系统转变为是模拟和数字组件的 混合物或是完全由用于传输、存储、显示和分析监视数据的数字组件和网络组成 的系统。 数字形式的视频和音频监视数据的表示已经为计算机辅助自动增强和监视数 据的解释开辟了新的机会。图像增强操作目的在于改善图像质量，包括减少图像 噪声，改善图像的清晰度，和稳定遭受振动的相机的图像。解释操作包括移动物 体的检测、对象跟踪、对象分类、对象行为分析、以及连续视频帧中感兴趣的对 象的出现或消失的检测。这种分析的结果可以用于最小化数据吞吐量和存储需要， 包括如果其内容表明监视观察中没有感兴趣的则压缩或废弃该视频数据。车载视 频分析可以在处理后的视频中识别重要性质的事件，特别是需要立即关注的那些 所检测的视频事件。 另外，这样的车载视频分析操作特别是着重考虑与可视实时监控监视视频或 是人工扫描所存储的视频记录直到发现嵌入在视频流中的期望事件为止相关的人 工成本和冗长。人工扫描以识别和直接转发相关的视频剪辑给操作者导致搜索次 数大大增加。在此所使用的词语“视频分析”应指的是视频和音频数据的自动增强 和解释。视频分析操作的输出可以是增强的视频或音频，或捕捉解释结果的元数 据。元数据是描述信息承载实体的特征以帮助识别、发现、评定和管理这些实体 的结构化的编码数据。元数据可以描述人、脸或场景中的任何其他对象，或空间 时间属性，比如对象的轨线或活动和行为。 视频分析规定，这样的元数据可以以嵌入式元数据的形式随同视频一起被传 送，或是可以以纯元数据流的形式单独地被传送。以文本形式呈现元数据的通常 手段是XML(扩展标记语言(extended Markup Language))。用于存储和搜索元数 据的通常手段是关系数据库。视频分析可以使用来自低级视频分析操作的元数据。 例如，执行行为分析(诸如检测在门口附近闲逛的人)的视频分析对由视频分析 的低级跟踪和分类阶段所产生的元数据操作，而不是直接对视频图像本身操作。 在此的图1是典型的传统数字视频监视数据管理系统100的原理方框图。视 频管理系统100包括LAN/WAN结构110，其将具有存储设备125的网络视频记 录器(NVR)120连接到多个视频源，比如IP照相机130、智能IP照相机140、 流形成器(streamer)150和模拟视频照相机160、以及本地和远程访问的用户(例 如，视频客户端170)。网络视频记录器或NVR(120)是这种传统视频管理系统 的普通组件。NVR 120管理直接来自所有视频和音频源的视频数据并提供包括视 频分析、视频存储和视频显示的视频管理功能。NVR可以在单个计算机内被实现， 或在一些情况下可以以分布形式跨多个计算机来实现。这特别是对于支持很多视 频源以及使用视频数据的视频客户端的大型监视装置的情形。NVR可以通过模拟 或数字显示装置显示其视频和音频输出，或是对其他系统组件或视频客户端充当 视频源。 下文中所使用的词语“视频源”描述提供用于视频监视网络中的视频和/或音频 数据的任何设备。视频源包括但不局限于IP照相机130、智能IP照相机140、流 形成器150和NVR 135。由视频源所发送的数据可以包括视频、音频、其他传感 器输入(比如温度和振动)、简单的二进制触发器输入、接点闭合输入(例如，门 开关)、和视频分析元数据的表示。下文中使用的词语“视频客户端”描述使用视频 源和/或其数据的任何网络组件，例如，用于本地或远程视频显示的NVR或应用 软件，其最简单的形式可以是访问视频源的网络浏览器(web browser)。 在图1中，NVR 120通过流形成器150从模拟视频照相机160接收压缩数字 视频和音频输入。常规的车载视频分析被包括在智能IP照相机140内用以使用视 频分析来处理获得的视频。设备发现由NVR 120提供用以识别包括视频管理系统 的不同类型的视频源。单独的视频源可以利用不同的协议操作。 视频客户端、比如用户工作站170必须访问NVR以检索所存储的视频。以及 如所提到的，NVR 120可以应用视频分析用以处理视频数据和确定所分析的数据 的哪些部分应被记录，或确定所捕获的数据是否包括应被报告为警报条件的事件。 NVR 120也可以将数字化视频数据转换回模拟形式来显示，或是利用计算机监控 器来显示，或存储数字化数据在存储设备125中，或为其他网络设备提供对数字 视频数据的访问。例如，NVR能够为远程视频客户端提供对直播(live)视频流 或所存储的视频数据的访问(例如，在存储设备125中)。 由流形成器150执行的功能是将模拟视频转换为压缩数字形式以在数字视频 监视系统中使用。这样的设备也可以不同地称为编码器或视频服务器。流形成器 可以接受一个或多个模拟视频输入，但是典型地只需要单个物理网络连接。流形 成器执行所获得的模拟数据的数字化和压缩，并经由使用IP协议、典型地建于 TCP或UDP协议顶部的计算机网络以数字形式传送转换后的视频数据。通常使用 的用于视频和音频的高级流协议是RTSP(如在RFC 2326中描述的； http://www.ietf.org/rfc/rfc2326.txt)。这样的设备也可以执行附加的视频分析功能。这 样的操作保证不需要模拟视频或模拟音频传输组件，除从照相机到流形成器的连 接之外。 IP照相机130说明这种已知的数字监视系统的另一通常组件，所述数字监视 系统以车载方式使流形成器功能与照相机集成用以捕获、数字化、压缩、和提供 其他的视频和音频处理功能。在一些情况下，这些视频源或照相机具有车载视频 处理能力(例如，比如智能IP照相机140)用以在照相机内执行附加的视频分析 功能。 传统视频监视系统的进一步通常组成部分是用直接由计算机(例如，用户工 作站170)驱动的数字显示器(“监控器”)代替模拟视频显示器。类似地，模拟音 频输入和输出设备可以由能够直接连接到网络的设备代替，比如VOIP(基于IP 的语音)设备。在监视系统的上下文中，在对讲机或可听警报功能方面，音频输 出可以被使用。 提供用于视频监视应用的视频监视数据的改良管理的各种应用被熟知。例如， 共有的和通过引用纳入的未决美国专利申请号2006/0239645(“′645应用”)公开 了一种企业视频监视系统，其包括打包基于用户特定事件从网络照相机所获得的 视频序列的能力。为了管理视频监视数据，‘645应用公开了视频分析处理管理器或 数字视频管理器TM(“DVM”)的使用。DVM规定部分视频序列被绑定到包含事 件的“包”内。DVM是包括网络视频记录器(NVR)的可升级的企业级基于IP的 数字视频管理系统，并使用软件将标准IT设备和组件视频源转换为用户化和可管 理的视频系统以供安全和监视需要。包或被打包的事件则被传送到外部代理以供 进一步分析。 模拟和数字视频之间显著的不同在于存在共用的少量模拟标准，比如NTSC 和PAL，而存在广泛的数字视频和数字音频压缩技术和标准，比如JPEG、MPEG-2、 MPEG-4、H.261和H.264。多种协议也可用于发现在网络上可用的视频源，和可 用于传送视频数据。类似地，具有由不同视频源支持的广泛的视频分析能力，从 简单运动检测到复杂对象检测、跟踪、和分类。随着持续的创新，这种情形必定 随着时间变得更加复杂。这种姿态为视频管理软件和视频客户端软件的开发者应 付视频源能力的增加的多样性而增加了挑战。 在软件工程领域中，术语“标准化”或“规格化”被用于描述表示用于具有类似功 能性但是具有用于连系到该功能性的不同方法的至一组服务的统一接口的功能性 层。例如，在相关的数据库领域中，ODBC(开放式数据库连接(Open Database Connectivity))是用于访问来自不同供应商的多个数据库的标准应用程序接口 (API)。ODBC充当在应用和其需要的数据库功能之间的标准化层，简化应用软件 的实施，和使得在数据库实施多样性的情况下应用容易工作。 在网络系统中，特定的服务或功能可以通过“代理服务器”访问是众所周知的。 代理服务器是充当客户端和其希望访问的一些网络功能之间的媒介的网络设备。 客户端连接到代理服务器，然后请求连接、文件或在不同服务器上可用的其他资 源。在文件的情况下，代理服务器可以通过从特定服务器检索文件或通过从高速 缓冲存储器供应文件来提供所述文件。在一些情况下，代理服务器可以改变客户 端的请求或的服务器的响应用以各种目的，例如用以为约束的服务或功能执行访 问策略，或用以执行协议转换以符合客户端或服务器的需要。 拦截代理是代理服务器和路由器的联合。路由器保证由客户端应用进行的通 过路由器到服务器的连接被路由器拦截并被重定向到代理，典型地客户端没有意 识到该媒介。拦截代理通常用于商业以防止避免由代理器执行的使用策略，并减 轻管理负担，因为不需要客户端应用的代理特定配置。 因此，在数字视频监视系统领域中所受欢迎的是具有车载视频分析功能的代 理视频服务器，其可以标准化在监视网络上可用不同视频源的能力，以将源和其 操作表现为显示相同的标准化操作的虚拟源。这样做可以使视频客户端能够通过 新颖的代理视频服务器更有效地访问视频源和“处理”这些视频源如同他们显示增 强的和比其实际提供的更加统一的功能性一样。这种新颖和期望的代理视频服务 器将以多种方式提供视频源的增强视图，包括视频设备发现、会话协议、通过代 码转换的视频和音频编码、所存储的视频的检索、视频分析功能、和元数据格式。 这样的代理视频服务器将最小化为将代理视频服务器引入监视系统中而需要实现 的视频客户端和视频源的重构数量。 增强和标准化特定的功能，特别是诸如视频代码转换和视频分析的功能，可 能需要相当大的计算马力。当视频源支持很少的功能时，预想的新颖视频代理服 务器将操作来透明地补救或补偿终端视频客户端这种不足。随着通过单个代理视 频服务器访问的视频源的数目增加，需要充足计算资源以标准化所有这些源的问 题就出现了。监视服务和所需功能的范围也可以在操作的典型工作日期间动态改 变。例如，在当设施作为犯罪行为的目标相比于在白天处于更高风险时的夜间可 能需要经由视频分析的更高级别的警惕。 因此，在视频监视领域进一步受欢迎的是包括支持先前提到的代理视频功能 的可升级性的装置的代理视频服务器。如在此使用的可升级性涉及增加所需的附 加代理视频服务器用以适应为特别是以计算负荷跨越代理视频服务器自动分布的 方式增强附加视频源的能力所需的附加计算负荷容量的能力。设计这种监视系统 的人自己只需要关心为最差情况负载提供适当的代理视频服务器计算资源，并没 必要自己关心该负载的分布。 随着视频源的数目变的很大，将变得很难在单个LAN上适应带宽。例如，在 大型飞机场的视频监视系统可能需要超过1000个照相机。因此，出现了当对用户 呈现该监视系统为统一的系统时，如何将网络分成更小的子网路的问题。如何保 持系统可靠性和可用性的满意水平的问题也冒出来了。传统的NVR难以以这种方 式升级，典型地需要单独的中央服务器。该中央服务器对于大系统成为性能瓶颈 和单点故障。因此在视频监视领域仍旧进一步受欢迎的是具有在子网划分对视频 用户是透明的方式下跨多个子网支持视频监视系统的可升级性的装置的代理视频 服务器，使得视频管理功能性跨子网分布，以便对于整个系统没有单点故障。 发明内容 为此，本发明提供了一种新颖的代理视频服务器，和包括至少一个代理视频 服务器的系统，和用于在包括视频源、视频客户端和至少一个新颖的代理视频服 务器的系统中管理视频监视的方法。该新颖的代理视频服务器充当视频客户端和 视频源之间的媒介，从而增强所述视频源的能力并简化对所述能力的访问。 该新颖的代理视频服务器在视频监视系统或网络内管理和代理每个视频源， 使得每个源被虚拟化以对视频客户端表现为具有增强能力的“智能”视频源。虚拟 化功能对视频客户端隐藏在监视网络中存储分布和处理能力的复杂性并也隐藏由 视频源所提供的协议的多样性。也即是，代理视频服务器呈现视频源的虚拟化视 图如同他们全是同样类型的视频源一样，其中他们“好像”响应和产生“相同”形式 的通信和命令。 由用于视频监视系统的代理视频服务器执行的标准化服务或功能的例子包括 视频设备发现协议、会话协议、视频和音频代码转换、监视数据存储和检索、视 频分析功能和元数据格式化。因此，视频客户端不必处理这些视频源的不均匀的 功能性多样性和协议的多样性。进一步，如以下将要详细描述的，所述虚拟化对 于被组织为多个子网的许多视频源的大型监视系统是特别有利的。 从视频客户端的观点，代理视频服务器使视频源看来像是提供比由所述视频 源直接支持的更宽范围的图像压缩选择。例如，视频源可能仅支持JPEG压缩。 代理视频服务器可以提供广泛的选项列表，比如JPEG、MPEG-2、MPEG-4、和 H.264。在视频客户端请求使用由视频源不直接支持的压缩方法的情况下，代理视 频服务器从视频源接收视频并对其代码转换以反映由视频客户端需要或请求的压 缩。这样的代码转换操作对视频客户端是透明的。如果视频客户端选择H.264作 为所期望的压缩，则代理视频服务器为视频客户端将来自视频源的JPEG图像转 换为H.264。这样，当通过由代理视频源提供的功能来支持可用的最好压缩技术时， 视频客户端(比如NVR)可以处理通过任意或全部的系统视频源所获得的视频数 据。 进一步，从视频客户端的观点，代理视频服务器使得传统的视频源呈现为具 有视频分析能力的智能视频源。因此，视频客户端可以接收与这些视频源相关的 视频分析元数据。这样，视频客户端(比如NVR)可以将所有其视频源处理为使 用视频分析解释他们的监视数据的智能视频源。 进一步，如同在典型的智能视频源的情况下，代理视频服务器的视频分析功 能可以与视频源数据的传输或代码转换交互用以过滤数据。该过滤包括修改视频 数据，抛弃视频数据，或是抛弃视频数据的某部分，典型地，目的是抛弃通过视 频分析被认为对于监视目的是不感兴趣的视频数据。这样的过滤操作有助于最小 化传送视频信息到视频客户端所需的带宽，以及减少视频客户端上的处理负载和 视频数据的存储需要。 进一步，从视频客户端的观点，新颖的代理视频服务器操作规定常规的视频 源“呈现”例如为视频客户端，如同视频源管理其自己视频数据的记录、搜索、和 检索一样。例如，视频客户端请求视频源以每秒10帧持续记录视频。代理视频服 务器作用于该请求以从视频源提供记录功能，使用例如网络附属存储装置(NAS (Network Attached Storage))以节约视频记录。稍后当视频客户端请求从特定视频 源检索所存储的视频时，该请求被为该特定视频源管理监视数据存储的代理视频 服务器接收，通过代表视频客户端从存储装置中取得所请求的所存储的视频，或 通过给视频客户端提供足够的关于所存储的视频的位置的信息以允许视频客户端 自身直接检索所存储的视频来响应。 在一优选实施例中，代理视频服务器被实施用以作为拦截代理来操作，使得 其视频源增强被提供而不需要通过其之间的网络路由器访问视频源的视频客户端 的任何代理特定配置。 在另外的实施例中，新颖的监视系统跨多个代理服务器提供自动负载平衡来 容易地支持可升级的和稳健的视频监视系统而不具有单点故障。 在另外的实施例中，新颖的监视系统允许视频客户端容易地与被组织成多个 子网的视频源工作，从而支持更容易在多个子网上提供的大量视频源的可升级性。 附图说明 图1是显示传统的基于网络的视频管理系统的方框图； 图2A是本发明代理视频服务器的示意表示； 图2B是包括具有用于将网络上的各种视频源虚拟化为智能视频源的车载视频 分析的新颖代理视频服务器的新颖视频监控系统的示意方框图； 图3A是包括被作为与路由器联合的拦截代理实施的代理视频服务器的本发 明的视频监控系统的另一实施例的示意方框图； 图3B是视频客户端和视频源之间在图3A的视频监控系统300中的一序列消 息的序列图，其中代理视频服务器作为媒介以增强视频源的功能； 图4是在主和次代理视频服务器之间具有自动负载平衡的本发明视频监控系 统的另一实施例的示意方框图； 图5是本发明视频监控系统的实施例，其包括在该系统的子网中的代理视频 服务器来管理每个子网中的视频，其中对位于远程网络中希望访问所述子网的视 频客户端配置需求最小并且没有单点故障；和 图6是描述用于在包括本发明的新颖代理视频服务器的视频监控系统中管理 视频数据流的方法的流程图。 具体实施方式 本发明包括具有车载视频分析的代理视频服务器(“代理视频服务器(proxy video server)”)。该新颖的代理视频服务器被构建以监控和处理所获得的到达代理 视频服务器的视频流以支持视频数据管理功能，以及基于所提取的视频内容来实 施特定的用户控制的视频分析来过滤所接收到的视频流。该车载视频分析处理视 频用以增大、或在某些情况下取代来自具有“推断的”或提取的元数据的特定网络 视频源的静止或移动图像帧的连续流。例如，在车载视频分析被控制用以分析进 入的视频流来在其中检测运动的情形下，新颖的代理视频服务器可以操作视频和 阻止转发来自相同的视频源(或相同源)连续到达的视频数据，除非移动被检测 到。这具有直接利益，即最小化被路由的视频数据的量，为其他任务节省网络带 宽。 本发明的具有车载视频分析的新颖代理视频服务器以及使用其的系统的第一 实施例将参考图2A和图2B来描述。图2A描述了新颖的代理视频服务器(210)， 以及图2B描述了包括代理视频服务器210的视频监视系统200。代理视频服务器 210管理视频监视数据以及在系统200中的视频客户端和视频源之间的交互。 在图2B中显示了视频管理系统200，包括LAN205，其将新颖的代理视频服 务器210连接到网络附属存储装置(NAS)220并连接到基础IP或网络照相机230、 智能IP照相机240、和视频流形成器250。流形成器250通过模拟视频电缆265 连接到模拟视频照相机260，以及压缩所获取的模拟视频以由系统使用。智能IP 照相机240包括车载视频分析。视频客户端290允许代理视频服务器210充当基 本IP照相机230的代理。也即，新颖的代理视频服务器210规定，视频客户端 290“看见”基本IP照相机230被表现或虚拟化为智能IP照相机，比如智能IP照相 机240。这样的操作可以被描述为虚拟化操作或功能，其中基本IP照相机实际上 呈现为智能IP照相机。这在图2B中通过围绕基本网络照相机230的短划线235 来指示。在这方面，围绕智能IP照相机240和视频流形成器250的短划线245和 255分别被用在图中以指示该新颖的代理视频服务器“表示”(或虚拟化)智能IP 照相机和流形成器为视频客户端将优先操作的设备(视频源)。 当视频分析车载代理视频服务器210被控制用以过滤通常从IP照相机230、 智能IP照相机240或流形成器250直接接收的视频数据时，视频客户端290可以 实现减少的系统负载。由新颖的代理视频服务器执行的操作包括设备发现(device discovery)。设备发现是所有系统宽视频源自动位于网络上的过程，并典型地包括 每个设备能力的确定。代理视频服务器的设备发现功能利用通用协议将每个实际 视频源“呈现”为虚拟视频源，其又可以被描述为由代理视频服务器210执行的新 颖虚拟化的特征之一。因此，对于视频客户端290，IP照相机230和智能IP照相 机240呈现为同一类型，具有相同的控制功能，和提供类似格式化的视频数据流。 新颖的代理视频服务器210的代码转换功能因此减少了在视频管理器处的处理负 载，例如，消除了对进入的视频数据流执行代码转换的需要。 从另一个观点，具有车载视频分析的新颖代理视频服务器210操作用以将视 频源桥接至视频客户端290。如上所述，代理视频服务器210充当则很重视频源 的代理，执行其视频分析和数据管理功能。代理视频服务器210本质上提供标准 化协议来虚拟化IP照相机230，并提供多个附加功能，包括数据流、会议管理、 以及选择性地记录视频和元数据。 在代理视频服务器210负责为每个视频源提供记录功能的情况下，所述代理 视频服务器利用其自身的本地存储装置以节省视频记录，或在优选实施例中利用 NAS 220以节省视频记录来实现。稍后当视频客户端290请求从特定的视频源中 检索所存储的视频时，该请求被代理视频服务器210接收，所述代理服务器210 为所述特定视频源管理视频监视数据存储。在优选实施例中，代理视频服务器210 通过给视频客户端290提供关于在NAS 220上所存储的视频的位置的信息来响应 上述请求以允许视频客户端自己直接检索所存储的视频本身。该优选的方法具有 减少网络205和代理视频服务器210上的负载的好处，因为在这种情况下视频数 据直接从NAS 220被传送到视频客户端290而不是通过代理然后传送到视频客户 端。本领域技术人员也应清楚在图2B(以及在后续的网络附图中)的网络系统的情 况下如所需要的那样增加附加的NAS组件到网络用以满足附加存储的需要或管 理出入存储设备的带宽是直截了当的问题。 显示在图2A的优选实施例中的代理视频服务器210包括组播域名服务 (mDNS(multicast Domain Name Service))或功能模块211和代理视频源管理器213 连同一组支持其的相关功能或模块。如在 http://files.multicastdns.org/draft-cheshire-dnsext-multicastdns.txt所描述的mDNS，是零 配置服务发现方法的关键组件，其中网络内可用的服务或功能可以很容易地被这 些功能的潜在客户端发现。通常的替代方案对于这样的信息是由系统的用户人工 地配置，从而自动服务发现不是必需的但对于简化操作是优选的，特别是在人工 配置成为重大的管理负担的大型监视网络中。 mDNS 211被视频客户端使用来确定可用的代理视频源列表，所述视频源列表 在与mDNS 211相关的一组DNS服务发现记录(DNS-SD)212中被定义。如在 http://files.dns-sd.org/draft-cheshire-dnsext-dns-sd.txt详细描述的DNS-SD，是用于在 网络上的服务发现的支持中对DNS资源记录命名和构建的惯例。每个特定类型的 服务或功能都具有其自己的协议名称，如在http://www.dns-sd.org/ServiceTypes.html 定义的一样。 为了发现通过网络上的任何代理视频服务器管理的视频源，视频客户端为支 持代理视频服务器协议的任何服务在mDNS组播地址(224.0.0.251:5353)上发出 请求。mDNS 211检测该请求并利用当前充当代理器的视频源的列表来响应。该“零 配置”方法对视频客户端是有利的，因为不需要预先知道代理视频服务器的IP地 址来发现代理视频服务器充当代理器所针对的可用视频源。进一步，该方法支持 在相同的网路上多个代理视频服务器的存在，而对视频客户端无任何改变，因为 不管这里是否有一个或几个代理视频服务器，视频客户端都将获得所有可用视频 源的列表。 代理视频源管理器211使视频源发现功能214与之相关，所述视频源发现功能 214使该组DNS-SD记录212始终跟上代理视频服务器210充当代理所针对的视 频源的列表。视频源发现214本身使用各种形式的设备发现，包括上述的零配置 方法。例如，为了发现在本地网络上哪些视频源支持Axis Communications公司的 视频协议，视频源发现214将周期性地为支持“axis视频”服务类型的任何设备向本 地网络发射请求，如在http://www.dns-sd.org/ServiceTyrpes.html定义的一样。 类似地，为了发现在本地网络上哪些视频源支持Honeywell International公司的 视频协议，视频源发现214将周期性地为支持“honeywell视频”服务或功能类型的 任何设备向本地网络发射请求，又如在http://www.dns-sd.org/ServiceTypes.html定义 的一样。对于在网络上的不支持这种设备发现的任何视频源，DNS-SD记录212 通过代理视频源管理器213的用户接口人工地被输入。对于列在DNS-SD记录212 中的每个视频源，不管是自动确定还是人工配置，代理视频管理器提供IP地址和 端口，其中代理视频功能在所述IP地址或端口上被提供给所述视频源。 IP地址是代理视频服务器210的地址，或者所代表的具有管理所述视频源的 责任的另一代理视频服务器的IP地址。因此，胜于实际视频源本身的潜在多个发 现方法，该方法对于仅需要处理单个视频源发现协议、即代理视频服务器的单个 视频源发现协议的视频客户端是有利的。进一步，该新颖的代理视频服务器作为 更简单的视频源的增强的设备代理起作用，将更简单的视频源对终端用户呈现为 具有更增强的功能能力。例如，没有运动检测功能的基本IP照相机可以通过代理 视频服务器(响应于设备发现)呈现为支持运动检测的增强类型的源/设备。该设 备发现响应(通过代理视频服务器到视频客户端)可选地包括实际视频源/设备类 型的指示和其特性，所述特性可能是视频客户端感兴趣知道的。 代理视频管理器213使支持视频源虚拟化的附加功能与之相关联。视频源接 口模块215执行由代理视频服务器210所支持的所有视频源协议。有利地，这包 括支持PTZ(摇摄倾斜缩放(pan tilt zoom))控制协议。在优选实施例中，每种类 型的视频源都具有符合视频源接口模块215的插件接口的相关插件软件模块。该 插件方法有利于容易地更新支持新视频源类型的代理视频服务器210。 视频客户端接口225执行用于代表视频源与视频客户端交互的标准化协议。 视频客户端接口225接收和解释来自视频客户端的请求并将其送往代理视频源管 理器213进行处理，以及以用于发送消息回视频客户端的标准化协议来执行对所 述请求的响应。 代码转换模块216对由代理视频服务器210所支持的所有视频压缩格式和元 数据格式执行代码转换。此外，在优选实施例中，每个格式被作为符合代码转换 216的插件接口的插件软件模块来执行。 视频分析模块217执行由代理视频服务器210所支持的所有视频分析处理。 此外，在优选实施例中，每个视频分析功能被作为符合视频分析模块217的插件 (plug-in)接口的插件软件模块来执行。与视频分析模块217关联的是视频分析规 则218的集合，其定义要应用到每个视频源的视频分析操作。所述规则根据视频 客户端的需要由代理视频源管理器213的视频客户端选择性地为任意视频源配 置。所述规则优选地支持从不包括感兴趣的对象或事件的视频流中除去帧的选项， 因而减少对所存储的视频和对传送视频到视频客户端所需的带宽的需要。类似地， 所述规则优选地支持发起视频记录或改变记录参数以便更好地捕捉感兴趣的对象 或事件的能力。 记录管理器模块221执行由代理视频服务器210所支持的所有记录功能，包 括视频和相关元数据的记录。与记录管理器模块221关联的是记录进程表 (Recording Schedule)222的集合。所述进程表根据视频客户端的需要由代理视频 源管理器213的视频客户端有选择地为每个视频源配置。搜索服务功能223执行 操作以搜索视频和元数据记录。代理视频服务器210的记录和搜索服务功能允许 其在需要时代替传统NVR的功能。可替代地和如图2B中图解说明的，代理视频 服务器210可以替代地仅执行将增强的视频源能力提供给充当视频客户端(比如 视频客户端290)的传统NVR。最后，与代理视频源管理器213相关的视频访问 权利224的集合定义了想要使用由代理视频服务器210服务的视频源的视频客户 端用户的访问权利。例如，设备管理员可被允许能够观看和配置所有视频源的设 置，而保安人员仅仅被许可观看权利。 代码转换和数据流管理： 在代码转换方面，来自包括监控系统100的任一视频源的视频通常直接从视 频源被成流到例如NVR 120。这样的成流(streaming)例如经常使用标准视频压 缩格式来完成，IP照相机130可以使JPEG视频成流，而智能IP照相机140可以 使更有效MPEG-4格式视频流成流。然而，在新颖的视频管理系统200的情况下， 车载新颖代理视频服务器210的可用代码转换能力使得视频源流能够自动转换为 统一的和带宽高效的压缩格式(如，MPEG-4；H.264)。也就是，代码转换将视频 数据“转化”为标准化格式，基本上对异类的或非标准化的所有视频源的数据桥接 (bridge)，用以在所预期的目的地(例如视频客户端290)处来表示。由车载视频 分析执行的第二类代码转换与元数据相关，所述元数据可以以非视频数据格式(比 如可扩展标记语言(XML))来表示。该新颖的元数据代码转换能力支持将由(具 有车载能力的)IP照相机的不同视频源所产生的各种元数据自动转换为通用的或 标准化的元数据表示。 新颖的代理视频服务器210基于为每个流所配置的规则将其视频分析功能应 用于各种类型的视频数据流。读者和类似的技术人员应该认识到，与对元数据流 所需要的相比，基于分析的滤波基本上需要不同的数据处理和流控制。本发明代 理视频服务器使用其视频分析用以推断或产生表示视频内容的元数据，其可替代 实际视频数据流被转发到其预期的目的地(例如，到网络视频管理器)。 换句话说，输入到代理视频服务器的视频的车载分析可以从原始的或经编码 的视频数据流中提取有意义的信息，以及基于所提取的有意义的信息来过滤数据。 有意义的信息在这里被广泛地用于包括但不局限于：场景内的移动区域、人、脸、 跟踪情景、在流场景中跟踪脸、为了识别感兴趣的行为而及时跟踪人等等，包括 元数据。例如，在进入的视频流对应于不感兴趣或不必要的信息的情况下，根据 所应用的规则，视频可以被抛弃。当“不感兴趣的”所获得的视频被抛弃时，指示 其的元数据仍然可以被转发至网络的视频管理器，使得它(系统)知道该流在代 理视频服务器处被监控。 仅当感兴趣的事件在视频流中被检测到时，成流视频将再次被转发。例如， 在网络照相机监控监视位置用以确定在视场(FOV)中的对象是否在移动的情况 下，视频系统监控器或观察器不需要持续地在直播视频中观看对象的视频。如果 系统接收了可以确定对象正被监控并且没有对象移动的信息(比如代替所获取的 视频的元数据流)。这避免了直接分析图像数据和存储图像数据的需要。 新颖的代理视频服务器不局限于上述的过程或功能，还可以提供其他功能， 比如检测网络照相机特性、包括照相机是否被损害(例如，照相机破坏检测)、照 相机振动修正(视频稳定性)、对象的检测和跟踪、以及行为识别。 代理视频服务器作为拦截代理： 图3A是描写本发明视频监控系统300的另一实施例的示意方框图。视频监控 系统300包括具有视频分析的新颖代理视频服务器310、多个视频源(例如，网 络照相机320，321，322)、路由器350和NAS数据库340。这些系统组件通过 LAN 305互相连接。在显示的实施例中，代理视频服务器310充当网络视频管理 器，例如，代替和避免对传统NVR(比如图1的NVR 120)的需要。路由器350 通过网络结构360连接到第一和第二视频客户端370、380。路由器350被配置用 以从网络360传送mDNS服务发现询问到网络305，使得视频客户端370、380可 以确定由代理视频服务器310管理的在网络305上的视频源。为了将代理视频服 务器310的角色执行为视频客户端和视频源之间的媒介，路由器350也可以被配 置用以阻止不同于由代理视频服务器310所提供的功能的服务发现询问的服务发 现询问。在此情况下，代理视频服务器310有效地代表视频源充当拦截代理，有 利于执行对于这些视频源的访问权利，以及有利于不要求预知代理视频服务器310 的IP地址。 在优选实施例中，路由器350和代理视频服务器310在物理上集成为单独的 单元，如图3A中由围绕路由器350和代理视频服务器310的虚线355所指示的。 这个有利的实施例使得用户可以如集成系统355所需求的那样通过简单插入视频 源和NAS而建立视频系统，其中保证由路由器350和代理视频服务器310控制对 视频源和存储的访问，以及准备能够放大到具有多个子网和多个代理视频服务器 的较大系统，如关于图4和图5将进一步描述的一样。 图3B是由图3A中所示的视频监控系统300内的代理视频服务器310所执行 的操作的序列图。从图3B中搜集的一点在于，新颖的代理视频服务器充当媒介， 其中利用一个虚拟化协议与任意视频客户端通信，以及利用用于所述源的适当的 协议与任何所支持的视频源通信。例如，在视频客户端370想要请求图像或其他 视频数据，或特定视频格式的下一图像的情况下，所述视频客户端发送其请求到 如通过与感兴趣的视频源有关的较早服务发现所确定的代理视频服务器的IP地 址。因为这个IP地址在子网305上，所述IP地址自动被引导到路由器350，如图 3B中所描述的一样(箭头A)。 路由器350又将该请求直接路由给代理视频服务器310，如由箭头B所表示的 一样。代理视频服务器分析和解释视频客户端(370)请求，以及在本情况下确定 该请求应被引导到视频源322。这个请求首先被代理视频服务器310转换为由视 频源322使用的协议。箭头C指示所转换的格式的该请求到视频源322的传送。 箭头D表示从源322传送回代理视频服务器的通信(对请求的响应)。代理视频 服务器分析来自源322的响应，并将其修改成由视频客户端所要求的协议，以及 将其发送到视频客户端370的IP地址。此外，在视频客户端370的IP地址被发 现在子网360上时，消息被发送至路由器350(箭头E)。最后，路由器350将该 消息转发至视频客户端370(箭头F)。 自动负载平衡： 图4描述了本发明视频管理系统400的另一实施例，其包括具有车载视频分 析的新颖代理视频服务器410。与图3A实施例类似，视频监控系统400包括主代 理视频服务器410、次视频代理服务器412，其通过LAN 405与多个视频源420、 421、422互连并被配置用以共享NAS 440以存储视频源配置记录和视频记录。路 由器450互连网络LAN 405和LAN 460。LAN 460又连接第一和第二视频客户端 470、480。 如更早谈到的，代理视频服务器的增强和标准化功能、特别是如视频代码转 换和视频分析这样的功能，可能需要相当大的计算马力。随着通过单个代理视频 服务器访问的视频源的数目增加，需要足够计算资源以使所有这些源标准化的问 题就浮现出来了。所需的监视功能的范围也可动态改变。 因为视频客户端对于视频源或是代理视频服务器并没有预先配置固定地址， 所以本发明的代理视频服务器有利地适用于分布计算负载，从而允许动态地管理 资源分配而不影响视频客户端的操作。在图4的实施例中，主代理服务器410具 有管理所述负载分布的任务。该服务器被配置用以负责视频源发现，并拥有与每 个视频源相关的配置记录。 相反，次代理视频服务器412被配置用以使其视频源发现功能被禁用，以及 其视频源配置记录简单地是由主代理视频服务器410所保持的那些视频源配置记 录的副本。只要代理视频服务器410想要把用于给定视频源的处理委托给次代理 视频服务器412，则所述代理视频服务器410通知次代理视频服务器412其已经 委托了该视频源，使得所述次代理视频服务器可以立即接管针对所述视频源的任 何后台行为，比如视频记录。 主代理视频服务器410也用次代理视频服务器412的IP地址(而不是其自身 的IP地址)连同次视频务器412上的可用IP端口来填充所述视频源的DNS-SD 记录。发现所委托的视频源的视频客户端因此被自动地被引导到次代理视频服务 器412，因此卸载主代理视频服务器410。在这个布置中，视频客户端甚至不需要 关注负载的分布，以及不需要关注哪个服务器是主和哪个是次。相比于存储系统 是代理视频服务器的一部分的方法(在该情况下如果其变成无功能的，则其记录 变为不可访问的)，NAS 440的共享使用同样是有利的，因为任何视频客户端可 以不依靠任何一个代理视频服务器来访问所存储的记录。如本领域技术人员所知 的，附加的代理视频服务器可以通过这种布置容易地来供应。 相同的本地网络上的多个代理视频服务器的进一步的优势在于，如果主代理 视频服务器410故障，则提供直接的故障切换能力(fail-over capability)。为了实现 该功能，次代理视频服务器412监控主代理视频服务器410的健康状态。如果次 代理视频服务器412检测到主代理视频服务器410的故障，则该次代理视频服务 器承担主服务器的任务，再激活其视频源发现功能，并增加其DNS-SD记录用以 为视频源提供代理功能。 如更早谈到的，次代理视频服务器412保持视频源配置记录的副本，因此可 以继续应用相同的功能、视频分析规则和如在故障之前的进程表(schedule)。与 主代理视频服务器410相连的任何视频客户端通过重新发送其服务发现请求来响 应连接的意外丢失，然后由次代理视频服务器412应答所述服务发现请求，使得 视频客户端能够快速地确定要连接到的修改的IP地址和端口以便再继续功能。一 旦主代理视频服务器410操作恢复，所述服务器获取来自次代理视频服务器412 的所有配置和DNS-SD记录的最新副本，然后通知次代理视频服务器：主代理视 频服务器410已经准备好再继续其原来的任务。次代理视频服务器412则清除其 自身的DNS-SD记录列表并允许主代理视频服务器来处理其认为合适的功能委 托。 在某些方面类似于图4中所示实施例的另一实施例中，多个代理视频服务器 存在于同一LAN上，而没有任何一个代理视频服务器充当主要的，这种布置的优 势在于视频源的管理根本不被集中化，并且在任何代理视频服务器故障时，本质 上实现负载分布和恢复。该特定的方法也使得在不需要对已存在的代理视频服务 器或视频客户端进行重新配置的情况下容易地添加所需的附加代理视频服务器。 在这个实施例中，所有代理视频服务器都通过mDNS服务发现机构监控由所有其 他代理视频服务器管理的视频源，以及视频源的委托(delegation)通过分散的资 源分配过程来处理，其中多个所述分散的资源分配过程在现有技术中是公知的。 在代理视频服务器中的一个故障的情况下，余下的代理视频服务器将察觉该 功能不再被供应给先前由故障的服务器服务的视频源。通过分散的资源分配过程， 余下的服务器将自动解决谁将接管先前由故障的节点服务的每个视频源的服务。 所有代理服务器保持其拥有的每个视频源的配置记录的当前副本，使得他们可以 在必要的情况下接管对任何视频源的责任。 图5是本发明视频监控系统的另一实施例，其包括针对多个网络或子网络中 的每一个的专用代理视频服务器，其能够使新颖的系统操作，其中具有视频客户 端不需要关注多个子网的优势以及通过将大量视频源分成单独的子网而更容易地 供应所述大量视频源的另一优势。另外，对于该系统作为整体不存在单点故障。 也即是，图5描述了视频监控系统500，其允许将源侧分成由LAN 510和LAN 540 在结构上所限定的多个子网。LAN 510包括视频源520、视频源521、代理视频服 务器530和NAS 535。LAN 540包括视频源550、视频源551、代理视频服务器 560和NAS 565。在客户端侧，多个视频客户端590和591中的每一个在LAN结 构570中连接到第一和第二路由器580、581。每个路由器被配置用以从LAN 570 将(用于代理视频功能的)mDNS服务发现请求传送到其相应的子网以使视频客 户端590和591能够发现由代理视频服务器530和560管理的视频源。 图6是描述新颖方法600的过程流图，该方法通过代理视频服务器的行为从 视频客户端的视点来标准化视频源的功能性。图6的块(椭圆)610表示该新颖 方法的开始，块620表示确定视频源的能力和所支持的协议的步骤。例如，该确 定步骤可以通过询问视频源设备，或是通过从配置存储中检索视频源设备的配置 记录(未在图6中示出)来执行。块630表示配置代理视频服务器的设备发现功 能用以在代理视频服务器的网络地址处(在该网络地址的可用端口)通告视频源 的步骤。块640表示响应来自视频源的视频客户端的设备发现请求的步骤。该新 颖方法可以通过提供由代理视频服务器支持的设备能力和协议的标准化描述来实 现。块650表示响应从视频客户端引导到视频源的以及由代表视频源的代理视频 服务器所接收的每个请求的步骤，块(椭圆)690表示该方法的结束。 在这方面，响应每个请求的步骤可以通过进一步确定所述请求是否可以通过 视频源处理来被进一步限定，以及如果这样的话，则确定是否有必要将请求转换 为所预期的视频源支持的协议，以及如果这样的话，执行该转换。该确定步骤可 以进一步包括发送请求到所预期的视频源，并将答复转换为视频客户端的标准化 协议。如果该转换未被确定是必要的，则该方法可以在代理视频服务器内执行该 请求。这样的执行可以包括如有必要进行预期的视频源的请求，如有必要将来自 视频源的视频数据和元数据存储到本地存储装置或NAS，如有必要从本地存储装 置或NAS中检索视频数据和元数据，如有必要处理响应用以实现所述请求，包括 用附加的处理(如视频分析或代码转换)来增大响应，利用视频客户端的标准化 协议来准备答复，以及发送所准备的响应到视频客户端。 以其不同的实施例实施本发明方法如本文所描述的那样实现了在视频监控或 监视系统中的改善的视频管理。以及虽然本发明代理视频服务器和包括一个或多 个代理视频服务器的新颖系统和操作方法的少数例子已经在本文中展示和描述， 但本领域技术人员应该理解的是，在不脱离本发明的原则和精神的情况下，可以 容易地对这些公开的实施例进行各种改变，其中本发明的范围在权利要求和其等 效物中被定义。 背景技术