技术领域
本发明涉及一种运动图像处理设备和运动图像处理方法。
背景技术
随着使用数字照相机等的图像捕获技术的发展以及当前社 会的趋势，已经广泛使用所谓的监视照相机来捕获运动图像以 进行监视和状况确认，并作为数字数据记录该运动图像。采用 相同技术的通信照相机也获得了广泛应用。根据用途将这种照 相机固定在某个位置，这种照相机通常设置有按照转动轴进行 转动或者使用变焦功能进行放大、缩小的功能。通常将这种照 相机的图像捕获位置(方向)的变化称为平转、俯仰、变焦等。 通过经由网络等对该平转/俯仰/变焦功能进行远程指示操作， 用户可以沿期望的方向捕获、记录并参考图像。另一方面，随 着常见的硬盘和存储卡等存储装置容量的增大以及价格的降 低，已能够充分记录一定时间长度的运动图像。MPEG(运动图 像专家组，Moving Picture Expert Group)和各个制造商也已 推出了运动图像的各种记录格式。近来广泛使用的记录格式的 一个特征是：不是简单地按顺序记录在特定瞬间按时间序列 (time-series)捕获的图像数据(下文中称为“图像帧”)。即，除 了记录图像帧之外，还可以作为元数据来记录对这些图像帧进 行分组的信息和各个帧的再现时间(时间戳)信息，或者整个运 动图像的图像捕获时间、图像捕获参数等。典型的记录格式的 例子包括QuickTime(注册商标)格式和通常称为MP4的格式等 格式。这些记录格式具有比较灵活的可扩展性。例如，使用这 些记录格式还可以存储沿着运动图像的时间轴按时间序列变化 的版权信息、关于整个运动图像的图像捕获设备的信息等。
例如，在监视应用等中，尤其需要从已捕获的运动图像中 按时间或者空间提取或者选择特定区域的技术。这是因为经常 存在需要有选择地感知具有例如当图像从平常状态发生变化等 各种条件的目标部分的情况。基于这种背景，传统上使用当在 图像帧中检测到监视对象的运动时对所捕获并记录的运动图像 附加标记的方案。具体地，使用如下功能：在指定每个图像帧 或者由多个图像帧构成的组的格式中设立表示异常的标志，当 进行再现时参考该标志，仅强调具有该标志的帧。
可选地，使用如下方案：通过在参考所捕获并记录的图像 的同时操作鼠标等指示器输入设备，在完成记录的图像帧或者 包含在先和后续图像帧的多个图像帧上清楚地覆盖并记录矩形 等图像信息。
此外，已知采用从捕获图像中提取特定区域的技术通过提 取人或者运动汽车来从运动图像中提取特定区域的技术。此外， 已知采用上述技术基于已提取的特定区域的捕获范围内的位置 和大小运用平转/俯仰/变焦功能的技术(例如，参见日本特开 2002-262138号公报)。
在现有技术中，当从已记录的运动图像或者尝试捕获并记 录的运动图像中选择空间上的特定区域，与整个运动图像上的 运动图像数据相关联地存储所选择的区域时，存在下面描述的 问题。
在日本特开2002-262138号公报的情况下，基于已记录或 者正在记录的图像的特定区域可以操作照相机，而与该图像无 关。然而，从运动图像中追溯地选择空间上的特定区域并将其 与过去已记录的图像相关联地进行记录是一个问题。
考虑到现有技术中的上述问题提出了本发明，本发明的一 个目的是提供一种允许基于运动图像的各个图像帧以及捕获这 些图像帧时的方向和视角等位置信息使空间上的特定区域相关 联的技术。
发明内容
提供本发明的实施例以克服相关技术的上述缺点。
根据本发明的一个方面，实施例针对一种运动图像处理设 备，包括：
获取单元，用于获取使用图像捕获单元捕获的运动图像数 据和与构成运动图像数据的每个图像帧相关的图像捕获单元的 图像捕获信息；以及
附加单元，用于与从运动图像数据中指定的图像帧相关联 地将用于对标记显示进行显示控制的标记信息附加到运动图像 数据。
根据本发明的另一个方面，实施例针对一种运动图像处理 方法，包括：
获取步骤，用于获取使用图像捕获单元捕获的运动图像数 据和与构成运动图像数据的每个图像帧相关的图像捕获单元的 图像捕获信息；以及
附加步骤，用于与从运动图像数据中指定的图像帧相关联 地将用于对标记显示进行显示控制的标记信息附加到运动图像 数据。
根据本发明，可以基于运动图像的各个图像帧和捕获这些 图像帧时的方向和视角等位置信息使空间上的特定区域相关 联。
从以下参考附图对示例性实施例的说明，本发明的其它特 征将变得明显。
附图说明
图1是示出根据本发明实施例的运动图像处理设备的功能 配置的框图；
图2是示出具有图1所示的配置的运动图像处理设备的详 细配置的框图；
图3示意性地示出图像捕获单元101的位置和最终输出的 运动图像数据的文件格式之间的关系；
图4示出MP4文件401的结构的概要；
图5是示出在使作为所捕获的运动图像数据的特定瞬间的 图像的帧和叠加在该图像的帧上的标记信息可视化的状态下帧 和标记的示意图；
图6示出图像帧(M)502与标记信息的关系；
图7示出从使用图像捕获单元捕获被摄体的图像到输出运 动图像数据的处理的流程；
图8示出对记录有标记信息的运动图像数据进行再现的处 理的流程；
图9A～9H示出基于运动图像数据进行显示的显示例子；
图10A示出在显示单元105中显示的所选择的帧的例子；
图10B示出使用输入单元将鼠标光标1002移动到屏幕上所 希望的位置的状态；
图11是示出根据本发明第二实施例的运动图像处理设备 的配置的功能框图；
图12是示出根据本发明第三实施例的运动图像处理设备 的功能配置的框图。
具体实施方式
以下是参考附图对本发明优选实施例的说明。
第一实施例。
图1是示出根据本发明实施例的运动图像处理设备的功能 配置的框图。根据本实施例的运动图像处理设备设置有图像捕 获单元101、代码压缩电路102、致动器单元103、运动图像数 据获取电路104和显示单元105。运动图像处理设备还设置有用 户输入单元106、信息附加电路107、运动图像数据输出电路 108、存储装置109和运动图像再现电路110。
每个功能配置与在CPU 252的控制下运行的软件程序合 作来实现根据本发明实施例的图像处理。
通常由光学镜头或者例如CCD等光学传感器构成图像捕 获单元101。图像捕获单元101将每个捕获帧的图像作为图像信 号输出到代码压缩电路102。代码压缩电路102对从图像捕获单 元101输入的图像信号进行A/D转换，作为图像数据获取该图像 信号。然后对该图像数据进行压缩编码处理。已知MPEG-4 等格式用作作为连续视频的运动图像的压缩编码格式。
代码压缩电路102不是绝对必需的，但是运动图像数据的 数据量一般很大，通常在运动图像处理设备中进行例如压缩编 码。
致动器单元103通过例如转动图像捕获单元101来控制图 像捕获方向。这种机制例如可以用作在固定安装位置使用的用 来进行监视、远程确认等的配置。例如，还可以应用具有在将 照相机固定到三角架等的同时转动照相机的功能的配置。转动 机制最典型的例子例如是在水平方向上转动的平转机制、在垂 直方向上转动的俯仰机制等。
运动图像数据获取电路104获取由代码压缩电路102编码 的编码数据和伴随编码的编码参数。这时，运动图像数据获取 电路104获取与如下附加信息相关的数据：例如图像捕获单元 101进行图像捕获时的焦距、运动图像的图像数据的各个帧的 时间信息(时间戳)、以及图像捕获单元101的转动角、视角等信 息。
显示单元105显示由运动图像数据获取电路104获取的运 动图像。图1示出还从代码压缩电路102获取数据从而在代码压 缩电路102进行编码之前显示图像以减少处理量的配置。此外， 因为这种数据流程取决于如何实施，所以可以在解码之后显示 编码数据。
例如，将用户输入单元106配置为在参考显示单元105的同 时进行操作的用户发出实际操作指令。一般使用鼠标、键盘等 发出指令。
信息附加电路107可以对从用户输入单元106输入的信息 进行变换，例如转换为元数据，将变换结果附加到运动图像数 据。从用户输入单元106输入的信息是用来对附加到运动图像 数据的附加显示的位置、大小、形状等进行显示控制的信息(下 面，将该信息称为“标记信息”)。
运动图像数据输出电路108基于与运动图像数据相关的捕 获图像信息和信息附加电路107附加的标记信息，将最终的运 动图像数据输出到预定输出目的地。关于记录和维护运动图像 数据，作为运动图像处理设备的记录介质，可以在能够用作存 储装置的存储卡、固定盘等上记录并保持运动图像数据。这里， 将存储装置109作为能够记录并保持运动图像数据的介质。可 以将存储装置109内置到运动图像处理设备中。此外，可以将 存储装置109配置为通过希望的接口(例如USB、IEEE 1394等) 或者网络(例如有线以太网(Ethernet)LAN或者例如IEEE 802.11x等无线LAN)连接到运动图像处理设备。
运动图像再现电路110可以读取记录到存储装置109中的 运动图像数据，对该运动图像数据进行解码处理和再现处理。 这时，当已在运动图像数据中记录了标记信息(例如，图4中的 404)时，当再现包含标记信息404的帧时，可以显示该标记。
图2是示出具有图1所示的配置的运动图像处理设备的详 细配置的框图。通过构成光学系统的图像捕获镜头单元211和 光圈单元212在光学传感器213上形成图像捕获目标的图像。图 像捕获镜头单元211设置有例如马达等作为用于进行对焦或者 改变变焦功能的焦距的驱动源，图像捕获镜头单元211具有透 镜组是可移动的配置。光圈单元212具有光圈是可控制的配置。 驱动电路216进行图像捕获镜头单元211和光圈单元212的操作 控制。因此，通过驱动电路216适当地控制图像捕获镜头单元 211和光圈单元212，来适当地调节到达光学传感器213的光量 (在光学传感器213上形成图像)。光学传感器213配置有固态图 像传感装置(例如，CCD或者CMOS传感器等)，从而可以将入 射光转换为电荷并且根据光量进行积累。光学传感器213读取 积累的电荷，将积累的电荷作为图像信号传送到A/D转换器 214。
这里，由驱动电路217输出的脉冲信号等适当地控制光学 传感器213的操作。即，连续进行在指定的定时读取在指定的 时间间隔内积累的电荷的操作序列。因此，获得连续的图像。 以这种方式获得的连续图像是运动图像。
接下来，A/D转换器214对从光学传感器213接收到的图像 信号进行A/D转换，将转换后的图像信号作为数字数据(图像数 据)传送到图像信号处理电路215。图像信号处理电路215使用 从A/D转换器214接收到的图像数据进行图像校正，即白平衡校 正和伽马校正。然后，将以这种方式处理并以适当格式放置的 图像数据传送到代码压缩电路102。
关于图像数据在处理间的交换，例如，通过使用采用 DMA(直接存储器存取，Direct Memory Access)电路的高速存 储器251进行存取，可以实时处理大量数据。
代码压缩电路102对从图像信号处理电路215输入的图像 数据进行压缩编码。通过对每个帧的图像进行压缩编码处理， 对运动图像执行压缩编码处理。可以使用各种压缩编码方法。 例如，在连续JPEG(ISO/IEC 10918)编码(所谓的运动JPEG) 图像中，将从图像信号处理电路215输入的RGB图像数据转换 为由亮度信号Y和色度(chroma)信号CbCr构成的YC信号。在 划分为8×8的像素块之后，进行离散余弦变换、量子化和 Huffman编码处理，输出最终的压缩图像。可选地，压缩编码 方法可以使用进行帧间预测的MPEG-2(ISO/IEC 13818)或 者MPEG-4(ISO/IEC 14496)等格式。在这种情况下，参考在 先和后续帧对要压缩的一个特定图像(帧)进行运动补偿预测 (motion-compensated prediction)、宏模块(macroblock)处 理等，输出在先和后续图像帧彼此依赖的压缩图像(比特流)。
接下来是致动器单元103的说明。致动器单元103例如包括 使用伺服马达使图像捕获单元101转动运动的致动器221、以及 超声波马达等。此外，致动器单元103包括致动器221的驱动电 路223和用于检测致动器221的运动量的运动检测电路222。使 用这种配置，例如，当从在网络上的装置或者运动图像处理设 备本身中安装的按钮等输入了转动图像捕获单元101的请求 时，CPU 252检测到该输入请求，将指令发送到驱动电路223 进行所指示的转动。因为驱动电路223基于该指令控制致动器 221，致动器221使连接到致动器221自身的图像捕获单元101 转动所请求的转动角量。此外，运动检测电路222检测致动器 221的转动量，在每个预定定时记录转动时间的检测量。通过 致动器单元103的这种操作，可以在每个预定定时将图像捕获 单元101的运动量记录到存储器251，从而可以适当地参考所记 录的运动量。此外，如上所述，采用驱动电路216控制图像捕 获镜头单元211的配置，与在改变焦距的所谓的变焦操作中相 同，可以参考焦距信息。即，可以采用CPU 252对驱动电路216 发出指令、将该驱动状态记录到存储器251的配置。
在本实施例中，运动图像数据获取电路104可以通过使用 记录到存储器251的运动量来与运动图像一起获取图像捕获位 置信息。
稍后将与程序操作的流程一起详细说明运动图像数据获取 电路104、信息附加电路107、运动图像数据输出电路108、运 动图像再现电路110等，因此这里省略其说明。
由CPU 252对上述各部分的操作控制进行管理。此外，在 ROM 253中存储包含CPU 252的操作规则的程序。因此，CPU 252使用存储在ROM 253中的程序或者数据执行处理，因此可 以与对整个运动图像处理设备进行控制一起执行由用于构成运 动图像处理设备的每个部分所进行的上述处理。
接下来，说明从输入编码数据和编码参数、捕获图像时的 焦距、转动角等信息、运动图像的图像数据的各个帧的时间信 息开始直到通过信息附加电路107将运动图像数据输出到存储 装置109的处理。
为了便于说明处理的流程，首先说明最终输出的运动图像 数据的格式。图3示意性地示出图像捕获单元101的位置和最终 输出的运动图像数据的文件格式之间的关系。首先，通过运动 图像数据获取电路104获取图像捕获单元101的焦距和时间信 息(时间戳)等图像捕获信息。例如，在本实施例中，图像捕获 信息是视角θ和转动角φ。在图像捕获单元101的中心，由以图3 中垂直向下的方向作为参考(φ(0)＝0°)的φ表示转动角，将以在 图像捕获单元101的镜头部分上为中心的规定范围用作假想的 图像感应平面301。
此外，当将垂直于图像感应平面301、从图像捕获单元101 的中心延伸的线作为中心线(图3中的M或者N)时，当图像感应 平面的中心线是N时，图像捕获单元101的转动角是φ(N)。当图 像感应平面的中心线为M时，图像捕获单元101的转动角是 φ(M)。
首先，当使用设置在图3的中心的图像捕获单元101进行图 像捕获时，图像捕获单元101生成运动图像数据文件302。从致 动器单元103输出基于与包含在运动图像数据文件302中的每 个图像帧303相关的平转/俯仰/变焦操作所获取的捕获图像时 的图像捕获信息304。运动图像数据获取电路104记录图像捕获 信息304作为帧303的元数据。
另一方面，在信息附加电路107中，将与用户通过用户输 入单元106指定的区域(将指定区域也称为“标记”)相关的标记 信息记录到运动图像数据文件(运动图像数据)中。关于确定哪 个帧包含该指定区域，可以设想如下方法：将具有包含该指定 区域的中心线的帧、或者在假想图像感应平面301中包含指定 区域的面积大的帧，确定为包含指定区域的帧。
上述方法不限于确实能够指定一个帧；还能够以时间戳指 定指定区域的图像捕获定时。在这种情况下，作为一个例子还 可以给出在时间戳中记录视角θ和转动角φ的方法。
关于所获取的标记信息的说明，例如在图3的情况下，在 帧310中指定标记305。在这种情况下，在运动图像数据文件302 的头306中，记录了如下信息：在进行图像捕获时的转动角是 φ(M)的位置指定标记。在本实施例中，说明在运动图像数据文 件302的头306中记录标记信息的例子，但是作为与每个帧相关 的元数据，可以在每个帧中记录表示已指定了标记的识别信息。
接下来是对图3所示的标记信息和运动图像数据的文件格 式之间的关系的说明。作为具体的例子，使用MPEG-4(下文 中，称为MP4)文件格式作为例子对文件结构和标记信息记录进 行详细的说明。MP4文件格式是用于记录MP4编码的运动图像 /音频数据的标准文件格式。
图4示出MP4文件401的结构的概要。MP4文件401由电影 元数据402和媒体数据406构成。在电影元数据402中，存储有 表示媒体数据406的存储位置和属性的信息。当在MP4文件401 中记录有视频和音频数据二者时，存储作为与视频轨迹相关的 头的视频轨迹元数据405和音频轨迹元数据411。
在媒体数据406中存储视频数据、音频数据等媒体流的编 码数据。例如，当在文件的头中记录标记信息404时，通过信 息附加电路107中的处理，将标记信息404存储在作为存储位置 的电影元数据402中。可以从标记信息404中基于记录在其中的 时间戳来参考视频轨迹元数据405中具有相同时间戳的元数据 (408)。然后，将每个帧的时间戳记录在视频轨迹元数据405中， 可以基于从视频轨迹元数据405中记录的时间戳来参考视频数 据407中的帧(409)。即，还可以通过将包含指定区域的帧的时 间戳记录在标记信息404中来参考媒体数据406。
图4中的描述410示出标记信息404的示例描述。在本实施 例中，在MP4文件401中作为所希望的BOX(存储箱)来附加标 记信息404。在可以记录所希望的数据的用户空间(“udta”)中生 成新的BOX(“stms”)，在该B0X中记录标记信息。
标记信息404的示例描述410包括下面所示的变量。
entry_count(421)：标记的总数
entry_num(422)：标记编号
frame_num(423)：指定了标记的帧编号
timestamp(424)：指定了标记的帧的时间戳
rotation_angle(425)：对指定了标记的帧进行图像捕获时 的转动角
field_angle(426)：对指定了标记的帧进行图像捕获时的视 角
例如，在标记信息404的示例描述410中包含作为变量的 timestamp(424)。通过记录该时间信息作为标记信息，当在指 定时间指定特定区域时，可以基于输入的指定时间和时间戳值 来参考相应的帧。
上述标记信息404的变量(421～426)仅仅是一个例子，不 需要变量包含全部信息，变量可以仅包含一部分信息。此外， 标记信息404的变量不限于上述变量；还可以描述上述变量之 外的变量作为标记信息404的变量。
信息附加电路107将由用户输入单元106指定的标记信息 404附加到运动图像数据中。运动图像数据输出电路108将如图 3所示的通过组合运动图像数据、图像捕获信息和标记(标记信 息)而获得的运动图像数据文件302输出到存储装置109中。
接下来是通过用户输入单元106对记录标记信息404进行 指示的方法的说明。为了输入标记信息404，例如可以使用如 下方法：在参考在显示单元105中显示的图像的同时，用户使 用由鼠标指示器等构成的用户输入单元106对图像进行指示。 在本实施例中，作为输入指令的简单方法说明如下情况：用户 输入单元106具有使用按钮构成的接口，在参考显示单元105 的显示的同时，按下按钮给出指令。
图5是示出在使作为所捕获的运动图像数据的特定瞬间的 图像的帧和叠加在该图像的帧上的标记信息可视化的状态下帧 和标记的示意图。
在图5中，示出了三个帧(501，502和503)。帧501示出不 是指定瞬间的图像帧。帧502示出图像捕获单元101的转动角是 作为致动器单元103将图像捕获单元101从帧501的状态进行转 动的结果的φ(M)的瞬间的图像帧(M)。
此外，帧503示出由于从帧502的状态开始进一步轻微地转 动后转动角是φ(M+1)并且还进行放大(变焦)后的图像帧 (M+1)。为了理解所捕获的图像的转动，在图5中清楚地示出了 每个帧的中心线。用虚线绘制的圆(504和505)表示使得可视的 标记。
当在参考显示单元105的显示的同时按下在用户输入单元 106中设置的按钮(未示出)时，将标记信息设置到在按下的定时 正在显示的图像帧中。以图像帧(M)502为例，将标记信息设置 为在图像帧(M)502中显示预先设置的标记大小标记505。
这里，图像帧(M)502中相对于图像帧501的视角和焦距分 别是θ(M)和f(M)。此外，图像帧(M+1)503中相对于图像帧501 的视角和焦距分别是θ(M+1)和f(M+1)。这时，与每个图像帧 相关的图像捕获单元101的位置信息如下。
在图像帧(M)502中的位置信息中，转动角是φ(M)，视角是 θ(M)，焦距是f(M)。在图像帧(M+1)503中的位置信息中，转 动角是φ(M+1)，视角是θ(M+1)，焦距是f(M+1)。
此外，在标记信息中，转动角是φ(M)，视角是θ(M)，焦距 为f(M)，此外，标记大小是S。这里，标记大小S是表示标记的 大小的值，例如，可以将通过转换为视角而获得的值作为标记 大小S。
通过将图像捕获信息和标记信息附加到运动图像数据，使 作为标记信息的转动角和视角与每个图像帧的转动角和视角相 关联，从而可以一致地存储每个图像帧之间的关系。
此外，为了给出更具体的说明，除了参考图5之外还参考 图6对使得可视的标记和图像帧之间的关系进行附加说明。在 图5中的图像帧(M+1)503中，将使得可视的标记504的显示为 比图像帧(M)502的标记505大。这是因为对图像帧(M+1)503 的图像捕获相对于图像帧(M)502进行了放大。应当注意，用户 输入单元106进行标记设置指示的瞬间与图像帧(M)502的瞬间 相同。可以不依赖于特定图像帧地设置标记信息。因此，例如， 图像帧(M)502中的视角θ(M)和标记信息的视角θ(M)是相同 的，但是，图像帧(M+1)503中的视角θ(M)不必相同。即，在 图像帧(M)502中设置的标记信息的视角θ(M)将会转换为图像 帧(M+1)503的视角θ(M+1)。
图6示出图像帧(M)502和标记信息之间的关系。从图6明显 可知，在图像帧(M)502中的假想图像感应平面601中，使得可 视的标记在水平方向(横向方向)上的宽度d(M)与假想图像感应 平面601在水平方向(横向分析)上的宽度L的关系如下。
d(M)/L＝(sin(S/2))/(sin(θ(M)/2)) (1)
这里，S是按照例子中对上述标记大小进行视角转换而获 得的值。比率d(M)/L是标记大小对图像帧的比率。如果如图5 所示在显示单元105上叠加地显示使得可视的标记，则例如可 以使用显示单元105的像素比率显示标记。
另一方面，在图像帧(M+1)503中，由于进行了放大而视角 是视角θ(M+1)，所以标记在水平方向(横向方向)上的宽度d(M) 如下。
d(M+1)/L＝(sin(S/2))/(sin(θ(M+1)/2)) (2)
例如，假设如下情况：S是5度，θ(M)是20度，θ(M+1)是 10度，捕获图像帧中的水平像素是640。通过计算可以得出， 图像帧(M)502中使得可视的标记中的水平像素是大约161，图 像帧(M+1)503中使得可视的标记的水平像素是大约320。由于 从图像帧(M)502变化到了图像帧(M+1)503，视角近似变为原 来的一半，使得可视的标记的大小大约变为原来的两倍。
当视角非常小时，通过Maclaurin展开，可以将上述使得 可视的标记在水平方向(横向方向)上的宽度与假想图像感应平 面601在水平方向(横向方向)上的宽度的关系表达式近似为 d/L＝S/θ。
此外，在从图像帧(M)502变化到图像帧(M+1)503时，例 如，可以将转动角φ(M)到转动角φ(M+1)的变化看作是图像帧 从中心线(M)到中心线(M+1)的变化。
这里，为了避免作为图像帧(M)502中的标记信息而设置的 转动角φ(M)与图像帧(M)502的转动角相混淆，将φ(m)用作作为 标记信息的转动角φ(M)。此外，将ψ用作特定图像帧的转动角 φ(x)与φ(m)之间的转动角的差，即ψ＝|φ(x)-φ(m)|。
例如，在作为图像帧(M)502和图像帧(M+1)503中的标记 信息而设置的φ(m)＝转动角φ(M)之间的关系中，ψ＝φ(m)- φ(M+1)。
此外，将θ(x)用作该特定图像帧的视角。类似地，在图像 帧(M+1)503的情况下的视角θ(x)＝θ(M+1)。
距假想图像感应平面601的中心线距离为r的假想图像感 应平面601在水平方向(横向)上的宽度为L的使得可视的标记的 中心位置用下式(3)来表示。
r/L＝(tan(ψ)/tan(θ/2))/2 (3)
此外，作为通过将标记大小S转换为视角而获得的值，从 假想图像感应平面601的中心线到标记远端的距离r1用下式(4) 来表示。
r1/L＝(tan(ψ-(s/2))/tan(θ/2))/2 (4)
类似地，从假想图像感应平面601的中心线到标记近端的 距离r2用下式(5)来表示。
r2/L＝(tan(ψ+(s/2))/tan(θ/2))/2 (5)
这些表达式总是受将包含在标记信息中的标记大小S转换 为视角的影响。
以这种方式，通过适当地存储标记信息，可以总是使用假 想图像感应平面601上可视化了的、由标记信息表示的标记的 位置。
将图像捕获单元101对应于每个图像帧的位置信息、以及 与由用户输入单元106指示的图像捕获单元101的位置信息相 对应的标记信息记录在运动图像数据中。使用记录有位置信息 和标记信息的运动图像数据，可以获取包含标记的帧中的标记 显示位置，且这不限于记录标记信息的瞬间的运动图像帧。基 于该显示位置，可以在更早的时间点记录的帧中显示在特定瞬 间指定的标记。因此，根据运动图像的各个图像帧以及捕获图 像时的方向和视角等位置信息，可以使全部运动图像中的特定 区域在空间上相关联。
在本实施例中，说明了获取与水平方向上的图像捕获单元 的操作相关的图像捕获信息并将所获取的信息记录在运动图像 数据中的技术，但是对垂直方向上的操作也可以使用相同的技 术。即，通过获取并记录与垂直方向上的运动相关的图像捕获 信息，使用上述技术以相同的方式可以指定标记的位置。
接下来是对当基于使用上述技术输出的运动图像数据、将 图像捕获信息和标记信息记录在运动图像数据中、并对该运动 图像数据进行再现时所进行的处理的说明。
基于记录在MP4文件401中的标记信息404，运动图像数据 输出电路108生成记录有与在再现运动图像时由用户指定的特 定区域相关的标记信息404的运动图像数据。使用记录有图4所 示的描述410等的标记信息的情况作为例子说明该处理。
在读取媒体数据406之前，运动图像数据输出电路108获取 记录在运动图像数据的头中的标记信息404。例如，运动图像 数据输出电路108从记录在标记信息404中的entry_count(421) 中获取记录在运动图像数据中的标记的总数。在图5所示的例 子中，在帧中仅显示一个标记，但是本发明的要旨不限于这种 情况；可以在单个帧中指定多个标记。
运动图像数据输出电路108获取每一个标记信息424的时 间戳，获取包含在时间戳中的帧编号。基于获取的帧编号，从 运动图像数据中指定帧。然后，基于作为标记信息404所记录 的与特定区域相关的转动角和视角指定由用户指定的区域。运 动图像数据输出电路108基于记录在MP4文件401中的标记信 息404生成运动图像数据。
一致地记录与运动图像数据中的运动图像帧相对应的图像 捕获单元101的位置信息以及与由用户输入单元106指示的图 像捕获单元101的位置信息相对应的标记信息，作为可以再现 的数据进行输出。
运动图像再现电路110读取记录在存储装置109中的运动 图像数据，进行解码处理，然后对运动图像数据进行再现处理。 这时，当将标记信息(图4中的404)记录在运动图像数据中时， 当再现包括标记信息的帧时，可以显示该标记。
接下来是参考流程图对上述处理的流程的说明。首先是参 考图7对从使用图像捕获单元101捕获被摄体的图像到输出运 动图像数据的处理的流程的说明。
通过在CPU 252的控制下运行的软件程序与运动图像数 据获取电路104、信息附加电路107、运动图像数据输出电路108 等的合作来实现该处理。
在步骤S701中，获取使用致动器单元103获取的平转/俯仰 /变焦等图像捕获单元101的图像捕获信息，来获得从图像捕获 单元101输出的运动图像数据。将从图像捕获单元101输出的运 动图像数据输出到代码压缩电路102。代码压缩电路102基于从 图像捕获单元101输出的运动图像数据执行编码处理，将编码 后的运动图像数据输出到运动图像数据获取电路104。此外， 致动器单元103将与图像捕获单元101的图像捕获信息相关的 信息(例如，焦距、时间信息(时间戳)以及捕获图像时的图像捕 获单元101的转动角和视角等)输出到运动图像数据获取电路 104。
在步骤S702中，运动图像数据获取电路104记录在前一步 骤S701中由运动图像数据目的地获取的运动图像数据的图像 捕获信息。作为与构成该运动图像数据的每个图像帧相关的信 息来记录图像捕获信息。
这里，当存在来自用户输入单元106的附加标记显示的指 令时，信息附加电路107获取信息(标记信息)，以对附加在构成 运动图像数据的图像帧中的标记显示进行显示控制。这里，标 记信息例如包含当指定标记显示的位置时的图像捕获单元101 的转动角和视角信息中的任意一个的信息。然后，信息附加电 路107将该标记信息记录(附加)到从运动图像数据获取电路104 输出的运动图像数据中(S702)。这里，作为格式和与运动图像 数据相关的图像捕获信息相同的信息来附加所记录(附加)的信 息，并且可以对其进行转换。
在步骤S703中，运动图像数据输出电路108产生记录有在 运动图像数据再现时与用户指定的区域相关的标记信息的运动 图像数据，输出所产生的运动图像数据。
接下来是参考图8中的流程图对记录有标记信息的运动图 像数据进行再现的处理的流程。通过在CPU 252的控制下运行 的软件程序与运动图像再现电路110等的合作来实现该处理。
在步骤S801中，运动图像再现电路110针对由运动图像数 据输出电路108产生并记录在输出运动图像数据中的每个帧， 从存储装置109中获取图像捕获单元101的图像捕获信息。
接下来，在步骤S802中，运动图像再现电路110获取记录 (附加)在运动图像数据中的标记信息404。
在步骤S803中，运动图像再现电路110基于在前一步骤 S802中获取的标记信息404和每个帧的图像捕获信息来计算标 记显示位置和大小(S803)。
然后，在步骤S804中，当再现包含标记信息404的图像帧 时，运动图像再现电路110基于在前一步骤S803中算出的标记 显示位置和大小显示标记，该处理结束。
接下来是对当再现包含标记信息的帧时所进行的基于记录 在MP4文件401中的标记位置信息的标记显示的说明。
关于标记在水平方向(横向方向)上的宽度d(M)，对以下情 况进行说明：L是图6所示的假想图像感应平面601在水平方向 (横向方向)上的宽度，从式(1)中的关系可以得出关系： d(M)/L＝(sin(S/2))/(sin(θ(M)/2))。用式(1)中的关系经过变形后 来表示标记在水平方向上的宽度d(M)得出如式(6)的表达式。
d(M)＝L×((sin(S/2))/(sin(θ(M)/2)) (6)
当以SVG(Scalable Vector Graphics，可缩放矢量图)用来 通过设置使用SVG绘制标记的部分的大小来使标记信息可视 化的情况为例时，可以在指定部分中显示合适大小的标记。例 如，参考下面公开的绘制设置的例子来说明作为圆示出标记的 情况。在下面公开的绘制设置中，“circle”表示圆形，(cx，cy) 表示该圆的中心位置(中心坐标)。用“r”表示圆的半径的大小。 这里，将半径的大小设为“d(M)/2”，设置转换为直径，绘制并 显示直径为d(M)的圆。此外，stroke＝“red”表示将所绘制的圆 的颜色设置为红色。
示例绘制设置