[0001] 本发明涉及一种影像制作方法，尤其涉及一种对影像实施剔除处理的影像制作方法。

[0002] 若要读出从多个像素输出的所有像素信号并记录影像数据，则数据容量会变大，因此有时需要对影像实施剔除处理。

[0003] 另一方面，例如有时要求更高清地记录所关注的被摄体的影像。专利文献1或2中记载的技术中，在检测到在摄影范围(即，视场角)内的物体的移动的情况下，在拍摄较高分辨率的影像，未检测到物体的移动的情况下，拍摄较低分辨率的影像。

[0004] 以往技术文献

[0005] 专利文献

[0006] 专利文献1：日本特开2005‑175719号公报

[0007] 专利文献2：日本专利第6254114号

[0040] 关于本发明的优选的一个实施方式(以下，也称为本实施方式。)，参考附图进行详细说明。

[0041] 本实施方式涉及基于图1及图2所示的摄像装置10的影像制作方法。另外，以下说明的实施方式仅仅是为了易于理解本发明而举出的一例，并非限定本发明，本发明在不脱离其主旨的情况下，能够从以下说明的实施方式进行变更或改良。并且，本发明中包括其等同物。

[0042] 并且，在本说明书中，“正交”除了严格的正交之外，还包括2个方向所呈的角度与90度相差几度左右的情况。并且，“平行”除了严格的平行之外，还包括从2个方向中的一个与另一个平行的状态倾斜几度程度的情况。

[0043] 并且，本说明书中，“同时”包括在本发明所述的技术领域中被认为是“同时”范围，能够允许一些延迟(误差)。例如，在后述的1个单位摄像期间内实施的多个处理即使实施定时稍微不同，也可视为“同时”实施。

[0044] [关于摄像装置]

[0045] 本实施方式的摄像装置(以下，称为摄像装置10。)例如为监控摄像机，在所设置的场地拍摄(摄像)规定范围的影像。“影像”主要是动态图像，摄像装置10以规定帧速率拍摄影像以制作任意的影像数据。即，摄像装置10相当于影像制作装置。

[0046] 在此，“制作任意影像”是指，使用从后述的图4所示的成像元件40的像素p读出的像素信号，直接构建在摄影范围内映出的影像(原始影像)，或者对原始影像实施后述的剔除处理等处理来构件影像。

[0047] 摄像装置10如图1所示经由网络16连接于监控终端12，与监控终端12一起构成摄像系统10S。通过摄像装置10制作的影像的数据(以下，也称为影像数据。)经由网络16朝向监控终端12发送。由此，在监控终端12侧的监控器14上显示通过摄像装置10制作的影像(例如，参考图12)。

[0048] 摄像装置10在作为摄像范围的视场角(严格来讲是后述的第1视场角)内检测到对象被摄体时，制作包含对象被摄体的视场角(严格来讲是后述的第2视场角)的影像，记录其影像数据，并朝向监控终端12发送。

[0049] 在此，“对象被摄体”是指风景以外的被摄体中满足正在移动中等规定条件的被摄体，例如相当于映入视场角内的行人、动物及交通工具等。并且，可以将对象被摄体限制为规定的对象被摄体，例如可以仅将在视场角内映入了规定时间以上的人作为对象被摄体。或者，不设定对象被摄体的限制，可以将映入摄像装置10的视场角内的所有人作为对象被摄体。

[0050] 摄像装置10结构与一般监控摄像机的结构大致相同，如图1所示，具有摄像装置主体20、框体22及三轴移动机构24。摄像装置主体20容纳在框体22内，并通过具有透光性的圆顶形主体罩20a覆盖。三轴移动机构24使框体22朝向相互正交的三轴(辊、间距、偏航)的各方向移动，以变更摄像装置10的视场角。关于框体22及三轴移动机构24的结构，能够利用用于监控摄像机的公知的结构，因此省略说明。

[0051] 如图2所示，摄像装置主体20例如具有由多个透镜构成的光学单元26及光圈30。光学单元26包括变焦透镜等变焦用光学设备27。利用变焦用驱动部34使光学设备27向光轴方向移动，由此改变视场角的变焦。另外，摄像装置10可以具备光学变焦功能和电子变焦功能。

[0052] 光学单元26包括聚焦透镜等聚焦用光学设备28。通过使光学设备28向光轴方向移动，调整摄像时的焦点位置。本实施方式的摄像装置10通过像面相位差自动聚焦方式，根据相位差信息控制聚焦用驱动部36，由此以与视场角中的规定位置聚焦的方式调整焦点位置。另外，自动聚焦的方式并不限定于像面相位差方式，也可以为除对比度方式或像面相位差方式以外的相位差方式。

[0053] 光学单元26可以包括广角透镜、超广角透镜、360度透镜或变形透镜等。在该情况下，能够在水平方向以宽视场角进行拍摄。另外，摄像装置10具备单个光学单元26，也可以改变视场角而具备多台光学单元26。

[0054] 光圈30的其开口形状通过光圈驱动部38调整。由此，调整成像元件40中的曝光量。

[0055] 如图2所示，摄像装置主体20具备快门32、成像元件40、控制部50、模拟信号处理电路62、内部存储器64、卡槽66、通信用接口68及缓冲存储器70。

[0056] 成像元件40是由CCD(Charged Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor Image Sensor：互补金属氧化物半导体影像传感器)等固体成像元件构成的图像传感器。成像元件40进行拍摄，接收通过光学单元26及光圈30等的光而成像，将其光学像转换为作为电信号的像素信号并输出。以规定的单位摄像时间的长度重复进行基于成像元件40的摄像。

[0057] 控制部50控制摄像装置10的各部，执行有关影像的制作及记录等的处理。如图2所示，控制部50包括控制器52及影像处理部54。

[0058] 控制部50由1个或多个处理器构成。处理器例如可以由CPU(Central Processing Unit：中央处理器)、FPGA(Field Programmable Gate Array：现场可编程门阵列)、DSP(Digital Signal Processor：数字信号处理器)、ASIC(Application Specific Integrated Circuit：专用集成电路)、GPU(Graphics Processing Unit：图形处理器)、MPU(Micro‑Processing Unit：微处理器)或其他IC(Integrated Circuit：集成电路)或者LSI(Large‑Scale Integrated circuit：大规模集成电路)构成。或者，可以组合这些构成处理器。并且，处理器如SoC(System on Chip：片上系统)等为代表那样，由1个IC(Integrated Circuit：集成电路)芯片构成包括控制器52及影像处理部54的控制部50整体的功能。以上举出的各处理器的硬件结构可以由组合了半导体元件等的电路元件的电路(Circuitry)来实现。

[0059] 控制器52例如控制成像元件40及模拟信号处理电路62，以使以规定的单位摄像时间的长度制作影像。并且，控制器52为了调整摄像条件而控制各驱动部34、36、38、成像元件40及模拟信号处理电路62等。

[0060] 另外，控制器52控制三轴移动机构24，以使容纳包括成像元件40等的摄像装置主体20的各部的框体22移动。由此，在摄像时视场角内的对象被摄体退出到视场角外时，能够以追踪对象被摄体的方式变更视场角。

[0061] 影像处理部54在控制器52的控制下，制作第1视场角的影像并记录第1影像数据。第1视场角是如图3那样以摄像装置10的总视场角为基准设定的视场角，例如是用户在总视场角内指定的范围(例如，图3中，由虚线表示的范围)。第1影像数据是记录了第1视场角的影像的数据。

[0062] 另外，第1视场角能够指定为任意的尺寸，最大能够设为总视场角。第1视场角的指定例如根据设定在摄像装置10的未图示的操作面板的操作、或者监控终端12侧的输入操作进行。并且，第1视场角通常为矩形状，但其形状并无特别限定，可以是圆形、椭圆形、矩形以外的四边形、其他多边形。

[0063] 并且，第1视场角的影像可以作为实时取景图像随时显示在监控终端12的监控器14上。

[0064] 影像处理部54对由模拟信号处理电路62转换为数字数据的像素信号进行伽马校正及白平衡校正等来生成影像信号。处理后的影像信号以按照规定规格的压缩形式压缩而成为压缩数字影像数据。以规定的单位摄像期间的长度重复生成压缩数字影像数据。

[0065] 影像处理部54通过分析第1视场角的影像判定第1视场角内的对象被摄体(例如行人等)的存在与否。在第1视场角内检测到对象被摄体的算法并无特别限制，但是作为一例，能够利用公知的模板匹配。即，将对象被摄体的图像存储为模板图像，在第1视场角的影像中，能够通过与上述模板图像的比较核对来判定是否存在。

[0066] 当在第1视场角内检测到对象被摄体的情况下，影像处理部54制作包括对象被摄体的第2视场角的影像，并一同记录第2影像数据与第1影像数据。第2视场角为包括对象被摄体的视场角，小于第1视场角，且位于第1视场角内(收纳在第1视场角内)。第2影像数据是记录了第2视场角的影像、即对象被摄体的影像的数据。

[0067] 第2视场角的尺寸按照所检测的对象被摄体的尺寸并通过影像处理部54自动设定。另外，第2视场角通常为矩形状，但其形状并无特别限定，可以是圆形、椭圆形、矩形以外的四边形、其他多边形。

[0068] 第1影像数据及第2影像数据被记录到内部存储器64等中并随时发送到监控终端12。按照规定的记录形式(动画格式)记录各影像数据。各影像数据的记录形式并无特别限定，可以自由决定。另外，各影像数据可以仅记录到监控终端12的记录介质而不存储于摄像装置10的记录介质，相反，也可以仅记录到摄像装置10的记录介质。

[0069] 以后，除非另有说明，将控制器52及影像处理部54的各动作及处理作为控制部50的动作及处理进行说明。

[0070] 内置于摄像装置主体20的内部存储器64、及能够与卡槽66装卸的存储卡67是记录通过控制部50生成的影像数据的记录介质。

[0071] 通信用接口68构成摄像装置10与监控终端12之间的数据收发用输入输出端口。

[0072] 缓冲存储器70作为控制部50的工作存储器而发挥作用。

[0073] [关于成像元件]

[0074] 若再次对成像元件40进行说明，则如图4所示，成像元件40具有像素阵列41、像素驱动线42、垂直信号线43、控制电路44及逻辑电路45。这些构成要件形成于未图示的硅基板等半导体基板。

[0075] 如图5所示，像素阵列41由成像元件40中分别沿相互交叉的2个排列方向排列而排列成二维状的多个像素p构成。在各像素p中，光电转换元件生成与通过露出而接收的光量相对应的光电荷。电荷积聚到像素p内之后，作为像素信号输出。另外，在本实施方式中，各像素p与3种颜色R(Red：红色)、G(Green：绿色)、B(Blue：蓝色)中的任一个对应。

[0076] 在像素阵列41中，如图5所示，沿第1排列方向排列有多个像素行L，沿第2排列方向排列有多个像素列C。第1排列方向为像素信号的传输方向，通常相当于垂直方向。第2排列方向与第1排列方向正交，通常相当于水平方向。在本实施方式中，在像素阵列41上沿第1排列方向排列m行像素行L，沿第2排列方向排列n列像素列C。m及n为2以上的自然数，例如为几百～几千。

[0077] 另外，以下，在像素阵列41中，将配置有像素p的区域称为像素区域。

[0078] 像素阵列41中的m×n个像素p如图5所示与总视场角的影像对应。在像素阵列41中，位于与第1视场角相对于总视场角的位置关系相同的位置的像素区域为与第1视场角对应的像素区域。同样，在像素阵列41中，位于与第2视场角相对于总视场角的位置关系相同的位置的像素区域为与第2视场角对应的像素区域。如图6所示，与第2视场角对应的像素区域位于与第1视场角对应的像素区域内，且小于与第1视场角对应的像素区域。

[0079] 第1视场角的影像通过从与第1视场角对应的像素区域的像素p输出的像素信号制作。第2视场角的影像由从位于第2视场角对应的像素区域内的像素p输出的像素信号制作。

[0080] 并且，像素阵列41(即，m×n个像素p)包括用于相位差检测的多个相位差像素。通过从各相位差像素输出的像素信号确定相位差信息。控制部50通过像面相位差方式并根据确定的相位差信息调整焦点位置。

[0081] 像素驱动线42如图4所示按每个像素行L设置，并配线于各像素行L中包含的n个像素p的每一个上。垂直信号线43如图4所示按每个像素列C设置，并配线于各像素列C中包含的m个像素p的每一个上。

[0082] 控制电路44控制像素信号的读出。像素信号的读出是将从像素p输出的像素信号朝向规定的传输目的地传输。另外，在本说明书中，将从像素p读出像素信号也称为“读出像素p”，将从后述的像素行L中的各像素p读出的像素信号也称为“读出像素行L”。

[0083] 如图4所示，控制电路44包括垂直驱动部101、列处理部102、水平驱动部103及系统控制部104。垂直驱动部101以像素行L单位从像素p读出像素信号，由此进行作为电子快门动作的横摇快门动作。但是，并不限定于此，通过从所有像素p同时读出像素信号，进行作为电子快门动作的全局快门动作。

[0084] 如图4所示，垂直驱动部101按每个像素行L具备输出端，在各输出端连接有对应的像素驱动线42的一端。基于垂直驱动部101的扫描中包括读取扫描系统及扫出扫描系统。

[0085] 读出扫描系统在第1排列方向上从上方依次选择像素行L，从与配线在所选择的像素行L上的像素驱动线42对应的输出端输出像素驱动用脉冲信号。由此，来自像素行L中包含的像素p的像素信号以像素行L单位依次读出。从各像素p输出的像素信号通过配线有各像素p的垂直信号线43供给到列处理部102。

[0086] 相较于读出扫描系统，扫出扫描系统仅先行进行快门速度的时间，从与配线在各像素行L上的像素驱动线42对应的输出端输出复位用脉冲信号(复位信号)。通过扫出扫描系统的扫描，能够从各像素行L中包含的像素的光电转换元件扫出不必要的电荷并且将像素p进行复位。

[0087] 横摇快门方式的电子快门动作中以像素行L单位依次进行各像素p的复位、曝光及电荷积聚，根据1次快门动作，制作单位摄像期间量的影像。另外，1个单位摄像期间相当于从对1个像素p输出复位信号至输入下一个复位信号为止的时间间隔。

[0088] 列处理部102按每个像素列C具有信号处理电路。从各像素p输出的像素信号通过配线有各像素p的垂直信号线43按每个像素列C输入到列处理部102。各信号处理电路对按每个像素列C输入的像素信号实施CDS(Correlated Double Sampling：相关双取样)处理及噪声去除处理等。

[0089] 另外，在列处理部102中可以包括实施将从像素p输出的像素信号从模拟信号转换为数字信号并输出的A/D转换处理的信号处理电路，而代替模拟信号处理电路62。并且，可以在A/D转换后进行上述的CDS处理及噪声去除处理等。

[0090] 水平驱动部103由移位寄存器或地址译码器等构成，依次选择列处理部102的各信号处理电路，并将由所选择的信号处理电路处理的像素信号输入于逻辑电路45。

[0091] 系统控制部104由生成各种定时信号的定时信号发生器等构成，基于所生成的定时信号控制垂直驱动部101、列处理部102及水平驱动部103。

[0092] 如图4所示，逻辑电路45具备信号处理部111及存储器部112。信号处理部111对从控制电路44输出的像素信号进行加法运算处理等各种信号处理，并朝向控制部50输出处理后的像素信号。存储器部112临时存储处理后的像素信号或处理中的像素信号。存储到存储器部112的像素信号在所需定时通过信号处理部111被参考。

[0093] 在如上所述构成的成像元件40中，例如通过读出来自像素阵列41中的所有像素p(即m×n个像素p)的像素信号，能够制作总视场角的影像。

[0094] 并且，通过选择作为读出对象的像素行L及像素列C，能够制作总视场角内的一部分影像、即第1视场角的影像。即，通过选择位于与第1视场角对应的像素区域内的像素行L及像素列C并从所选择的像素行L及像素列C的每一个中包含的像素p读出像素信号，能够制作第1视场角的影像。通过同样的要点，通过选择位于与第2视场角对应的区域内的像素行L及像素列C并从所选择的像素行L及像素列C的每一个中包含的像素p读出像素信号，能够制作第2视场角的影像。

[0095] [关于剔除处理]

[0096] 在像素阵列41中，通过从位于与第1视场角或第2视场角对应的像素区域内的所有像素p读出像素信号，作为其视场角的影像，能够制作所有读出影像。例如，当在第1视场角为总视场角的情况下，通过从m×n个像素p全部中读出像素信号，制作所有读出影像来作为第1视场角的影像。以下，为了便于说明，也将第1视场角或第2视场角统称为“设定视场角”。

[0097] 虽然所有读出影像为高分辨率，但另一方面，影像的数据容量变大，因此数据发送时间加长。相对于此，摄像装置10为了减少影像数据的容量并缩短数据发送时间的目的，而具备实施剔除处理的功能。

[0098] 剔除处理是在制作设定视场角的影像时，剔除位于与设定视场角对应的像素区域内的像素p中读出像素信号的像素p的数量的处理。实施剔除处理而生成的影像的分辨率低于所有读出影像，但是能够根据剔除的像素数减少影像数据的容量，因此能够缩短数据发送时间。

[0099] 作为对像素p以拜耳排列而排列的成像元件40实施的剔除处理的一例，关于1/2剔除参考图7A及7B进行说明。图7A是表示成像元件40中的像素p的拜耳排列的图，并示出排列在成像元件40的一部分上的像素p。图7B是关于1/2剔除的说明图。图7B的左侧图示出位于与设定区域对应的像素区域的像素p，右侧图示出设定视场角的所有读出影像中被剔除的部分和除此以外的部分。另外，图7B所示的情况是将设定视场角设为总视场角，并对设定视场角的影像实施1/2剔除的例子。

[0100] 对剔除进行说明时，参考图7A对成像元件40中的像素p的拜耳排列进行说明。在成像元件40中，在第1排列方向及第2排列方向上，将2×2(即4个)像素p作为1个单位的像素组连续配置，在1个像素组中，从左上方的像素p顺时针且以GRGB顺序配置各颜色像素p。

[0101] 在1/2剔除中，例如关于在与设定视场角对应的区域内沿第1排列方向排列的像素行L，使跳过的像素行L与未跳过的像素行L间隔2行而连续。即，如图7B所示，在实施1/2剔除的情况下，剔除像素行Lx(图中，标注阴影线的像素所排列的2个像素行)与非剔除像素行Ly(图中，白色的像素所排列的2个像素行)在第1排列方向交替存在。由此，设定视场角的影像的分辨率成为当为所有读出影像时的分辨率的1/2。通过这种剔除，跳过规定数量的像素p的同时，在与设定视场角对应的区域内能够读出RGB的各颜色像素p的像素信号。

[0102] 另外，分辨率为设定视场角的影像中每单位面积的像素影像t的个数，通常由ppi(pixel per inch：每英寸像素)表示。像素影像t是构成设定视场角的影像的单位，是与设定视场角对应的像素区域中，以读出了像素信号的像素p的个数分割设定视场角的影像时的1个影像片段。换言之，设定视场角的影像通过沿相互正交的第1方向及第2方向排列的多个像素影像t构成。第1方向是与第1排列方向对应的方向，通常相当于影像的纵向。第2方向时与第2排列方向对应的方向，通常相当于通常影像的横向。另外，像素影像t是构成所记录的影像，并且基于像素信号的单位影像。

[0103] 若再次对1/2剔除进行说明，则1/2剔除中，相对于设定视场角的影像的剔除率成为1/2。换言之，通过1/2剔除，能够以剔除率成为1/2的方式制作设定视场角的影像。剔除率是通过下述式(1)计算的值。

[0104] 剔除率(％)＝(1‑Na/Nb)×100   (1)

[0105] 上述式(1)的Na表示设定视场角的影像中的像素影像t的个数，Nb表示与设定视场角对应的像素区域内的像素数，

[0106] 在本实施方式中，读出像素信号的像素p的数量与位于与设定视场角对应的像素区域内的像素p的数量之比例相当于剔除率。即，剔除率越高，则输出使用于影像制作中的像素信号的像素p的数量越少。

[0107] 并且，在本实施方式中，如图7所述，以像素行L单位进行剔除，因此，剔除率成为第1排列方向上的像素行L的剔除率。若从设定视场角的影像的观点对此进行说明，则如图7所示，剔除设定视场角的所有读出影像中与剔除像素行Lx对应的位置上的剔除影像线组Tx。
换言之，仅通过位于与非剔除像素行Ly对应的位置的非剔除影像线组Ty构成设定视场角的影像。

[0108] 如上所述，在本实施方式中，剔除率为第1方向上的剔除率，详细而言，为影像线的剔除率。影像线是由沿第2方向排列的多个像素影像t构成的行，1/2剔除中，例如，在第1方向上，剔除影像线组Tx与非剔除影像线组Ty交替排列。

[0109] 剔除并非限定于以像素行L单位进行的情况，例如可以以像素列C单位进行。在该情况下，剔除率成为第2方向上的剔除率。并且，可以以像素行L及像素列C两个单位进行剔除。在该情况下，剔除率成为第1方向上的剔除率与第2方向上的剔除率之乘积。

[0110] 剔除率在实施剔除处理时被预先设定，在剔除处理中，与所设定的剔除率相对应的行数的像素行L作为剔除像素行Lx被剔除。例如，当将在第1排列方向上连续的g根(g是3以上的自然数)的像素行L设为1个单位的情况下，在各单位内将剔除像素行Lx设为h根(h是小于g的自然数)时的剔除率成为(1‑h/g)×100。

[0111] 另外，可以将剔除率设为0，在该情况下，制作所有读出影像来作为设定视场角的影像。

[0112] 如上所述，在本实施方式中，以减少在成像元件40中读出像素信号的像素p的数量的样式实施剔除处理。由此，减少从成像元件40向控制部50的像素信号的传输量。

[0113] 另外，剔除处理的样式可以为除了上述样式以外的样式。例如，可以考虑到从位于与设定视场角对应的像素区域内的所有像素p读出像素信号并将其临时存放在成像元件40的存储器部112的情况。在该情况下，通过信号处理部111剔除存放的像素信号中相当于剔除率的像素数量的信号，并进行将剩余的像素信号传输到控制部50的剔除处理。

[0114] 并且，可以从位于与设定视场角对应的像素区域内的所有像素p读出像素信号，并将所有像素量的像素信号传输到控制部50。在该情况下，通过控制部50剔除所传输的像素信号中相当于剔除率的像素数量的信号。

[0115] 作为其他剔除处理，可以举出在第1排列方向或第2排列方向上从多个相同颜色的像素p读出像素信号，并对来自各像素p的像素信号实施加算平均处理。如此，通过将来自各像素p的像素信号平均化，相比平均化前的像素信号的数量，传输到控制部50的像素信号的数量变少。作为基于像素信号的加算平均处理的剔除技术，能够利用日本专利公开公报2015‑27045A中记载的技术、及日本公开专利公报2013‑30939A中记载的技术。

[0116] 另外，关于剔除处理的方式，只要是能够通过剔除来减少使用于影像制作中的像素信号的数量的方式，则可以是除上述以外的方式。

[0117] 在本实施方式中，摄像装置10将制作第1视场角的影像时的剔除率设为第1剔除率，对表示以第1剔除率制作的第1视场角的影像的第1影像数据进行记录。并且，当摄像装置10在第1视场角内检测到对象被摄体的情况下，记录上述第1影像数据，并以第2剔除率制作第2视场角的影像并记录第2影像数据。

[0118] 而且，在本实施方式中，第2剔除率小于第1剔除率。并且，在本实施方式中，第1剔除率及第2剔除率分别规定为影像的第1方向上的剔除率，换言之，是剔除影像线组Tx的数量的平方与所有影像线的数量数之比率。即，第1方向上的第2剔除率也小于第1方向上的第1剔除率。

[0119] 如上所述，在本实施方式中，第1视场角的影像如图8A所示成为较低分辨率的影像，第2视场角的影像如图8B所示成为较高分辨率的影像。由此，关于较宽的第1视场角的影像，能够减少数据容量，并缩短数据发送时间。另一方面，关于较窄的第2视场角的影像，为对象被摄体的影像，因此以较高分辨率的影像确保画质。

[0120] 另外，图8A示出第1视场角的影像，图8B示出第2视场角的影像，但是在各图中，从表示剔除影像线组Tx(图中，由黑线表示)的位置的理由而言，成为基于所有读出影像的图。若附带说明，则实际显示的影像成为从图8A及8B所示的所有读出影像对剔除影像线组Tx进行剔除的影像。

[0121] 并且，在本实施方式中，如上所述，在影像的第1方向上规定剔除率，换言之，在像素阵列41中，在第1排列方向(垂直方向)上以像素行L单位进行像素p的跳出。通过实施这种像素行L单位下的剔除，能够使像素阵列41中的像素信号的读出更快速化，并减少所记录的影像数据的容量。另外，作为剔除率的具体例，例如关于图8A所示的第1视场角的影像的剔除率为50％，关于对图8B所示的第2视场角的影像的剔除率为20％。

[0122] [影像制作流程]

[0123] 关于与基于摄像装置10的影像制作及影像数据的记录有关的处理流程(以下为影像制作流程)，说明其顺序。

[0124] 影像制作流程按照图9所示的流程进行。影像制作流程从准备摄像装置10的准备工序(S001)开始。在准备工序中，准备作为摄像装置10的监控摄像机，在将摄像机正面朝向摄影范围的状态下，将上述监控摄像机设置在规定位置上。另外，准备工序仅由初次的影像制作流程实施，在第2以后的影像制作流程中被省略。

[0125] 接着，摄像装置10实施第1记录工序(S002)。第1记录工序是制作第1视场角的影像来记录第1影像数据的工序，例如以摄像装置10从监视终端12接收摄影开始的指示为触发而开始。第1视场角在实施第1记录工序之前设定，可以在实施第1记录工序的过程中由用户适当变更。

[0126] 若概略说明第1记录工序的流程，则以规定的单位摄像期间的长度重复进行基于成像元件40的摄像，在各摄像(即，1个单位摄像期间)中，从位于与第1视场角对应的像素区域内的像素p读出像素信号。此时，从与第1视场角对应的像素区域内的多个像素行L剔除与第1剔除率相对应的行数的像素行L。由此，以第1剔除率制作第1视场角的影像，第1影像数据记录于规定的记录介质中，例如摄像装置10内的记录介质中。

[0127] 接着，摄像装置10的控制部50分析在第1记录工序中制作的第1视场角的影像，来判定在第1视场角内是否存在对象被摄体(S003)。当在第1视场角内不存在对象被摄体的情况下，转移到步骤S004，并判定在相同步骤S004中是否存在摄影结束的指示。在存在摄影结束的指示的情况下，第1记录工序完成，并在其时点结束影像制作流程。

[0128] 另一方面，在步骤S003中，当在第1视场角内存在对象被摄体的情况下，转移到步骤S005。当在第1视场角内存在多个对象被摄体的情况下，对各对象被摄体实施步骤S005以后的各步骤。但是，并不限定于此，当在第1视场角内存在多个对象被摄体的情况下，例如，可以对各对象被摄体设定优先级，并仅对优先级高的对象被摄体实施步骤S005以后的各步骤。

[0129] 在步骤S005中，控制部50确定对象被摄体的尺寸，并判定所确定的尺寸是否大于基准尺寸。在此，对象被摄体的尺寸是第1视场角中的对象被摄体的尺寸，例如也可以是第1视场角的影像上的对象被摄体的长度(身长)。或者，也可以将在第1视场角的影像中对象被摄体的影像所占的面积，具体而言将像素影像t的个数(像素数量)作为对象被摄体的尺寸。基准尺寸作为判定是否实施后述的第2记录工序时的基准而事先设定，也可以在设定后由用户适当变更。

[0130] 当在对象被摄体的尺寸大于基准尺寸(以下，也称为第1尺寸。)的情况下，转移到步骤S006，在该步骤S006中，如后述实施第2记录工序。另一方面，当在对象被摄体的尺寸小于第1尺寸的情况下，未实施第2记录工序，而转移到上述的步骤S004。这是因为，小于第1尺寸的对象被摄体不仅作为对象被摄体检测到的精度低，即使记录第2影像数据，也难以从其影像识别对象被摄体的容貌等。

[0131] 另外，在本实施方式中，对大于第1尺寸的对象被摄体实施第2记录工序，但并不限定于此，可以仅在对象被摄体的尺寸小于基准尺寸(以下，称为第2尺寸。)的情况下，实施第2记录工序。在该情况下，关于小于第2尺寸的对象被摄体，制作高分辨率的第2视场角的影像，关于大于第2尺寸的对象被摄体，未制作第2视场角的影像，而仅制作低分辨率的第1视场角的影像。这是因为，若为大于第2尺寸的被摄体，则即使为低分辨率的第1视场角的影像也能够充分确认容貌。

[0132] 另外，有关对象被摄体的尺寸的判定步骤S005不一定需要实施，可以省略。

[0133] 在步骤S006中，摄像装置10实施第1记录工序，并且实施第2记录工序。第2记录工序是制作包含对象被摄体的第2视场角的影像并记录第2影像数据的工序，其流程与第1记录工序的流程大致相同。

[0134] 即，在以规定的单位摄像期间的长度重复进行基于成像元件40的摄像的期间，在各摄像(即，1个摄像单位期间)中，从与第2视场角对应的像素区域剔除与第2剔除率相应的行数的剔除像素行Lx。另一方面，从非剔除像素行Ly中的各像素p读出像素信号，由读出的像素信号制作第2视场角的影像并记录第2影像数据。第2剔除率小于第1剔除率，因此第2视场角的影像的分辨率高于第1视场角的影像的分辨率。

[0135] 另外，在第1记录工序及第2记录工序两个工序中，像素阵列41中的多个像素行L的一部分可以相当于读出像素信号的非剔除像素行Ly。换言之，输出使用于第1记录工序中的像素信号的像素p的一部分可以与输出使用于第2记录工序中的像素信号的像素p的一部分相同。在该情况下，制作第2视场角的影像时，能够利用使用于第1视场角的影像的制作中的像素信号的一部分，因此能够更容易制作第2视场角的影像、即高分辨率的影像。

[0136] 并且，当在步骤S005中判定为在第1视场角内存在多个对象被摄体的情况下，在步骤S006中，可以对多个对象被摄体按每个对象被摄体实施第2记录工序。由此，能够对各对象被摄体制作第2视场角的影像、即高分辨率的影像。在该情况下，可以在相同的单位摄像期间内对各对象被摄体实施第2记录工序。并且，可以按每对象被摄体改变制作第2视场角的影像时的条件，例如按每个对象被摄体改变第2剔除率。

[0137] 另外，以下，出于简化说明的目的，假设在第1视场角内存在单个对象被摄体的情况而进行说明。

[0138] 在实施第1记录工序及第2记录工序的步骤S006中，如图10所示，首先，在像素阵列41中，读出分别使用于第1记录工序及第2记录工序中的像素信号并传输到控制部50(S021)。此时，例如在相同单位摄像期间内读出使用于第1记录工序中的像素信号及使用于第2记录工序中的像素信号。1个单位摄像期间量的像素信号根据以下说明的2个模式下的任一个模式传输。

[0139] 1个模式(以下，也称为第1读出模式。)中，根据1个单位摄像期间，同时从成像元件40中的像素p读出使用于第1记录工序中的像素信号及使用于第2记录工序中的像素信号。
而且，将读出的像素信号传输到控制部50。关于第1读出模式，参考图11进行详细说明。图11是关于第1读出模式的说明图，上侧图表示与设定视场角对应的像素区域，对剔除像素行Lx施加了阴影线。图11的下侧图表示设定视场角的影像，用黑线表示与所剔除的像素行L对应的影像线(即剔除影像线组Tx)。

[0140] 在第1读出模式下，根据1个单位摄像期间，从位于与第1视场角对应的像素区域(以下，也称为第1像素区域。)内的所有的像素p一次性读出像素信号，并临时存储于逻辑电路45的存储器部112(参考图4)。之后，逻辑电路45的信号处理部111(参考图4)将存储于存储器部112中的像素信号中从与第2视场角对应的像素区域(以下，称为第2像素区域。)读出的像素信号以第2剔除率剔除，并以第1剔除率剔除除此以外的像素信号。

[0141] 若利用图11所示的情况说明，则关于第2像素区域，剔除与第2剔除率相对应的行数的像素行L。并且，关于第1像素区域中除第2像素区域以外的区域，剔除与第1剔除率相对应的行数的像素行L。从图11可知，在第2像素区域中，相较于除此以外的区域，剔除像素行Lx的间隔变得更宽。其反映出第2剔除率小于第1剔除率。

[0142] 在图11中，在第2像素区域和除此以外的区域的每一个中，从成像元件40中的像素p读出未剔除的行(非剔除像素行Ly)的像素信号。此时，可以将各区域内的非剔除像素行Ly的像素信号如图11中的右侧图所示从成像元件40那样一并传输到控制部50。在该情况下，在控制部50侧划分为每个区域的像素信号，在此基础上，每个区域的像素信号使用于第1记录工序及第2记录工序中。或者，可以将各个区域的像素信号按传输时点划分到每个区域，并分两个阶段从成像元件40向控制部50传输。

[0143] 在另一模式(以下，称为第2读出模式。)下，根据1个单位摄像期间，分两个阶段从成像元件40的像素p读出像素信号。若详细说明，则在1个单位摄像期间，先读出使用于第1记录工序中的像素信号并积聚到存储器部112中。之后，在相同的单位摄像期间内，读出使用于第2记录工序中的像素信号中在第1记录工序中剔除的未传输的信号，并积聚到存储器部112而且，使用于第1记录工序中的像素信号及使用于第2记录工序中的像素信号分别从存储器部112向控制部50传输。如此，在第2读出模式下制作第1视场角的影像的基础上，在第1像素区域内剔除并读出像素信号之后，从剔除的像素信号中追加读出在制作第2视场角的影像时所需的量。

[0144] 另外，在第1读出模式下，能够在使用于第1记录工序中的像素信号与使用于第2记录工序中的像素信号之间抑制读出定时的差异。因此，当在采用第1读出模式的情况下，具有第1视场角的影像不易产生所谓横摇快门失真的优点。

[0145] 在以上说明的第1读出模式或第2读出模式下，在相同的单位摄像期间内读出使用于第1记录工序中的像素信号和使用于第2记录工序中的像素信号，并向控制部50传输。在该情况下，使用在相同的单位摄像期间内从像素p输出的像素信号实施第1记录工序及第2记录工序。

[0146] 另一方面，并不限定于上述读出模式，可以以分别相互不同的单位摄像期间读出使用于第1记录工序中的像素信号及使用于第2记录工序中的像素信号。在该情况下，可以在相互不同的单位摄像期间实施第1记录工序及第2记录工序。

[0147] 返回到图10进行说明，则传输像素信号后，控制部50根据需要适当实施利用从相位差像素接收的像素信号调整焦点位置的调整工序(S022)。通过调整工序的实施，能够以焦点位置与对象被摄体匹配的状态，实施第1记录工序及第2记录工序(S023、S024)。

[0148] 并且，在相互不同的单位摄像期间读出使用于第1记录工序中的像素信号及使用于第2记录工序中的像素信号的情况中，能够以更适合的方式实施调整工序。若具体地进行说明，在上述情况中，如上所述，在相互不同的单位摄像期间实施第1记录工序及第2记录工序。在该情况下，可以利用在实施第1记录工序及第2记录工序中的一个记录工序的单位摄像期间内从多个相位差像素输出的像素信号实施调整工序。由此，实施第1记录工序的单位摄像期间与实施第2记录工序的单位摄像期间之间能够利用不同的相位差像素的像素信号。例如，在实施第1记录工序的单位摄像期间，能够将在与其单位摄像期间不同的单位摄像期间、即实施第2记录工序的单位摄像期间读出的像素信号的一部分作为相位差像素的像素信号利用并实施调整工序。

[0149] 并且，上述情况中，多个相位差像素可以包括多个第1相位差像素及多个第2相位差像素。第1相位差像素时在实施第1记录工序的单位摄像期间示出像素信号的像素p，第2相位差像素是在实施第2记录工序的单位摄像期间输出像素信号的像素p。在该情况下，在调整工序中，优选根据与从多个第1相位差像素输出的信号相对应的相位差信息及与从多个第2相位差像素输出的信号相对应的相位差信息调整所述焦点位置。如此，若利用在实施第1记录工序的单位摄像期间、及实施第2记录工序的单位摄像期间的每一个中输出的相位差像素的像素信号，则在调整工序中能够更精确地调整焦点位置。

[0150] 另外，可以以与上述方式不同的方式实施调整工序，例如可以仅在实施第1记录工序的单位摄像期间读出相位差像素的像素信号，而在实施第2记录工序的单位摄像期间则不读出。在该情况下，在实施第2记录工序的单位摄像期间读出的像素信号可以全部使用于第2视场角的影像的制作中，而不用作相位差像素的像素信号。因此，以高水平维持第2视场角的影像的画质。

[0151] 另一方面，在第1记录工序中，使用以第1剔除率剔除后的像素信号，因此使用于影像制作中的像素信号的数量少，若将其一部分用作相位差像素的像素信号，则有可能无法适当地进行基于相位差像素的校正。考虑这一点，可以仅在实施第2记录工序的单位摄像期间读出相位差像素的像素信号，而在实施第1记录工序的单位摄像期间则不读出相位差像素的像素信号。

[0152] 如图10所示，当在实施第2记录工序的情况下，摄像装置10与第1记录工序及第2记录工序一同实施对用于将第2影像数据与建立第1影像数据建立关联的信息的数据进行记录的第3记录工序、(S025)。通过第3记录工序的实施，由第2影像数据回放第2视场角的影像时，能够掌握第1视场角的影像与第2视场角的影像的关系。

[0153] 作为用于将第2影像数据与第1影像数据建立关联的信息，可以举出显示第2视场角的影像是什么时点的影像的信息、或者用于确定第1视场角中的第2视场角的相对位置的信息等。并且，实施第2记录工序的单位摄像期间相当于从第1记录工序的实施期间的基准时点开始计数的第几个单位摄像期间等的信息也能够包含在上述信息中。

[0154] 另外，上述信息的数据优选与第1影像数据建立了关联并记录，并且，可以记录在摄像装置10及监控终端12中的任一个上。

[0155] 并且，当在实施第2记录工序的情况下，在与第2记录工序一同实施的第1记录工序中，记录编入了标识符显示数据的第1影像数据。标识符显示数据是在由第1影像数据回放第1视场角的影像时，使图12所示的标识符u重叠显示在第1视场角的影像上的数据。标识符u表示在第1视场角的影像中记录有第2影像数据的第2视场角的影像的位置，例如如图12所示，是包围第2视场角的框。通过该标识符u显示第1视场角的影像时，能够容易确定在第1视场角的影像中记录有第2影像数据的对象被摄体。

[0156] 另外，标识符u可以不是图12所示的框，可以是指出第2视场角的位置的箭头或指针等标志。并且，为了强调第1视场角中的第2视场角的位置，可以在第1视场角的影像突出显示相当于第2视场角的范围。并且，例如能够通过利用在上述的第3记录工序中记录的数据、即用于将第2影像数据与第1影像数据建立关联的信息的数据来确定第2视场角的位置而生成标识符显示数据。

[0157] 返回到关于影像制作流程说明，控制部50在实施第2记录工序的过程中，监控第1视场角的影像，来判定记录有第2影像数据的第1视场角内的对象被摄体是否移动到第1视场角外或者第1视场角的端部(S007)。而且，当在上述对象被摄体移动至第1视场角外或第1视场角的端部附近的情况下，控制部50为了使其对象被摄体再次收纳到第1视场角内，控制三轴移动机构24使框体22移动(S008)。由此，能够跟踪从第1视场角脱离的对象被摄体，对其对象被摄体能够继续进行第2影像数据的记录。

[0158] 另外，即使在实施第2记录工序的过程中对象被摄体移动到第1视场角外的情况下，无需为了追踪对象被摄体而使框体22移动。例如，当在第1视场角内存在多个对象被摄体，且对各对象被摄体实施第2记录工序的情况下，即使1个对象被摄体移动到第1视场角外，也可以无需移动框体22便可维持第1视场角的位置。

[0159] 当在实施第2记录工序的情况下，控制部50在从开始实施第2记录工序起经过了规定时间的时点结束第2记录工序(S009、S010)。如此，在本实施方式中，当在第1视场角内存在对象被摄体的情况下，对其对象被摄体为了获取高分辨率的影像而实施第2记录工序，在存储一定时间量的第2影像数据的时点停止第2记录工序。由此，能够避免将关于对象被摄体的高分辨率的影像数据、即第2影像数据记录所需以上的情况。这种效果在如下情况下特别有意义：在多人往来的道路等中将各行人作为对象被摄体、对各对象被摄体记录第2影像数据的情况。

[0160] 另外，上述规定时间虽然作为第2记录工序的所需实施时间而事先设定，但是可以在设定后由用户变更。规定时间可以设定为任意时间，例如可以设定为1分钟～几分钟作用。

[0161] 并且，从开始第2记录工序的时点起经过规定时间并暂时中断第2记录工序之后，可以对相同的对象被摄体再次执行第2记录工序。例如，当记录在中断的第2影像数据中的对象被摄体继续存在于第1视场角内的情况下，可以再次开始第2记录工序。并且，当重复其对象被摄体进入作为摄影范围的视场角内或从视场角内退出的行为的情况下，可以对其对象被摄体重新开始第2记录工序。

[0162] [其他实施方式]

[0163] 至此说明的实施方式是为了易于理解本发明的影像制作方法而举出的具体例，至多仅为一个例子，还可以考虑其他实施方式。

[0164] 在上述的实施方式中，影像制作流程中的各种数据处理通过摄像装置10的控制部50实施，但是并不限定于此。例如，影像制作流程中的一部分或所有数据处理可以通过监控终端12的处理器进行，或者可以通过摄像装置10的控制部50与监控终端12的处理器的协作进行。

[0165] 并且，在上述实施方式中，作为影像制作动画并记录了影像数据，但是影像可以是静止图像。例如，可以将第1视场角的影像记录为动画数据，且将第2视场角的影像记录为静止图像数据，或者，可以将第1视场角的影像记录为静止图像数据，且将第2视场角的影像记录为动画数据。

[0166] 并且，在上述实施方式中，以摄像装置10为监控摄像机的情况为例进行了说明，但是即使使用监控摄像机以外的摄像装置也能够实现本发明的影像制作方法。作为监控摄像机以外的摄像装置，可以举出数码相机、附带摄像光学系统的移动电话、智能手机、笔记本电脑及平板终端等。

[0167] 符号说明

[0168] 10‑摄像装置，10S‑摄像系统，12‑监控终端，14‑监控器，16‑网络，20‑摄像装置主体，20a‑主体罩，22‑框体，24‑三轴移动机构，26‑光学单元，27、28‑光学设备，30‑光圈，34‑变焦用驱动部，36‑聚焦用驱动部，38‑光圈驱动部，40‑成像元件，41‑像素阵列，42‑像素驱动线，43‑垂直信号线，44‑控制电路，45‑逻辑电路，50‑控制部，52‑控制器，54‑影像处理部，62‑模拟处理电路，64‑内部存储器，66‑卡槽，67‑存储卡，68‑通信用接口，70‑缓冲存储器，C‑像素列，L‑像素行，Lx‑剔除像素行，Ly‑非剔除像素行，p‑像素，t‑像素影像，Tx‑剔除影像线组，Ty‑非剔除影像线组，u‑标识符。