技术领域
[0001] 本公开涉及控制成像设备的操作的成像控制设备,以及在这种成像控制设备中使用的成像控制方法。
相关背景技术
[0002] 机器人设备通常包括成像设备,并且基于由成像设备获取的图像生成指示机器人设备周围环境的地图数据。例如,PTL 1公开了一种机器人设备,该机器人设备生成环境地图,并使用生成的环境地图确定行动。
[0003] 引文列表
[0004] 专利文献
[0005] PTL 1:日本未经审查的专利申请公开号:2003‑266349
具体实施方式
[0035] 以下,参考附图详细描述本公开的一些实施例。需要注意的是,按以下顺序给出描述。
[0036] 1.第一实施例
[0037] 2.第二实施例
[0038] 3.第三实施例
[0039] 4.第四实施例
[0040] <1.第一实施例>
[0041] [配置示例]
[0042] 图1示出了根据实施例的包括成像控制设备的无人机1的配置示例。图2示出了无人机1的外观示例,其中图2的(A)示出了平面图,图2的(B)示出了正视图。需要注意的是,根据本公开的一个实施例的成像控制方法由本实施例实施,并一起描述。
[0043] 如图1所示,无人机1包括成像部件11、GPS(全球定位系统)接收部件12、气压传感器13、惯性测量部件14和控制器20。此外,如图2所示,无人机1包括主体部件91、四个臂部件92和四个旋转翼93。成像部件11、GPS接收部件12、气压传感器13、惯性测量部件14和控制器
20被包含在无人机1的主体部件91中。
[0044] 成像部件11(图1)被配置为通过基于来自控制器20的指示对无人机1的周围环境进行成像来生成图像数据。如图2所示,在该示例中,成像部件11包括六个立体相机100(立体相机100A到100F)。在本示例中,六个立体相机100中的每一个包括两个彼此间隔预定距离布置的图像传感器,并且被配置为通过执行曝光操作来生成关于两个拍摄图像的图像数据(立体图像数据),所述两个拍摄图像之间具有视差。该立体图像数据包括指示曝光定时的时间戳。应注意,在该示例中,六个立体相机100中的每一个包括两个图像传感器;然而,六个立体相机100中的每一个不限于此,并且可以包括例如三个或更多个图像传感器。
[0045] 如图2所示,六个立体相机100设置在主体部件91中,以使其光轴方向101成为彼此不同的方向。具体地,立体相机100A的光轴方向101A是X轴方向;立体相机100B的光轴方向101B是Y轴方向;立体相机100C的光轴方向101C是与X轴方向相反的方向;立体相机100D的光轴方向101D是与Y轴方向相反的方向;立体相机100E的光轴方向101E是Z轴方向;立体相机100F的光轴方向101F是与Z轴方向相反的方向。利用该配置,立体相机100A至100D各自在无人机1的水平方向上执行成像;立体相机100E在无人机1的向上方向上执行成像;并且立体相机100F在无人机1的向下方向上执行成像。
[0046] 图3示出了成像部件11的配置示例。成像部件11包括六个立体相机100和总线布线109。六个立体相机100耦接到总线布线109。总线布线109包括例如多条布线。例如,作为六个立体相机100的通信接口,MIPI(移动行业处理器接口)是适用的。六个立体相机100以时分方式经由总线布线109将生成的图像数据发送到控制器20。
[0047] GPS接收部件12被配置为通过接收从多个人造卫星发送的信号来检测无人机1的位置。气压传感器13被配置为检测气压。有关检测到的气压的信息用于检测无人机1的高度。因此,GPS接收部件12和气压传感器13用作检测无人机1的位置的位置传感器。
[0048] 惯性测量部件14是使用例如IMU(惯性测量单元)来配置的,并被配置为检测角速度和加速度。IMU包括例如加速度传感器、陀螺仪传感器、磁传感器等。
[0049] 控制器20被配置为基于从成像部件11、GPS接收部件12、气压传感器13和惯性测量部件14提供的数据控制无人机1的飞行。此外,控制器20还执行用于控制成像部件11的操作的处理。控制器20包括图像数据获取部件21、位置数据获取部件22、惯性数据获取部件23、深度数据生成器24、位置移动估计部件25、曝光频度设置部件26、定时控制器27、地图数据生成器31、行动规划部件32、路线确定部件33和机身控制器34。使用例如一个或多个处理器来配置控制器20。
[0050] 图像数据获取部件21被配置为获取从成像部件11提供的图像数据,并将由此获取的数据作为图像数据DT提供给深度数据生成器24和位置移动估计部件25。
[0051] 位置数据获取部件22被配置为获取GPS接收部件12和气压传感器13的检测结果,并将由此获取的数据作为位置数据DP提供给位置移动估计部件25。
[0052] 惯性数据获取部件23被配置为获取惯性测量部件14的检测结果,并将由此获取的数据作为惯性数据DI提供给位置移动估计部件25。
[0053] 深度数据生成器24被配置为基于包括在图像数据DT中的立体图像数据生成深度数据DD,深度数据DD包括指示拍摄图像中的深度值图的深度图。
[0054] 位置移动估计部件25基于图像数据DT、位置数据DP和惯性数据DI估计无人机1的位置和移动。具体地,位置移动估计部件25基于图像数据DT执行VIO(视觉惯性测程(Visual Inertial Odometry))处理,并使用位置数据DP和惯性数据DI计算无人机1在由图像数据DT中包括的时间戳所指示的时间的位置、姿态、速度向量VS和角速度,并生成包含这些数据的位置移动数据DPM。
[0055] 曝光频度设置部件26被配置为基于包括在位置移动数据DPM中的速度向量VS来设置成像部件11中的六个立体相机100的曝光频度,并且基于所设置的曝光频度来设置六个立体相机100中的每一个的曝光定时。具体地,曝光频度设置部件26基于由速度向量VS指示的速度值和在由速度向量VS指示的无人机1的飞行方向DIR和六个立体相机100中的每一个的光轴方向101之间的角度θ,来设置六个立体相机100的曝光频度。然后,曝光频度设置部件26设置六个立体相机100的曝光定时,以使得六个立体相机100中的曝光定时彼此不同。
[0056] 定时控制器27被配置为基于来自曝光频度设置部件26的指示来控制六个立体相机100的操作定时。
[0057] 地图数据生成器31被配置为基于深度数据DD和位置移动数据DPM生成包括占用地图(占用地图Occupancy Map)的地图数据MAP。具体地,地图数据生成器31通过基于深度数据DD中包括的深度值和位置移动数据DPM中包括的无人机1的位置,对占用地图中的每个体素执行投票处理来生成地图数据MAP。
[0058] 行动规划部件32被配置为基于预设目的地和从控制终端发送的控制指示数据来规划无人机1的行动。
[0059] 路线确定部件33被配置为基于地图数据MAP和行动规划部件32的确定结果来确定无人机1的飞行路线。
[0060] 机身控制器34被配置为基于由路线确定部件33确定的飞行路线来控制无人机1的机身。如图2所示,四个旋转翼93中的每一个被附接到四个臂部件92中相应的一个的端部,并且被配置为可旋转。四个旋转翼93基于四个马达(未示出)产生的驱动力旋转。机身控制器34基于确定的飞行路线控制这四个马达的操作。这使得无人机1能够沿着确定的飞行路线飞行。
[0061] 这里,曝光频度设置部件26对应于本公开中“设置部件”的具体示例。定时控制器27对应于本公开中“曝光控制器”的具体示例。六个立体相机100对应于本公开中“多个立体相机”的具体示例。角度θ对应于本公开中“相机角度”的具体示例。总线布线109对应于本公开中“总线布线”的具体示例。图像数据获取部件21对应于本公开中的“图像获取部件”的具体示例。
[0062] [操作和工作]
[0063] 接下来,描述根据本实施例的无人机1的操作和工作。
[0064] (整体操作的概述)
[0065] 首先,参考图1对无人机1的整体操作进行概述。成像部件11基于来自控制器20的指示,通过对无人机1的周围环境进行成像来生成图像数据。GPS接收部件12接收从多个人造卫星发送的信号,以检测无人机1的位置。气压传感器13检测气压。惯性测量部件14检测角速度和加速度。控制器20基于从成像部件11、GPS接收部件12、气压传感器13和惯性测量部件14提供的数据来控制无人机1的飞行,并控制成像部件11的操作。
[0066] (详细操作)
[0067] 图4示出了控制器20的操作示例。在控制器20中,深度数据生成器24基于包括在图像数据DT中的立体图像数据生成深度数据DD,并且位置移动估计部件25基于图像数据DT、位置数据DP和惯性数据DI估计无人机1的位置和移动,以生成位置移动数据DPM。曝光频度设置部件26基于包括在位置移动数据DPM中的速度向量VS来设置成像部件11中的六个立体相机100的曝光频度,并且基于所设置的曝光频度来设置六个立体相机100的各自曝光定时。地图数据生成器31基于深度数据DD和位置移动数据DPM生成包括占用地图的地图数据MAP。下面详细描述该操作。
[0068] 位置移动估计部件25基于图像数据DT、位置数据DP和惯性数据DI计算无人机1的速度向量VS(步骤S101)。具体地,位置移动估计部件25基于图像数据DT执行VIO处理,并使用位置数据DP和惯性数据DI计算无人机1的速度向量VS。
[0069] 接下来,曝光频度设置部件26确认由速度向量VS指示的速度值是否等于或小于阈值TH1(步骤S102)。
[0070] 在步骤S102中,在速度值不等于或小于阈值TH1的情况下(步骤S102中的“N”),曝光频度设置部件26计算在由速度向量VS指示的无人机1的飞行方向DIR和六个立体相机100中的每一个的光轴方向101之间的角度θ(步骤S103)。
[0071] 图5示出了角度θ的示例。在该示例中,飞行方向DIR是水平方向,并且是在立体相机100A的光轴方向101A和立体相机100B的光轴方向101B之间接近光轴方向101A的方向。曝光频度设置部件26计算飞行方向DIR和立体相机100A的光轴方向101A之间的角度θA;计算在飞行方向DIR和立体相机100B的光轴方向101B之间的角度θB;计算在飞行方向DIR和立体相机100C的光轴方向101C之间的角度θC;并计算在飞行方向DIR和立体相机100D的光轴方向101D之间的角度θD。此外,尽管未示出,曝光频度设置部件26计算在飞行方向DIR和立体相机100E的光轴方向101E之间的角度θE,并计算在飞行方向DIR和立体相机100F的光轴方向101F之间的角度θF。角度θ是小于180度的角度。
[0072] 在该示例中,飞行方向DIR是接近立体相机100A的光轴方向101A的方向;因此,角度θA是最小的,角度θC是最大的。飞行方向DIR是水平方向;因此,角度θE和θF均为90度。
[0073] 接下来,曝光频度设置部件26基于六个角度θ设置六个立体相机100的各自曝光频度(步骤S104)。具体地,曝光频度设置部件26设置曝光频度,以使对应于六个角度θ之中的最小角度θ的立体相机100的曝光频度要高于其他立体相机100之一的曝光频度。也就是说,为了更准确地掌握飞行方向DIR上的环境,曝光频度设置部件26设置曝光频度以增加在飞行方向DIR上执行成像的立体相机100的曝光频度。
[0074] 例如,曝光频度设置部件26能够计算六个角度θ的各个余弦值(余弦值)并基于余弦值设置六个立体相机100的各自曝光频度。例如,在飞行方向DIR与立体相机100A的光轴方向101A相同的情况下,角度θA到θF如下。
[0075] 立体相机100A:θA=0度
[0076] 立体相机100B:θB=90度
[0077] 立体相机100C:θC=180度
[0078] 立体相机100D:θD=90度
[0079] 立体相机100E:θE=90度
[0080] 立体相机100F:θF=90度
[0081] 因此,余弦值如下。
[0082] 立体相机100A:cosθA=1
[0083] 立体相机100B:cosθB=0
[0084] 立体相机100C:cosθC=‑1
[0085] 立体相机100D:cosθD=0
[0086] 立体相机100E:cosθE=0
[0087] 立体相机100F:cosθF=0
[0088] 在这个例子中,cosθC是最小的;因此,将这些余弦值分别除以cosθC的绝对值,并对这种除法的每个结果加上2。因此,获得以下数值。
[0089] 立体相机100A:3
[0090] 立体相机100B:2
[0091] 立体相机100C:1
[0092] 立体相机100D:2
[0093] 立体相机100E:2
[0094] 立体相机100F:2
[0095] 在该示例中,取这些数值中的每个的平方,这使得可以如下设置六个立体相机100的各自曝光频度。
[0096] 立体相机100A:9
[0097] 立体相机100B:4
[0098] 立体相机100C:1
[0099] 立体相机100D:4
[0100] 立体相机100E:4
[0101] 立体相机100F:4
[0102] 也就是说,在该示例中,可以将立体相机100A的曝光频度、立体相机100B、100D、100E和100F的曝光频度中的每一个以及立体相机100C的曝光频度的比率设置为9:4:1。需要注意的是,在这个例子中,取数值的平方;然而,在希望减少曝光频度之间的差别的情况下,可以不取数值的平方。在这种情况下,曝光频度的比率为3:2:1。此外,在希望增加曝光频度之间的差别的情况下,可以取数值的立方。在这种情况下,曝光频度的比率为27:8:1。
[0103] 需要注意的是,上述基于六个角度θ设置六个立体相机100的各自曝光频度的方法是一个例子,但这不是限制性的,可以使用各种方法中的任何一种。
[0104] 在步骤S102中,在速度值等于或小于阈值TH1的情况下(步骤S102中的“Y”),曝光频度设置部件26将六个立体相机100的各自曝光频度设置为相同的频度(步骤S105)。也就是说,为了掌握无人机1周围的整个环境,曝光频度设置部件26将所有立体相机100的曝光频度设置为相同的频度。
[0105] 由此,曝光频度设置部件26设置六个立体相机100的各自曝光频度。然后,曝光频度设置部件26基于设置的曝光频度设置六个立体相机100的各自曝光定时。此时,曝光频度设置部件26设置六个立体相机100的各自曝光定时,以使得六个立体相机100中的曝光定时彼此不同。
[0106] 接下来,定时控制器27基于来自曝光频度设置部件26的指示控制六个立体相机100的操作定时(步骤S106)。
[0107] 此外,深度数据生成器24基于包括在图像数据DT中的立体图像数据生成深度数据DD(步骤S107)。
[0108] 接下来,位置移动估计部件25基于包括在图像数据DT中的时间戳计算无人机1在由时间戳指示的时间的位置(步骤S108)。
[0109] 然后,地图数据生成器31基于在步骤S108中获取的无人机1的位置和从包括时间戳的立体图像数据中获取的深度值,对占用地图中的每个体素执行投票处理(步骤S109)。以这种方式更新地图数据MAP。
[0110] 由此,此流程结束。控制器20在每个帧时段中重复这样的处理。
[0111] 如上所述,在无人机1中,基于六个角度θ设置六个立体相机100的曝光频度。这使得无人机1能够有效地使用控制器20中的计算资源。也就是说,为了更准确地掌握无人机1周围的环境,希望曝光频度较高。然而,在这种情况下,控制器20的计算负担增加。在无人机1中,基于六个角度θ设置六个立体相机100的各自曝光频度。因此,例如,可以增加在飞行方向DIR上执行成像的立体相机100的曝光频度,并降低在与飞行方向DIR相反的方向上执行成像的立体相机100的曝光频度。结果,在无人机1中,可以将控制器20的许多计算资源分配给对通过在飞行方向DIR上执行成像而获得的图像数据的运算处理,这使得能够更准确地掌握飞行方向DIR上的环境,同时有效地使用有限的计算资源。
[0112] 此外,在无人机1的飞行速度高于预定速度的情况下,基于六个角度θ设置六个立体相机100的各自曝光频度。这使得无人机1能够有效地使用控制器20中的计算资源。即,在飞行速度慢的情况下,无人机1的移动量小;因此,即使在曝光频度较低的情况下,也可以以一定准确度掌握无人机1周围的环境。相比之下,在飞行速度快的情况下,无人机1的移动量大;因此,为了掌握无人机1周围的环境,希望曝光频度高。然而,在这种情况下,控制器20的计算负担变大。在无人机1中,在飞行速度快的情况下,基于六个角度θ设置六个立体相机100的各自曝光频度。因此,在无人机1中,在飞行速度快的情况下,可以将控制器20的许多计算资源分配给对通过在飞行方向DIR上执行成像而获得的图像数据的运算处理,这使得可以有效地使用有限的计算资源。
[0113] (关于曝光定时)
[0114] 曝光频度设置部件26设置六个立体相机100的各自的曝光定时,以使六个立体相机100中的曝光定时彼此不同。六个立体相机100通过基于来自控制器20的指示执行曝光操作来生成图像数据。六个立体相机100然后以时分方式经由总线布线109将由此生成的图像数据发送到控制器20。下面详细描述该操作。
[0115] 图6示出了成像部件11的操作示例。在该示例中,按照立体相机100A、立体相机100B、立体相机100C…的顺序设置曝光定时。
[0116] 首先,立体相机100A的两个图像传感器100A1和100A2基于同步信号SYNC1在从定时t11到定时t12的时段内执行曝光操作EX。立体相机100A然后在从定时t12到定时t13的时段内执行发送操作TX,以经由总线布线109将由图像传感器100A1生成的图像数据发送到控制器20,并且在从定时t13到定时t14的时段内执行发送操作TX,以经由总线布线109将由图像传感器100A2生成的图像数据发送到控制器20。
[0117] 同样,立体相机100B的两个图像传感器100B1和100B2基于同步信号SYNC2在从定时t21到定时t22的时段内执行曝光操作EX。立体相机100B然后在从定时t22到定时t23的时段内执行发送操作TX,以经由总线布线109将由图像传感器100B1生成的图像数据发送到控制器20,并且在从定时t23到定时t24的时段内执行发送操作TX,以经由总线布线109将由图像传感器100B2生成的图像数据发送到控制器20。
[0118] 同样,立体相机100C的两个图像传感器100C1和100C2基于同步信号SYNC3在从定时t31到定时t32的时段内执行曝光操作EX。立体相机100C然后在从定时t32到定时t33的时段内执行发送操作TX,以经由总线布线109将由图像传感器100C1生成的图像数据发送到控制器20,并在从定时t33到定时t34的时段内执行发送操作TX,以经由总线布线109将由图像传感器100C2生成的图像数据发送到控制器20。
[0119] 因此,在六个立体相机100中,曝光定时被设置为彼此不同。然后,六个立体相机100以时分方式经由总线布线109将生成的图像数据发送到控制器20。
[0120] 因此,在无人机1中,六个立体相机100的曝光定时彼此不同,这使得减少延迟成为可能。也就是说,例如,在六个立体相机100的曝光定时相同的情况下,如图7所示,例如,在立体相机100B和100C中,产生从曝光操作EX到发送操作TX的时间td,并且控制器20可能无法及时获取图像数据。相比之下,在无人机1中,六个立体相机100的曝光定时彼此不同;因此,例如,如图6所示,可以在执行曝光操作EX之后的短时间内执行发送操作TX,这使得控制器20能够及时获取图像数据。因此,在无人机1中,例如可以提高运算处理的精度。
[0121] (关于曝光频度)
[0122] 曝光频度设置部件26基于六个角度θ设置六个立体相机100的各自曝光频度。六个立体相机100通过基于来自控制器20的指示执行曝光操作来生成图像数据。控制器20基于由六个立体相机100生成的图像数据执行处理。
[0123] 图8示出了控制器20的操作示例,其中(A)至(F)分别表示立体相机100A、100B、100D、100E、100F和100C的操作,(G)表示位置移动估计部件25的操作,以及(H)表示深度数据生成器24和地图数据生成器31的操作。在该示例中,立体相机100A的曝光频度、立体相机
100B、100D、100E和100F的每个曝光频度以及立体相机100C的曝光频度的比率为4:2:1。
[0124] 在该示例中,如图8的(A)至(F)所示,成像部件11按照立体相机100A、立体相机100B、立体相机100D、立体相机100A、立体相机100E、立体相机100F……的顺序执行曝光操作。因此,立体相机100A以每26帧八次的比率执行曝光操作;立体相机100B、100D、100E和
100F以每26帧四次的比率执行曝光操作;并且立体相机100C以每26帧两次的比率执行曝光操作。
[0125] 位置移动估计部件25基于提供的图像数据DT执行处理。即,如图8的(G)所示,位置移动估计部件25首先基于立体相机100A生成的图像数据执行处理,然后基于立体相机100B生成的图像数据执行处理;基于立体相机100D生成的图像数据执行处理;基于立体相机100A生成的图像数据执行处理;基于立体相机100E生成的图像数据执行处理;以及基于立体相机100F生成的图像数据执行处理。此后也同样如此。
[0126] 深度数据生成器24和地图数据生成器31基于提供的图像数据DT执行处理。即,如图8的(H)所示,深度数据生成器24和地图数据生成器31首先基于立体相机100A生成的图像数据执行处理,然后基于立体相机100B生成的图像数据执行处理;基于立体相机100D生成的图像数据执行处理;基于立体相机100A生成的图像数据进行处理;基于立体相机100E生成的图像数据执行处理;以及基于立体相机100F生成的图像数据执行处理。此后也同样如此。
[0127] 因此,在无人机1中,六个立体相机100中的每一个以基本相等的时间间隔执行曝光操作。具体地,例如,立体相机100A以每3到4帧一次的比率执行曝光操作;立体相机100B、100D、100E和100F以每6到7帧一次的比率执行曝光操作;并且立体相机100C以每13帧一次的比率执行曝光操作。这使得无人机1能够准确地掌握周围环境。
[0128] [效果]
[0129] 如上所述,在本实施例中,基于六个角度θ设置六个立体相机的各自曝光频度,这使得有效利用计算资源成为可能。
[0130] 在本实施例中,在飞行速度快于预定速度的情况下,基于六个角度θ设置六个立体相机的各自曝光频度,这使得有效利用计算资源成为可能。
[0131] 在本实施例中,六个立体相机的曝光定时彼此不同,这使得可以减少延迟,从而使得可以提高例如运算处理的精度。
[0132] [修改示例1‑1]
[0133] 在上述实施例中,曝光频度设置部件26增加与六个角度θ之中的最小角度θ对应的立体相机100的曝光频度。此时,曝光频度设置部件26可以随着由速度向量VS指示的速度值的增加而增加曝光频度。具体地说,例如,在飞行方向DIR与立体相机100A的光轴方向101A相同的情况下,在速度较慢的情况下,可以将立体相机100A的曝光频度、立体相机100B、100D、100E和100F的每个曝光频度和立体相机100C的曝光频度的比率设置为3:2:1,并且在速度较快的情况下,可以将立体相机100A的曝光频度、立体相机100B、100D、100E和100F的每个曝光频度以及立体相机100C的曝光频度的比率设置为9:4:1。
[0134] [修改示例1‑2]
[0135] 在上述实施例中,深度数据生成器24和地图数据生成器31在每个帧中执行处理,但这不是限制性的。与此相反,例如,如图9所示,可以存在深度数据生成器24和地图数据生成器31不执行处理的帧。在该示例中,位置移动估计部件25在每个帧中执行处理。此外,深度数据生成器24和地图数据生成器31不以每6到7帧一次的比率执行处理。此外,例如,可以存在位置移动估计部件25不执行处理的帧。在该示例中,深度数据生成器24和地图数据生成器31在每个帧中执行处理。
[0136] [修改示例1‑3]
[0137] 在上述实施例中,例如,如图8所示,位置移动估计部件25、深度数据生成器24和地图数据生成器31基于相同的图像数据执行处理,但这不是限制性的。与此相反,例如,如图10所示,位置移动估计部件25要对其执行处理的图像数据和深度数据生成器24和地图数据生成器31要对其执行处理的图像数据可以彼此不同。图10的(A)至(F)分别指示立体相机
100A、100B、100D、100E、100F和100C的操作;(G)指示位置移动估计部件25的操作;以及(H)指示深度数据生成器24和地图数据生成器31的操作。在图10的(A)至(F)中,实线表示生成深度数据生成器24和地图数据生成器31要对其执行处理的图像数据的立体相机100,虚线表示生成位置移动估计部件25要对其执行处理的图像数据的立体相机100。在该示例中,位置移动估计部件25基于由立体相机100F生成的图像数据,以大约每2帧一次的比率执行VIO处理,立体相机100F在无人机1的向下方向上执行成像。例如,在两个立体相机100的曝光定时彼此重合的情况下,如图7所示,发送操作TX的定时被移位。例如,在总线布线109中存在通信数据量的余量的情况下(例如图像的大小小的情况),多个立体相机100的曝光定时可以以这种方式彼此重合。
[0138] [修改示例1‑4]
[0139] 在上述实施例中,无人机1的控制器20基于从成像部件11、GPS接收部件12、气压传感器13和惯性测量部件14提供的数据控制无人机1的飞行,并执行用于控制成像部件11的操作的处理,但这不是限制性的,以及除无人机1之外的设备(诸如服务器和控制终端)可以执行该处理的一部分。下面详细描述服务器执行控制器20的部分处理的示例。
[0140] 图11示出了根据本修改示例的无人机1A的配置示例。图12示出了根据本修改示例的服务器40的配置示例。在本修改示例中,服务器40执行由根据上述实施例的无人机1(图1)中的地图数据生成器31、行动规划部件32和路线确定部件33执行的处理。无人机1A包括通信部件35A。通信部件35A被配置为经由无线通信和互联网与服务器40执行通信。服务器
40包括通信部件45、地图数据生成器41、行动规划部件42和路线确定部件43。通信部件45被配置为经由无线通信和互联网与无人机1A进行通信。地图数据生成器41、行动规划部件42和路线确定部件43类似于根据上述实施例的地图数据生成器31、行动规划部件32和路线确定部件33。
[0141] 通过这种配置,无人机1A的通信部件35A向服务器40发送深度数据DD和位置移动数据DPM,服务器40的通信部件45接收深度数据DD和位置移动数据DPM。地图数据生成器41基于由通信部件45接收的深度数据DD和位置移动数据DPM生成包括占用地图的地图数据MAP。行动规划部件42基于预设目的地和从控制终端发送的控制指示数据规划无人机1的行动。路线确定部件43基于地图数据MAP和行动规划部件42的确定结果来确定无人机1A的飞行路线。通信部件45向无人机1A发送关于无人机1A的飞行路线的数据,无人机1A的通信部件35A接收关于飞行路线的数据。机身控制器34基于通信部件35A接收到的关于无人机1A的飞行路线的数据来控制无人机1A的机身。
[0142] [其他修改示例]
[0143] 此外,这些修改示例中的两个或多个可以组合。
[0144] <2.第二实施例>
[0145] 接下来,描述根据第二实施例的无人机2。在本实施例中,除了六个角度θ之外,还基于无人机周围的环境来设置曝光频度。应注意,与根据上述第一实施例的无人机1的组件基本相同的组件由相同的附图标记表示,并且适当地省略其描述。
[0146] 图13示出了无人机2的配置示例。无人机2包括控制器50。控制器50包括地图数据生成器51和曝光频度设置部件56。
[0147] 地图数据生成器51被配置为基于深度数据DD和位置移动数据DPM生成包括占用地图的地图数据MAP,与根据上述第一实施例的地图数据生成器31一样。此外,地图数据生成器51基于地图数据MAP确认无人机2周围的空间的宽度,并将关于该空间的宽度的数据作为环境数据DE提供给曝光频度设置部件56。
[0148] 与根据上述第一实施例的曝光频度设置部件26一样,曝光频度设置部件56被配置为基于包括在位置移动数据DPM中的速度向量VS来设置成像部件11中的六个立体相机100的曝光频度。此外,曝光频度设置部件56基于从地图数据生成器51提供的环境数据DE执行用于校正设置的曝光频度的处理。然后,曝光频度设置部件56基于设置的曝光频度设置六个立体相机100的各自曝光定时。
[0149] 图14示出了无人机2的操作示例。在本示例中,无人机2在上下方向狭窄的空间中飞行。在这种情况下,在飞行方向DIR上飞行的无人机2周围,存在上下方向的狭窄空间和左右方向的空间。在以这种方式在左右方向上存在空间的情况下,无人机2可在左右方向上移动;因此,在例如出现障碍物的情况下,为了避开障碍物,无人机2可在左右方向上移动。因此,为了更准确地把握左右方向上的环境,曝光频度设置部件56增加左右方向上的曝光频度,并降低上下方向上的曝光频度。更具体地说,例如,曝光频度设置部件56能够如下设置曝光频度FF、FB、FU、FD、FL和FR,其中FF表示飞行方向DIR上的曝光频度;FB表示在与飞行方向DIR相反的方向上的曝光频度;FU表示向上方向上的曝光频度;FD表示向下方向上的曝光频度;FL表示向左方向上的曝光频度;FR表示向右方向上的曝光频度。
[0150] FF>FL=FR>FU=FD>FB
[0151] 在本示例中,描述了在上下方向上存在狭窄空间和在左右方向上存在空间的情况;然而,例如,在左右方向上存在狭窄空间和在上下方向上存在空间的情况下,曝光频度设置部件56增加上下方向上的曝光频度,并降低左右方向上的曝光频度。具体地,曝光频度设置部件56能够如下设置曝光频度FF、FB、FU、FD、FL和FR。
[0152] FF>FU=FD>FL=FR>FB
[0153] 相比之下,在无人机2在空无一物的空间中飞行的情况下,在无人机2周围的所有方向上都有空间。在这种情况下,无人机2可在所有方向上移动;因此,在例如出现障碍物的情况下,为了避开障碍物,无人机2可以在任何方向上移动。因此,曝光频度设置部件56使得左右方向上的曝光频度和垂直方向上的曝光频度基本上彼此相等。具体地,曝光频度设置部件56能够如下设置曝光频度FF、FB、FU、FD、FL和FR。
[0154] FF>FL=FR=FU=FD>FB
[0155] 这里,深度数据生成器24和地图数据生成器51对应于本公开中“环境信息生成器”的具体示例。地图数据MAP对应于本公开中“环境信息”的具体示例。
[0156] 图15示出了控制器50的操作示例。该流程图是通过将步骤S205至S207添加到根据上述第一实施例的控制器20的流程图(图4)中而形成的流程图。
[0157] 与上述第一实施例一样,位置移动估计部件25基于图像数据DT、位置数据DP和惯性数据DI计算无人机2的速度向量VS(步骤S101)。然后,曝光频度设置部件26确认由速度向量VS指示的速度值是否等于或小于阈值TH1(步骤S102)。
[0158] 在步骤S102中,在速度值不等于或小于阈值TH1的情况下(步骤S102中的“N”),曝光频度设置部件56计算在由速度向量VS指示的无人机2的飞行方向DIR和六个立体相机100中的每一个的光轴方向101之间的角度θ(步骤S103)。然后,曝光频度设置部件56基于六个角度θ设置六个立体相机100的各自曝光频度(步骤S104)。
[0159] 接下来,地图数据生成器51基于地图数据MAP确认上下方向和左右方向上的空间(步骤S205)。
[0160] 接下来,曝光频度设置部件56确认上下方向或左右方向上的空间是否狭窄(步骤S206)。在上下方向和左右方向上都存在空间的情况下,或者在上下方向和左右方向上的两个空间都狭窄的情况下(步骤S206中的“N”),流程进行到步骤S106中的处理。
[0161] 在步骤S206中,在上下方向或左右方向上的空间狭窄的情况下(步骤S206中的“Y”),曝光频度设置部件56校正在步骤S104中设置的六个立体相机100的各自曝光频度(步骤S207)。例如,在上下方向上存在狭窄空间并且在左右方向上存在空间的情况下,曝光频度设置部件56增加左右方向上的曝光频度并降低上下方向上的曝光频度。此外,例如,在左右方向上存在狭窄空间并且在上下方向上存在空间的情况下,曝光频度设置部件56增加上下方向上的曝光频度,并降低左右方向上的曝光频度。然后,曝光频度设置部件56基于设置的曝光频度设置六个立体相机100的各自曝光定时。然后,流程进行到步骤S106中的处理。
[0162] 以下步骤与上述第一实施例中的步骤类似。
[0163] 因此,在无人机2中,基于指示无人机2周围环境的地图数据MAP设置六个立体相机100的各自曝光频度。因此,在无人机2中,例如,在上下方向上存在狭窄空间并且在左右方向上存在空间的情况下,可以增加左右方向上的曝光频度,并降低上下方向上的曝光频度。
因此,在无人机2中,可以更准确地把握左右方向上的环境;因此,例如,在出现障碍物的情况下,为了避开障碍物,可以在左右方向上适当地移动无人机2。因此,例如,在无人机2中,可以将控制器50的许多计算资源分配给对通过在左右方向上成像而获得的图像数据的运算处理,这使得能够在有效地使用有限的计算资源的同时更准确地掌握环境。
[0164] 如上所述,在本实施例中,基于指示无人机周围环境的地图数据设置六个立体相机的各自曝光频度,这使得能够有效地使用计算资源。其他效果类似于上述第一实施例中的效果。
[0165] [修改示例2‑1]
[0166] 在上述实施例中,基于无人机2周围空间的宽度设置曝光频度,但这不是限制性的。代替该方式,例如,可以基于拍摄的图像执行图像分析处理,以确认无人机2的飞行是否存在可能的障碍,并且可以基于这种确认的结果设置曝光频度。下面详细描述本修改示例。
[0167] 图16示出了根据本修改示例的无人机2A的配置示例。无人机2A包括控制器50A。控制器50A包括图像分析部件58A、地图数据生成器51A和曝光频度设置部件56A。
[0168] 图像分析部件58A被配置为通过使用语义分割技术执行图像分析处理,基于图像数据DT分析成像对象。然后,图像分析部件58A将这种分析的结果作为分割数据DS提供给地图数据生成器51A。
[0169] 地图数据生成器51A被配置为基于深度数据DD、位置移动数据DPM和分割数据DS生成包括语义占用地图的地图数据MAP2。具体地,地图数据生成器31基于关于深度数据DD中包括的深度值和位置移动数据DPM中包括的无人机1的位置的信息,对语义占用地图中的每个体素执行投票处理,以生成地图数据MAP2。语义占用地图包括关于每个体素和成像对象之间的对应关系的数据。具体地说,例如,指示成像对象(例如天空、地面和树)的数据被附加到每个体素。然后,地图数据生成器51A基于地图数据MAP2确认无人机2的飞行是否存在可能的障碍物,并将这种确认的结果作为环境数据DE2提供给曝光频度设置部件56A。具体来说,例如,在无人机2附近有树的情况下,鸟可能飞过来或飞走,成为飞行的障碍物。此外,例如,在无人机2附近有门的情况下,门可能打开,成为无人机2的飞行的障碍物。因此,在该示例中,地图数据生成器51A基于语义占用地图确认附近是否存在树或门,并将这种确认的结果作为环境数据DE2提供给曝光频度设置部件56A。
[0170] 曝光频度设置部件56A被配置为基于包括在位置移动数据DPM中的速度向量VS来设置成像部件11中的六个立体相机100的曝光频度。此外,曝光频度设置部件56A还基于从地图数据生成器51提供的环境数据DE2执行用于校正设置的曝光频度的处理。具体地,在无人机2的飞行存在可能的障碍物的情况下,校正曝光频度以增加执行可能的障碍物的成像的立体相机100的曝光频度。然后,曝光频度设置部件56A基于设置的曝光频度设置六个立体相机100的各自曝光定时。
[0171] 这里,图像分析部件58A对应于本公开中“图像分析部件”的具体示例。深度数据生成器24和地图数据生成器51A对应于本公开中的“环境信息生成器”的具体示例。地图数据MAP2对应于本公开中的“环境信息”的具体示例。
[0172] 通过这种配置,在无人机2A中,可以增加对可能的飞行障碍物进行成像的立体相机100的曝光频度,这使得能够更准确地把握环境,从而使得能够适当地避开障碍物。
[0173] [修改示例2‑2]
[0174] 在上述实施例中,无人机2的控制器50基于从成像部件11、GPS接收部件12、气压传感器13和惯性测量部件14提供的数据控制无人机2的飞行,并执行用于控制成像部件11的操作的处理,但这不是限制性的,并且除无人机2之外的设备(诸如服务器和控制终端)可以执行该处理的一部分。下面详细描述服务器执行控制器50的部分处理的示例。
[0175] 图17示出了根据本修改示例的无人机2B的配置示例。图18示出了根据本修改示例的服务器60的配置示例。在本修改示例中,服务器60执行由根据上述实施例的无人机2(图13)中的地图数据生成器31、行动规划部件32和路线确定部件33执行的处理。无人机2B包括通信部件35B。通信部件35B被配置为经由无线通信和互联网与服务器60执行通信。服务器
60包括通信部件65、地图数据生成器61、行动规划部件42和路线确定部件43。通信部件65被配置为经由无线通信和互联网与无人机2B进行通信。地图数据生成器61、行动规划部件42和路线确定部件43类似于根据上述实施例的地图数据生成器51、行动规划部件32和路线确定部件33。
[0176] 通过这种配置,无人机2B的通信部件35B向服务器60发送深度数据DD和位置移动数据DPM,服务器60的通信部件65接收深度数据DD和位置移动数据DPM。地图数据生成器61基于通信部件65接收到的深度数据DD和位置移动数据DPM生成包括占用地图的地图数据MAP,并生成环境数据DE。行动规划部件42基于预设目的地和从控制终端发送的控制指示数据规划无人机2B的行动。路线确定部件43基于地图数据MAP和行动规划部件42的确定结果来确定无人机2B的飞行路线。通信部件65将环境数据DE和关于无人机2BA的飞行路线的数据发送到无人机2B,无人机2B的通信部件35B接收环境数据DE和关于飞行路线的数据。曝光频度设置部件56基于包括在位置移动数据DPM中的速度向量VS来设置成像部件11中的六个立体相机100的曝光频度,并且基于通信部件35B接收到的环境数据DE来校正所设置的曝光频度。机身控制器34基于通信部件35B接收到的关于无人机2BA的飞行路线的数据来控制无人机2B的机身。
[0177] <3.第三实施例>
[0178] 接下来,描述根据第三实施例的无人机3。在本实施例中,除了六个角度θ之外,还基于无人机周围的移动体来设置曝光频度。应注意,与根据上述第一实施例的无人机1的组件基本相同的组件由相同的附图标记表示,并且适当地省略其描述。
[0179] 图19示出了无人机3的配置示例。无人机3包括控制器70。控制器70包括物体检测器78、地图数据生成器71、移动体信息分析部件79和曝光频度设置部件76。
[0180] 物体检测器78被配置为基于图像数据DT来检测可能是障碍物的物体。然后,物体检测器78将这种检测的结果作为物体数据DO提供给地图数据生成器71。
[0181] 地图数据生成器71被配置为基于深度数据DD、位置移动数据DPM和物体数据DO生成包括占用地图的地图数据MAP。
[0182] 移动体信息分析部件79被配置为基于深度数据DD、位置移动数据DPM和物体数据DO,分析由物体检测器78检测到的物体相对于无人机3的位置和移动。然后,移动体信息分析部件79将这种分析的结果作为移动体数据DM提供给曝光频度设置部件76。
[0183] 与根据上述第一实施例的曝光频度设置部件26一样,曝光频度设置部件76被配置为基于包括在位置移动数据DPM中的速度向量VS来设置成像部件11中的六个立体相机100的曝光频度。此外,在检测到的物体正在接近无人机3的情况下,曝光频度设置部件76还基于从移动体信息分析部件79提供的移动体数据DM执行用于校正设置的曝光频度的处理,以增加执行物体的成像的立体相机100的曝光频度。然后,曝光频度设置部件76基于设置的曝光频度设置六个立体相机100的各自曝光定时。
[0184] 图20示出了无人机3的操作示例。在本示例中,鸟99绕着无人机3飞行,并且鸟99正在接近无人机9。也就是说,鸟99相对于无人机3的速度向量V99指向无人机3的方向。
[0185] 曝光频度设置部件76计算在与速度向量V99指示的方向相反的方向和六个立体相机100中的每一个的光轴方向101之间的角度φ。具体地,与图5中的情况一样,曝光频度设置部件76计算在与速度向量V99指示的方向相反的方向和立体相机100A的光轴方向101A之间的角度φA;计算在与速度向量V99指示的方向相反的方向和立体相机100B的光轴方向101B之间的角度φB;计算在与速度向量V99指示的方向相反的方向和立体相机100C的光轴方向101C之间的角度φC;计算在与速度向量V99指示的方向相反的方向和立体相机100D的光轴方向101D之间的角度φD;计算在与速度向量V99指示的方向相反的方向和立体相机
100E的光轴方向101E之间的角度φE;并计算在与速度向量V99指示的方向相反的方向和立体相机100F的光轴方向101F之间的角度φF。角度φ是小于180度的角度。
[0186] 然后,曝光频度设置部件76设置曝光频度,以增加对应于六个角度φ之中的最小角度φ的立体相机100的曝光频度。具体地,例如,在图14中的示例中,曝光频度设置部件76能够如下设置曝光频度F100,其中F100A到F100D分别表示立体相机100A到100D的曝光频度。
[0187] F100B>F100A>F100C>F100D
[0188] 这里,物体检测器78和移动体信息分析部件79对应于本公开中“移动体检测器”的具体示例。
[0189] 图21示出了控制器70的操作示例。该流程图是通过将步骤S305至S307添加到根据上述第一实施例的控制器20的流程图(图4)而形成的流程图。
[0190] 与上述第一实施例一样,位置移动估计部件25基于图像数据DT、位置数据DP和惯性数据DI计算无人机3的速度向量VS(步骤S101)。然后,曝光频度设置部件76确认由速度向量VS指示的速度值是否等于或小于阈值TH1(步骤S102)。
[0191] 在步骤S102中,在速度值不等于或小于阈值TH1的情况下(步骤S102中的“N”),曝光频度设置部件76计算在由速度向量VS指示的无人机3的飞行方向DIR和六个立体相机100中的每一个的光轴方向101之间的角度θ(步骤S103)。然后,曝光频度设置部件76基于六个角度θ设置六个立体相机100的各自曝光频度(步骤S104)。
[0192] 接下来,移动体信息分析部件79基于深度数据DD、位置移动数据DPM和物体数据DO,分析由物体检测器78检测到的物体相对于无人机3的位置和移动(步骤S305)。
[0193] 接下来,曝光频度设置部件76基于移动体信息分析部件79的分析结果确认是否存在接近的物体(步骤S306)。在没有接近的物体的情况下(步骤S306中的“N”),流程进行到步骤S106中的处理。
[0194] 在步骤S306中,在存在接近的物体的情况下(步骤S306中的“Y”),曝光频度设置部件76校正六个立体相机100的各自曝光频度,以增加六个立体相机100中的执行该物体的成像的立体相机100的曝光频度(步骤S307)。例如,曝光频度设置部件76计算在与速度向量V99所指示的方向相反的方向和六个立体相机100中的每一个的光轴方向101之间的角度φ,并且设置曝光频度以增加与六个角度φ之中的最小角度φ对应的立体相机100的曝光频度。然后,曝光频度设置部件76基于设置的曝光频度设置六个立体相机100的各自曝光定时。然后,流程进行到步骤S106中的处理。
[0195] 以下步骤与上述第一实施例中的步骤类似。
[0196] 因此,在无人机3中,基于物体检测器78和移动体信息分析部件79的处理结果设置六个立体相机100的各自曝光频度。因此,在无人机3中,例如,在物体正在接近的情况下,可以增加执行该物体的成像的立体相机100的曝光频度。因此,在无人机3中,可以更准确地掌握包括接近物体的环境,这使得能够适当地避开该物体。因此,例如,在无人机3中,可以将控制器70的许多计算资源分配给对通过对接近物体进行成像而获得的图像数据的运算处理,这使得能够在有效使用有限计算资源的同时更准确地掌握环境。
[0197] 如上所述,在本实施例中,基于物体检测器和移动体信息分析部件的处理结果设置六个立体相机的各自曝光频度,这使得能够有效地使用计算资源。其他效果类似于上述第一实施例中的效果。
[0198] [修改示例3]
[0199] 上述第一和第二实施例的任何修改示例均可应用于根据上述实施例的无人机3。
[0200] <4.第四实施例>
[0201] 接下来,描述根据第四实施例的无人机4。在本实施例中,除了六个角度θ之外,还基于在彼此不同的曝光定时获取的拍摄图像的图像区域之间的交叠率来设置曝光频度。应注意,与根据上述第一实施例的无人机1的组件基本相同的组件由相同的附图标记表示,并且适当地省略其描述。
[0202] 图22示出了无人机4的配置示例。无人机4包括控制器80。控制器80包括曝光频度设置部件86。
[0203] 与根据上述第一实施例的曝光频度设置部件26一样,曝光频度设置部件86被配置为基于包括在位置移动数据DPM中的速度向量VS来设置成像部件11中的六个立体相机100的曝光频度。此外,曝光频度设置部件86基于深度数据DD和位置移动数据DPM,计算在六个立体相机100中的每一个中以彼此不同的曝光定时获取的拍摄图像中的图像区域之间的交叠率,并且还基于交叠率执行用于校正设置的曝光频度的处理。然后,曝光频度设置部件86基于设置的曝光频度设置六个立体相机100的各自曝光定时。
[0204] 图23示出了无人机4的操作示例。在该示例中,在无人机4的向下方向上执行成像的立体相机100F以彼此不同的曝光定时执行两次曝光操作。无人机4正在移动,这使得第一曝光操作EX中的图像区域W1和第二曝光操作EX中的图像区域W2被偏移而不相互重合。因此,如图23所示,图像区域W1的一部分和图像区域W2的一部分彼此交叠。特别地,在无人机4的移动速度快的情况下或者在从无人机4到成像对象的距离短的情况下,彼此交叠的图像区域被加宽。曝光频度设置部件86基于无人机4的移动速度和从无人机4到成像对象的距离,计算指示图像区域之间的交叠程度的交叠率。然后,在由立体相机100F拍摄的拍摄图像中的图像区域之间的交叠率低的情况下,曝光频度设置部件86提高立体相机100F的曝光频度以提高交叠率。
[0205] 这里,深度数据生成器24对应于本公开中“距离计算部件”的具体示例。
[0206] 图24示出了控制器80的操作示例。该流程图是通过将步骤S305至S307添加到根据上述第一实施例的控制器20的流程图(图4)而形成的流程图。
[0207] 与上述第一实施例一样,位置移动估计部件25基于图像数据DT、位置数据DP和惯性数据DI计算无人机4的速度向量VS(步骤S101)。然后,曝光频度设置部件56确认由速度向量VS指示的速度值是否等于或小于阈值TH1(步骤S102)。
[0208] 在步骤S102中,在速度值不等于或小于阈值TH1的情况下(步骤S102中的“N”),曝光频度设置部件76计算在由速度向量VS指示的无人机4的飞行方向DIR和六个立体相机100中的每一个的光轴方向101之间的角度θ(步骤S103)。然后,曝光频度设置部件76基于六个角度θ设置六个立体相机100的各自曝光频度(步骤S104)。
[0209] 接下来,曝光频度设置部件86基于无人机4的移动速度和从无人机4到成像对象的距离,计算在六个立体相机100中的每一个中以彼此不同的曝光定时获取的拍摄图像中的图像区域之间的交叠率(步骤S405)。具体地,曝光频度设置部件86计算立体相机100A中的交叠率;计算立体相机100B中的交叠率;计算立体相机100C中的交叠率;计算立体相机100D中的交叠率;计算立体相机100E中的交叠率;并计算立体相机100F中的交叠率。
[0210] 接下来,曝光频度设置部件86确认六个立体相机100中的交叠率中的至少一个是否等于或小于阈值TH2(步骤S406)。在所有交叠率都不等于或小于阈值TH2的情况下(步骤S406中的“N”),流程进行到步骤S106中的处理。
[0211] 在步骤S406中,在六个立体相机100中的交叠率中的至少一个等于或小于阈值TH2的情况下(步骤S406中的“Y”),曝光频度设置部件86校正六个立体相机100的各自曝光频度,以使得等于或小于阈值TH2的交叠率超过阈值TH2(步骤S407)。然后,曝光频度设置部件86基于设置的曝光频度设置六个立体相机100的各自曝光定时。然后,流程进行到步骤S106中的处理。
[0212] 随后的步骤与上述第一实施例中的步骤类似。
[0213] 因此,在无人机4中,基于无人机4的移动速度和从无人机4到成像对象的距离来设置六个立体相机100的各自曝光频度。因此,例如,在图像区域之间的交叠率低的情况下,在无人机4中,可以增加交叠率低的立体相机100的曝光频度。因此,在无人机4中,可以增加图像区域之间的交叠率,这使得可以提高位置移动估计部件25中的VIO处理的精度,从而可以提高无人机4的位置和移动的估计精度。
[0214] 如上所述,在本实施例中,根据无人机的移动速度和从无人机到成像对象的距离设置六个立体相机的各自曝光频度,这使得可以提高无人机的位置和移动的估计的准确性。其他效果类似于上述第一实施例中的效果。
[0215] [修改示例4]
[0216] 上述第一和第二实施例的每个修改示例可应用于根据上述实施例的无人机4。
[0217] 尽管本技术已在上文中参考一些实施例和修改示例进行了描述,但本技术不限于这些实施例等,并且可以以多种方式进行修改。
[0218] 例如,在上述实施例中,设置了六个立体相机100,但这不是限制性的。相反,可以设置两个或更多个以及五个或更少的立体相机100,或者可以设置七个或更多的立体相机100。
[0219] 例如,在上述实施例中,设置了GPS接收部件12、气压传感器13和惯性测量部件14,但这不是限制性的,其中一些可以省略。
[0220] 此外,在上述实施例中,本技术应用于无人机,但这不是限制性的。取而代之的是,本技术可以应用于例如在平面信息上行进的机器人。
[0221] 需要注意的是,本文描述的效果仅是说明性的和非限制性的,可以包括其他效果。
[0222] 需要注意的是,本技术可具有以下配置。根据具有以下配置的本技术,可以有效地使用计算资源。
[0223] (1)一种曝光控制设备,包括:
[0224] 设置部件,设置部件计算在包括多个立体相机的设备的移动方向与所述多个立体相机中的每个的光轴方向之间的相机角度,并基于多个相机角度设置所述多个立体相机中的每个的曝光频度;和
[0225] 曝光控制器,曝光控制器基于由设置部件设置的多个曝光频度来控制所述多个立体相机的操作。
[0226] (2)根据(1)的曝光控制设备,其中,在包括所述多个立体相机的设备的移动速度快于预定速度的情况下,所述设置部件基于所述多个相机角度设置所述多个立体相机中的每个的曝光频度。
[0227] (3)根据(1)或(2)所述的曝光控制设备,其中,所述设置部件使得所述多个立体相机中的具有最小相机角度的第一立体相机的曝光频度高于所述多个立体相机中的与第一立体相机不同的第二立体相机的曝光频度。
[0228] (4)根据(3)所述的曝光控制设备,其中
[0229] 在包括所述多个立体相机的设备的移动速度是第一速度的情况下,设置部件将第一立体相机的曝光频度设置为第一曝光频度,并且
[0230] 在包括所述多个立体相机的设备的移动速度是比第一速度快的第二速度的情况下,设置部件将第一立体相机的曝光频度设置为高于第一曝光频度的第二曝光频度。
[0231] (5)根据(1)至(4)中任一项所述的曝光控制设备,还包括环境信息生成器,环境信息生成器基于所述多个立体相机的成像结果生成关于包括所述多个立体相机的设备的周围环境的环境信息,其中
[0232] 除了所述多个相机角度以外,设置部件还基于所述环境信息来设置所述多个立体相机中的每个的曝光频度。
[0233] (6)根据(5)的曝光控制设备,其中所述设置部件基于所述环境信息检测所述周围环境中的空间的宽度,以及使得所述多个立体相机中的在空间宽的方向上执行成像的第三立体相机的曝光频度高于所述多个立体相机中的不同于第三立体相机的第四立体相机的曝光频度。
[0234] (7)根据(5)的曝光控制设备,还包括基于所述多个立体相机的成像结果分析成像对象的图像分析部件,其中
[0235] 所述环境信息包括关于成像对象的信息。
[0236] (8)根据(1)至(4)中任一项所述的曝光控制设备,还包括移动体检测器,移动体检测器基于所述多个立体相机的成像结果检测包括所述多个立体相机的设备周围的移动体,其中
[0237] 除了所述多个相机角度以外,设置部件还基于移动体检测器的检测结果来设置所述多个立体相机中的每个的曝光频度。
[0238] (9)根据(8)的曝光控制设备,其中,在移动体和包括所述多个立体相机的设备之间的距离变窄的情况下,设置部件使得所述多个立体相机中的执行所述移动体的成像的第五立体相机的曝光频度高于所述多个立体相机中的不同于第五立体相机的第六立体相机的曝光频度。
[0239] (10)根据(1)至(4)中任一项的曝光控制设备,还包括基于所述多个立体相机的成像结果计算到成像对象的距离的距离计算部件,其中
[0240] 除了所述多个相机角度以外,设置部件还基于包括所述多个立体相机的设备的移动速度以及到所述成像对象的距离来设置所述多个立体相机中的每个的曝光频度。
[0241] (11)根据(10)的曝光控制设备,其中所述设置部件基于包括所述多个立体相机的设备的移动速度和到所述成像对象的距离,计算所述多个立体相机中的一个立体相机中的曝光定时彼此不同的两个拍摄图像的图像区域之间的交叠率,以及在所述交叠率低于预定值的情况下增大所述一个立体相机的曝光频度。
[0242] (12)根据(1)至(11)中任一项所述的曝光控制设备,其中
[0243] 设置部件基于所述多个立体相机中的每个的曝光频度来设置所述多个立体相机中的每个的曝光定时,以及
[0244] 曝光控制器基于由设置部件设置的多个曝光定时来控制所述多个立体相机的操作。
[0245] (13)根据(12)的曝光控制设备,其中所述设置部件设置所述多个立体相机中的每个的曝光定时,以使所述多个立体相机的曝光定时彼此不同。
[0246] (14)根据(12)或(13)所述的曝光控制设备,还包括图像获取部件,图像获取部件通过耦接到所述多个立体相机的单条总线布线来获取所述多个立体相机的成像结果,其中[0247] 图像获取部件在彼此不同的时段中获取所述多个立体相机的成像结果。
[0248] (15)根据(14)所述的曝光控制设备,其中
[0249] 所述多个立体相机中的每个包括多个图像传感器,
[0250] 所述多个图像传感器的曝光定时彼此相同,并且
[0251] 图像获取部件在彼此不同的时段中获取所述多个图像传感器的成像结果。
[0252] (16)一种曝光控制方法,包括:
[0253] 计算在包括多个立体相机的设备的移动方向与所述多个立体相机中的每个的光轴方向之间的相机角度,并基于多个相机角度设置所述多个立体相机中的每个的曝光频度,和
[0254] 基于所设置的多个曝光频度来控制所述多个立体相机的操作。
[0255] 本申请要求于2020年1月27日向日本专利局提交的日本优先权专利申请JP2020‑011031的利益,其全部内容通过引用并入本文。
[0256] 本领域技术人员应当理解,根据设计要求和其他因素,可能会发生各种修改、组合、子组合和变更,只要它们在所附权利要求或其等同物的范围内。