[0001] 本发明涉及信息处理装置、移动体、信息处理方法和计算机可读存储介质。

[0002] 近年来，为交通参与者中处于弱势地位的人提供可持续运输系统的通道的努力日益活跃。为了实现这一目标，致力于通过预防安全技术相关的研究和开发来进一步改善交通的安全性和便利性的研究和开发。专利文献1和2描述了用于将由车辆检测出的危险事件和风险区域通知给其他车辆的技术。

[0003] 专利文献1：日本特开2020‑102822号公报

[0004] 专利文献2：日本特开2023‑11080号公报

[0022] 以下，通过发明的实施方式说明本发明，但是以下的实施方式不限定所要求保护的发明。另外，在实施方式中说明的特征组合并非全部是发明的解决手段所必需的。

[0023] 图1示意性示出辅助系统10的使用场景。辅助系统10具备车辆20a、车辆20b、车辆20c、行人终端82a和行人终端82b、以及服务器60。

[0024] 车辆20a具备车载信息处理装置40a，车辆20b具备车载信息处理装置40b，车辆20c具备车载信息处理装置40c。行人终端82a是行人80a所持有的终端，行人终端82b是行人80b所持有的终端。在本实施方式中，行人80a和行人80b是行人。行人80a和行人80b是移动物体的示例。

[0025] 在本实施方式中，有时将车辆20a、车辆20b以及车辆20c统称为“车辆20”。有时将车载信息处理装置40a、车载信息处理装置40b以及车载信息处理装置40c统称为“车载信息处理装置40”。有时将行人终端82a和行人终端82b统称为“行人终端82”。有时将行人80a和行人80b统称为“行人80”。

[0026] 车辆20是在道路90上行驶的车辆。车辆20是移动体的示例。车辆20包含包括全球导航卫星系统(GNSS)接收器的位置传感器、车速传感器、拍摄装置、雷达等各种传感器而构成。车载信息处理装置40具有处理由车辆20所具备的各种传感器获取的信息的功能。车载信息处理装置40具有与其他车辆20的车载信息处理装置40及服务器60分别通信的功能。车载信息处理装置40提供车辆20具有的先进驾驶辅助系统(ADAS)功能。

[0027] 行人终端82例如是智能手机等的便携式终端。行人终端82是移动体的示例。行人终端82将由包括GNSS接收器的位置传感器检测到的行人终端82的当前的位置信息定期地发送到服务器60。

[0028] 服务器60通过移动通信接收从车载信息处理装置40和行人终端82发送的信息。服务器60可以通过移动通信以及因特网和专用线路等的通信线路接收从车载信息处理装置40和行人终端82发送的信息。

[0029] 车载信息处理装置40a分析由车辆20所具备的拍摄装置获取的行人80的图像，提取行人80的骨骼，由此确定行人80的姿势。车载信息处理装置40a根据从多个图像中提取出的骨骼和/或姿势，确定行人80的运动和移动方向中的至少一方。车载信息处理装置40a根据所确定的行人80的运动及移动方向的至少一方，预测在预定的时间之后的时间点处的行人80的位置。

[0030] 车载信息处理装置40a进一步预测在预定的时间之后的时间点处的车辆20的位置。车载信息处理装置40a在预测的行人80的位置与车辆20a的位置之间的距离比预定的阈值短的情况下，判断为行人80与车辆20a接近，使对车辆20a的乘坐者的警报输出。车载信息处理装置40a在判断为行人80和车辆20a接近时，可以通过直接通信或者经由服务器60，使行人终端82输出警报。

[0031] 另一方面，车载信息处理装置40a在判断为在预定的时间内行人80和车辆20a不接近的情况下，使车辆20a的乘坐者及行人终端82都不输出警报。例如，车载信息处理装置40a在行人80a到达车辆20a的行进路线为止的期间，在车辆20a已经超过行人80a的位置的情况下，不使警报输出。即使在这样的情况下，车载信息处理装置40a也通过直接通信或者经由服务器60向周围的车辆20b和车辆20c发送表示确定的行人80的运动和/或移动方向的信息。

[0032] 车辆20b的车载信息处理装置40b以及车辆20c的车载信息处理装置40c利用从车载信息处理装置40a接收到的表示行人80的运动和/或移动方向的信息，进行向车辆20b以及车辆20c的乘坐者输出警报等的辅助。由于车辆20a位于比车辆20b和车辆20c的位置更靠近行人80的位置，因此车载信息处理装置40a能够以比车载信息处理装置40b和车载信息处理装置40c能够确定的行人80的运动和/或移动方向的精度高的精度，确定行人80的运动和/或移动方向。

[0033] 根据辅助系统10，在车辆20a的后方行驶的车辆20b的车载信息处理装置40b能够以更早的定时利用从比车辆20b的位置更靠近行人80a的位置确定的行人80a的运动和/或移动方向。同样，在车辆20a的对向车道上行驶的车辆20c的车载信息处理装置40c能够以更早的定时利用从比车辆20c的位置更靠近行人80b的位置确定的行人80b的运动和/或移动方向。因此，根据辅助系统10，能够对交通参与者进行更高精度的辅助。

[0034] 图2示出车辆20的系统结构。车辆20具备传感器29、驾驶辅助控制装置30、警报装置270和通信装置290。

[0035] 传感器29具备雷达21、拍摄装置22、GNSS接收器25和车速传感器26。雷达21可以是LiDAR、毫米波雷达等。GNSS接收器25接收从GNSS卫星发送的电波。GNSS接收器25基于从GNSS卫星接收的信号生成表示车辆20的当前位置的信息。拍摄装置22拍摄车辆20的周边以生成图像信息。例如，拍摄装置22拍摄车辆20的行进方向以及与行进方向相反的方向上的空间来生成图像信息。车速传感器26检测车辆20的车速。传感器29还可以具备里程表等的位置传感器、以及加速度传感器和姿态传感器等的IMU(惯性测量单元)。

[0036] 驾驶辅助控制装置30使用由传感器29检测的信息来进行车辆20的驾驶辅助。驾驶辅助控制装置30可以通过具有ADAS功能的ECU(Electronic Control Unit)来实现。

[0037] 警报装置270例如具备HMI(Human Machine Interface)功能。警报装置270通过HMI功能输出针对车辆20的乘坐者的警报。

[0038] 通信装置290负责与车辆20的外部的通信。通信装置290例如具有通过PC 5等的直接通信来进行车车间通信的功能。通信装置290可以通过经由移动通信的基站进行通信来与其它车辆20之间进行通信。通信装置290可以具有直接与行人终端82通信的功能。

[0039] 车载信息处理装置40具备控制装置200、存储装置280和通信装置290。控制装置200例如由包括处理器的运算处理装置来实现。存储装置280具备非易失性存储介质而实现。控制装置200使用存储在存储装置280中的信息进行处理。控制装置200可以由ECU来实现，该ECU具备具有CPU、ROM、RAM、I/O、总线等的微机。

[0040] 通信装置290基于控制装置200的控制，负责车载信息处理装置40及行人终端82分别与服务器60之间的通信。

[0041] 控制装置200具备获取部250、预测部220、发送控制部230和警报控制部260。但是，也可以采用车载信息处理装置40不具有图2所示的车载信息处理装置40的功能结构中的一部分功能的方式。也可以采用传感器29具备车载信息处理装置40所具备的一部分功能的方式。

[0042] 获取部250获取由设置在车辆20上的传感器29检测的信息。预测部220基于由获取部250获取的信息来预测存在于车辆20附近的行人80的运动和移动方向中的至少一个。警报控制部260基于由预测部220预测的行人80的运动和移动方向中的至少一个进行用于输出警报的控制。警报控制部260使警报装置270向车辆20的乘坐者输出警报。发送控制部230进行用于将表示由预测部220预测的行人80的运动和移动方向中的至少一个的信息发送到车辆20周围的其他车辆20的控制。由此，能够与其他车辆20共享车辆20确定的行人80的运动和移动方向中的至少一个。

[0043] 作为示例，获取部250可以获取拍摄装置22所拍摄的图像，预测部220可以基于获取部250所获取的图像来确定行人80的姿态，并且基于所确定的行人80的姿态来预测行人80的运动和移动方向中的至少一个。由此，能够与其他车辆20共享基于行人80的姿态预测的运动和运动方向中的至少一个。

[0044] 获取部250可以获取由拍摄装置22拍摄的图像，预测部220可以基于获取部250获取的图像确定行人80的姿势，并且基于所确定的行人80的姿势，预测行人80是否朝向车辆20的行进路线移动来作为行人80的运动。由此，能够与其他车辆20共享“行人80是否朝向车辆20的行进路线移动”。

[0045] 预测部220基于由获取部250获取的信息来预测行人80的移动速度。由此，能够与其他车辆20共享行人80的移动速度。

[0046] 警报控制部260基于由预测部220预测的行人80的移动速度，在判断为在车辆20的行进方向上车辆20到达行人80的位置为止的期间行人80进入车辆20的行进路线的情况下，进行用于输出针对车辆20的乘员的警报的控制。即使当由警报控制部260判断为在车辆20的行进方向上车辆20到达行人80的位置为止的期间行人80没有进入车辆20的行进路线时，发送控制部230也进行用于将表示由预测部220预测的行人80的运动和移动速度中的至少一个的信息向车辆20的周围发送的控制。

[0047] 图3是用于说明判断车载信息处理装置40a是否输出警报的处理的图。预测部220通过从拍摄装置22拍摄的图像中提取行人80a的骨骼来确定行人80a的姿势。车载信息处理装置40a根据从一个或多个图像获得的行人80a的骨骼和/或姿势、或行人80a的骨骼和/或姿势的变化，来预测行人80a的运动。

[0048] 预测部220可以代替行人80a的运动或者除了行人80a的运动之外，基于所确定的行人80a的当前的姿势和/或姿势的变化来预测行人80a的移动方向。预测部220可以基于行人80a的当前的姿势和/或骨骼、和/或姿势和/或骨骼的变化来确定行人80a移动的速度。

[0049] 预测部220可以通过确定行人80a的姿势是行驶姿势还是步行姿势，来确定行人80a移动的速度。预测部220可以根据行人80a的骨骼的变化来确定行人80a的脚的移动速度，并且考虑所确定的脚的移动速度来确定行人80a的移动的速度。预测部220可以根据行人80a的骨骼确定行人80a的脚的长度，并考虑所确定的脚的长度来确定行人80a移动的速度。预测部220可以进一步考虑由雷达21获取的从车辆20a到行人80a的距离来确定行人80a的脚的长度。预测部220可以基于行人80a的移动方向和移动的速度来预测行人80a的移动速度。

[0050] 预测部220可以根据由拍摄装置22拍摄的图像来确定行人80a的年龄段。预测部220可以考虑行人80a的年龄段，来预测在将来行人80a在预定的时间内可以移动的范围。例如，在行人80a的年龄段为预定以上的年龄段的情况下，行人80a的年龄段越大，预测部220可以使行人80a在预定的时间内可以移动的范围越窄。

[0051] 如图3所示，在确定了行人80a的移动速度的情况下，预测部220基于行人80a的移动速度，预测从当前时刻起经过了预定的时间的时间点处的行人80a的位置P和车辆20a的位置Q。当位置P存在于位置Q的预定的范围内时，警报控制部260判断为车辆20a和行人80a在预定的时间内接近，并使警报装置270输出警报。

[0052] 在图3的例子中，当在将来行人80a到达位置P时，车辆20a在车辆20a的行进方向上存在于比行人80a的位置P靠前的位置Q。也就是说，当行人80a到达位置P时，车辆20a已经通过行人80a的位置P。因此，警报控制部260不使警报装置270输出警报。

[0053] 但是，车载信息处理装置40a虽然能够判断出行人80a没有接近车辆20a，但是还不能判断在将来行人80a接近车辆20b或者车辆20c的可能性。因此，即使在警报装置270不输出警报的情况下，发送控制部230也将表示预测部220预测的行人80a的运动和/或移动方向的信息发送给车载信息处理装置40b和车载信息处理装置40c。

[0054] 通过对行人80b进行同样的处理，预测部220预测行人80b的运动和/或移动方向，并且警报控制部260基于预测的行人80b的运动和/或移动方向，判断是否输出警报。因此，即使在警报装置270不输出警报的情况下，发送控制部230也将表示预测部220预测的行人80b的运动和/或移动方向的信息发送给车载信息处理装置40b和车载信息处理装置40c。

[0055] 从车载信息处理装置40a向车载信息处理装置40b及车载信息处理装置40c的信息发送，通过直接通信或者通过经由服务器60的通信来进行。车载信息处理装置40b及车载信息处理装置40c使用表示由车载信息处理装置40a预测的行人80的运动及/或移动方向的信息，判断是否对各个车辆20的乘坐者输出警报。由此，车载信息处理装置40b及车载信息处理装置40c能够以更早的定时，基于表示行人80的更准确的运动和/或移动方向的信息，进行与警报有关的处理。

[0056] 从车载信息处理装置40a向车载信息处理装置40b及车载信息处理装置40c发送的表示行人80的运动和/或移动方向的信息，可以包含表示行人80的移动方向的信息、表示行人80的移动速度的信息、以及表示行人80是否朝向道路90移动的信息的任意组合。但是，在行人80的姿势本身能够表示行人80的运动和/或移动方向的情况下，向车载信息处理装置40b和车载信息处理装置40c发送的表示行人80的运动和/或移动方向的信息可以是表示行人80的姿势的信息本身。

[0057] 图4示出与车载信息处理装置40执行的信息处理方法有关的流程图的示例。

[0058] 在S400中，预测部220基于由获取部250获取的图像确定行人的姿势。在S402中，预测部220确定行人的移动方向。在S404中，预测部220基于移动方向判断行人是否正在朝向道路90移动。在判断为行人没有朝向道路90移动的情况下，将处理转移到S412。

[0059] 当判断为行人正在朝向道路90移动时，在S406中，预测部220确定行人的移动速度。在S408中，警报控制部260判断行人和车辆20a是否在预定的时间内接近。当判断为行人和车辆20a在预定的时间内没有接近时，处理进入S412。当判断为行人和车辆20a在预定的时间内接近时，在S410中，警报控制部260使警报装置270输出警报。

[0060] 在S412中，发送控制部230将表示预测部220预测的行人的运动和/或移动方向的信息发送给其他车辆20的车载信息处理装置40。

[0061] 在上面的描述中，说明了获取部250获取的图像是通过拍摄车辆20的前方而获得的图像的例子。然而，获取部250获取的图像也可以是通过对车辆20的后方进行拍摄而获得的图像。

[0062] 在上面的描述中，作为移动物体的示例，列举行人进行了说明，但移动物体并不限于行人。移动物体可以包括跑步者。移动物体可以包括骑在自行车等的两轮车(包括平行两轮车)上的人。移动物体可以是人类以外的动物。

[0063] 根据以上说明的辅助系统10，能够将由车辆20检测到的表示车辆20附近的行人80的运动和/或移动方向的信息发送给在后方或相对行驶的其他车辆20。因此，其他车辆20能够在更早的定时获取与运动和/或移动方向有关的精度高的信息。由此，能够进行精度更高的交通辅助。

[0064] 图5示出可以全部或部分地体现本发明的多个实施方式的计算机2000的示例。安装至计算机2000的程序能够使计算机2000作为实施方式涉及的车载信息处理装置40等的装置或该装置的各单元发挥功能，执行与该装置或者该装置的各单元相关联的操作，以及/或者执行实施方式涉及的工序或该工序的步骤。为了使计算机2000执行本说明书所述的处理流程以及与框图的功能块中的几个或全部相关联的特定的操作，这样的程序可以由CPU2012执行。

[0065] 基于本实施方式的计算机2000包含CPU2012以及RAM2014，它们通过主控制器2010而相互连接。计算机2000还包含ROM2026、闪存2024、通信接口2022以及输入/输出芯片2040。ROM2026、闪存2024、通信接口2022以及输入/输出芯片2040经由输入/输出控制器
2020与主控制器2010连接。

[0066] CPU2012按照ROM2026以及RAM2014内保存的程序进行动作，由此控制各单元。

[0067] 通信接口2022经由网络与其他的电子设备通信。闪存2024保存由计算机2000内的CPU2012使用的程序以及数据。ROM2026保存被激活时由计算机2000执行的启动程序等、以及/或依存于计算机2000的硬件的程序。输入/输出芯片2040还可以经由串行端口、并行端口、键盘端口、鼠标端口、监视器端口、USB端口、HDMI(注册商标)端口等的输入/输出端口，将键盘、鼠标以及监视器等各种输入/输出单元与输入/输出控制器2020连接。

[0068] 程序经由CD－ROM、DVD－ROM、或U盘那样的计算机可读存储介质或网络而被提供。RAM2014、ROM2026、或闪存2024是计算机可读存储介质的例子。程序被安装至闪存2024、RAM2014或ROM2026，由CPU2012执行。在这些程序内记述的信息处理被计算机2000读取，实现程序和上述各种类型的硬件资源之间的协作。装置或方法可以通过遵从计算机2000的使用而实现信息的操作或处理来构成。

[0069] 例如，在计算机2000和外部设备之间执行通信的情况下，CPU2012可以执行加载到RAM2014的通信程序，基于通信程序中记述的处理，对通信接口2022指示通信处理。通信接口2022在CPU2012的控制下，对向RAM2014以及闪存2024那样的记录介质内提供的发送缓冲处理区域中保存的发送数据进行读取，将读取的发送数据向网络发送，并将从网络接收的接收数据写入至向记录介质上提供的接收缓冲处理区域等。

[0070] 另外，CPU2012可以使得闪存2024等那样的记录介质中保存的文件或数据库的全部或所需的部分被读取至RAM2014，并对RAM2014上的数据执行各种处理。CPU2012接着将处理后的数据写回至记录介质。

[0071] 可以将各种类型的程序、数据、表格以及数据库那样的各种信息保存至记录介质，并施加至信息处理。CPU2012可以对从RAM2014读取的数据执行本说明书中记载的、包含由程序的指令序列指定的各种操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/置换等的各种处理，并将结果写回至RAM2014。另外，CPU2012可以检索记录介质内的文件、数据库等中的信息。例如，在分别具有与第2属性的属性值建立了关联的第1属性的属性值的多个项目被保存在记录介质内的情况下，CPU2012可以从该多个项目中检索指定了第1属性的属性值的与条件一致的项目，读取该项目内保存的第2属性的属性值，由此获取与满足预先设定的条件的第1属性建立了关联的第2属性的属性值。

[0072] 以上说明的程序或软件模块可以保存至计算机2000上或计算机2000附近的计算机可读存储介质中。向与专用通信网络或互联网连接的服务器系统内提供的硬盘或RAM那样的记录介质可以作为计算机可读存储介质来使用。可以将计算机可读存储介质中保存的程序经由网络提供给计算机2000。

[0073] 安装在计算机2000中并使计算机2000作为服务器60发挥功能的程序可以在CPU2012等中动作，从而使计算机2000作为车载信息处理装置40的各单元(例如控制装置200等)分别发挥功能。这些程序中记述的信息处理被读入计算机2000，由此作为软件和上述的各种硬件資源相协作的具体单元、亦即车载信息处理装置40的各单元发挥功能。并且，通过利用这些具体单元实现与本实施方式中的计算机2000的使用目的对应的信息的运算或加工，构建与使用目的对应的特有的车载信息处理装置40。

[0074] 参照框图等对各种实施方式进行了说明。在框图中，各功能块可以表示(1)执行操作的工序的步骤或(2)具有执行操作的功能的装置的各单元。特定的步骤以及各单元可以由专用电路、与计算机可读存储介质上保存的计算机可读指令一起被供给的可编程电路、以及/或与计算机可读存储介质上保存的计算机可读指令一起被供给的处理器实现。专用电路可以包含数字以及/或模拟硬件电路，也可以包含集成电路(IC)以及/或离散电路。可编程电路可以包含逻辑AND、逻辑OR、逻辑XOR、逻辑NAND、逻辑NOR、以及其他的逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等那样的包含存储器元件等的可重建的硬件电路。

[0075] 计算机可读存储介质可以包含能够保存由适当的设备执行的指令的任意的有形设备，其结果，具有在此保存的指令的计算机可读存储介质构成包含为了实现用于执行处理流程或框图中指定的操作的单元而能够执行的指令的产品的至少一部分。作为计算机可读存储介质的例子，可以包含电存储介质、磁存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读存储介质的更具体的例子，可以包含软盘(注册商标)、软磁碟、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、电可擦除可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD‑ROM)、数字多用途盘(DVD)、蓝光(注册商标)光碟、存储棒、集成电路卡等。

[0076] 计算机可读指令可以包含汇编指令、指令集架构(ISA)指令、机器指令、机器委托指令、微码、固件指令、状态设定数据、或由包括Smalltalk(注册商标)、JAVA(注册商标)、C++等那样的面向对象编程语言以及“C”编程语言或同样的编程语言那样的以往的过程型编程语言在内的1个或多个编程语言的任意的组合所记述的源代码或对象代码的任意一种。

[0077] 计算机可读指令经由本地或局域网(LAN)、互联网等那样的广域网(WAN)被提供至通用计算机、特殊目的的计算机、或其他的能够编程的数据处理装置的处理器或可编程电路，为了实现用于执行被说明的处理流程或框图中指定的操作的单元，可以执行计算机可读指令。作为处理器的例子，包含计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。

[0078] 以上，利用实施方式对本发明进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。能够对上述实施方式进行多种变更或改良对于本领域技术人员而言是显而易见的。进行了这样的变更或改良的方式也能够包含于本发明的技术范围内从权利要求书的记载而言是显而易见的。

[0079] 对于权利要求书、说明书以及附图中示出的装置、系统、程序以及方法中的动作、流程、步骤以及步骤等的各处理的执行顺序而言，应注意没有特别明示“之前”、“先行”等，另外，只要不是将之前的处理的输出在之后的处理中使用，就可以以任意的顺序实现。对于权利要求书、说明书以及附图中的动作流程而言，即使为了便利而使用了“首先”、“接着”等进行了说明，但并不意味着必须以这样的顺序来实施。

[0080] 【附图标记说明】

[0081] 10辅助系统

[0082] 20车辆

[0083] 21雷达

[0084] 22拍摄装置

[0085] 25GNSS接收器

[0086] 26车速传感器

[0087] 29传感器

[0088] 30驾驶辅助控制装置

[0089] 40车载信息处理装置

[0090] 60服务器

[0091] 80行人

[0092] 82行人终端

[0093] 90道路

[0094] 200控制装置

[0095] 220预测部

[0096] 230发送控制部

[0097] 250获取部

[0098] 260警报控制部

[0099] 270警报装置

[0100] 280存储装置

[0101] 290通信装置

[0102] 2000计算机

[0103] 2010主控制器

[0104] 2012CPU

[0105] 2014RAM

[0106] 2020输入/输出控制器

[0107] 2022通信接口

[0108] 2024闪存

[0109] 2026ROM

[0110] 2040输入/输出芯片。