[0001] 本公开的各种实施方式涉及激活用于保护车辆中的乘坐者的安全装置的装置及其操作方法。

[0002] 最近，正在开发高级驾驶辅助系统(ADAS)以辅助驾驶员的驾驶。ADAS具有多种技术子类，并为驾驶员提供方便。这种ADAS也被称为自动驾驶或自动驾驶系统(ADS)。

[0003] 当车辆通过ADS自主驾驶时，乘坐者可以做除了驾驶之外的其他事情。因此，支持自主驾驶的车辆中的座椅可以可旋转地设置，使得乘坐者能够容易地做其他事情。例如，支持自主驾驶的车辆的驾驶员座椅可以朝向车辆的后部或侧面而不是前部旋转。

[0004] 同时，车辆可以配备有诸如气囊和/或预紧座椅安全带(PSB)的安全装置，以便保护乘坐者并且可以在碰撞发生时操作安全装置。

[0046] 在下文中，将参考附图详细描述本说明书中所公开的实施方式。不管附图号如何，相同或相似的元件将由相同的参考标号来表示，并且将省略其重复描述。

[0047] 在以下描述中使用的组件的后缀“模块”或“部件”仅考虑到便于说明的方便而给出或混合，并且本身不具有任何区分含义或功能。而且，“模块”或“部件”可表示软件部件或硬件部件，例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)。“部件”或“模块”执行某些功能。然而，“部件”或“模块”不意味着限于软件或硬件。“部件”或“模块”可被配置为放置在可寻址存储介质中或者恢复一个或多个处理器。因此，例如，“部件”或“模块”可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件之类的组件，并且可以包括过程、函数、属性、例程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、阵列和变量。在“部件”或“模块”中提供的组件和功能可以与更少数量的组件和“部件”或“模块”组合，或者可以进一步分成另外的组件和“部件”或“模块”。

[0048] 关于本发明的一些实施例描述的方法或算法步骤可由处理器执行的硬件和软件模块直接实现，或者可由其组合直接实现。软件模块可以驻留在RAM、闪存、ROM、EPROM、EEPROM、电阻器、硬盘、可移动盘、CD‑ROM、或本领域技术人员已知的任何其他类型的记录介质上。示范性记录介质耦接到处理器，并且处理器可从记录介质读取信息并且可将信息记录在存储介质中。在另一种方式中，记录介质可以与处理器一体形成。处理器和记录介质可以驻留在专用集成电路(ASIC)内。ASIC可驻留在用户终端的内部。

[0049] 而且，在本说明书中公开的实施方式的以下描述中，省略结合在本文中的已知技术的详细描述，以避免使本说明书中公开的实施方式的主题不清楚。此外，提供的附图仅用于更容易地描述本说明书中公开的实施方式。本说明书中公开的技术精神不受附图的限制。包含在本发明的精神和范围内的所有修改、等同物和替代物应理解为包含在附图中。

[0050] 虽然包括诸如第一和第二等的序数的术语可以用于描述各种部件，但是部件不受上述术语的限制。这些术语仅用于区分一个部件与其他部件。

[0051] 在组件被称为“连接”或“接入”至另一组件的情况下，应当理解，不仅组件直接连接或接入至其他组件，而且它们之间可存在其他组件。同时，在组件被称为“直接连接”或“直接接入”至另一组件的情况下，应当理解的是，其间不存在组件。

[0052] 在下文中，在本公开中，车辆配备有自动驾驶系统(ADS)并且因此可以自主地驾驶。例如，在没有驾驶员操纵的情况下，车辆可通过ADS执行转向、加速、减速、车道变换和停止中的至少一个。ADS可以包括例如行人检测和碰撞缓解系统(PDCMS)、换道决策辅助系统(LCAS)、车道偏离警告系统(LDWS)、自适应巡航控制(ACC)、车道保持辅助系统(LKAS)、道路边界偏离预防系统(RBDPS)、曲线速度警告系统(CSWS)、前方车辆碰撞警告系统(FVCWS)和低速度跟随(LSF)中的至少一个。

[0053] 图1是根据本公开的各种实施方式的车辆的框图。

[0054] 图1所示的车辆作为实施例示出。电子设备的每个部件可以配置有一个芯片、一个部件或一个电子电路，或者通过组合芯片、部件和/或电子电路来配置。根据实施方式，图1中示出的一些组件可以被分成多个组件并且可以配置有不同的芯片、部件或电子电路。此外，一些组件被组合并配置有一个芯片、一个部件或一个电子电路。根据实施方式，可以省略图1中示出的一些组件或者可以添加未示出的组件。将参考图2至图5B描述图1的至少一些组件。图2是示出根据本公开的各种实施方式的车载组件的视图。图3A和图3B是示出根据本公开的各种实施方式的根据车辆中的座椅和/或乘坐者的状态的气囊展开方法的视图。图4是示出了根据本公开的各种实施方式的基于车辆中的车内拍摄图像通过使用深度学习网络模型获得座椅和/或乘坐者的状态信息的视图。图5A是示出根据本公开的各种实施方式的用于深度学习网络模型的第一学习方法的示图。图5B是示出根据本公开的各种实施方式的用于深度学习网络模型的二次学习方法的视图。

[0055] 参考图1，车辆100可包括传感器单元110、处理器120、安全装置130、存储单元140、和通信装置150。

[0056] 根据各种实施方式，传感器单元110可通过使用多个传感器检测车辆100的内部和/或外部环境，并且可基于检测结果生成与车辆的内部和/或外部环境相关的数据。

[0057] 根据实施方式，传感器单元110可包括碰撞检测传感器112、座椅状态检测传感器114和相机116。

[0058] 碰撞检测传感器112可检测车辆与物体(例如，另一车辆、行人、障碍物等)之间的碰撞并且可生成碰撞检测信号。例如，如图2所示，碰撞检测传感器112可包括前冲击传感器(FIS)201和202、侧面冲击传感器(SIS)221至224、以及压力型侧面冲击传感器(PSIS)211和212中的至少一者。前碰撞传感器201和202可检测前碰撞并且可生成指示检测到前方碰撞的信号。侧面冲击传感器221至224可检测侧面碰撞并且可生成指示检测到侧面碰撞的信号。压力型侧面冲击传感器211和212可检测由于施加至车辆侧面的压力的侧面碰撞，并且可生成表示检测到在侧面由于压力引起的碰撞的信号。碰撞检测信号可包括关于冲击强度、检测到碰撞的位置以及检测碰撞的传感器中的至少一者。

[0059] 座椅状态检测传感器114可以测量关于车辆中的至少一个座椅的状态信息，并且可以生成关于至少一个座椅的状态信息。例如，如图2所示，座椅状态检测传感器114可包括测量座椅的旋转角、座椅的位置和座椅在车辆中的倾斜度中的至少一者的传感器251和252。根据该实施方式，座椅的旋转角、座椅的位置、以及座椅的倾斜度可由不同的传感器测量或者可由同一传感器测量。座椅的旋转角可指示相对于座椅面向车辆的前面时座椅在左方向或右方向上旋转多少。例如，座椅的位置可表示车辆中的相应座椅从指定的参考位置向前或向后移动多少。指定的参考位置可以由设计者设置和/或改变。例如，指定的参考位置可以是方向盘的位置、仪表板的位置、或相应座椅的基本位置。然而，指定的参考位置不限于此。座椅的倾斜度可以指示座椅的靠背的角度。

[0060] 相机116可包括通过拍摄获得车辆内部图像的至少一个相机。车辆内部图像可以是通过拍摄车辆内部的乘坐者获得的图像。如图2所示，为了拍摄乘坐者，相机116可被安装在设置有车辆的后视镜的区域241中。用于获得车辆内部图像的相机116的安装位置仅是示例，并且本公开的各种实施方式不限于此。例如，相机116可以安装在车辆内可以拍摄车辆内的乘坐者的任何位置处。

[0061] 除了上述传感器之外，传感器单元110还可以包括至少一个其他传感器。例如，传感器单元110可以进一步包括拍摄车辆外部的环境的相机(未示出)、检测车辆周围的物体的无线电检测和测距(RADAR)传感器和光检测和测距(LIDAR)传感器、或者测量车辆的位置的位置测量传感器中的至少一者。所列出的传感器仅是用于理解的示例，并且本公开的传感器不限于此。

[0062] 处理器120可控制车辆100的整体操作。根据实施方式，处理器120可以包括能够整体控制车辆100内的组件的电子控制单元(ECU)。例如，处理器120可包括能够执行算术处理的中央处理单元(CPU)或微处理单元(MCU)。根据该实施例，处理器120可以包括控制作为安全装置的气囊的气囊控制单元(ACU)231。

[0063] 根据各种实施方式，基于车辆内的座椅和/或乘坐者的状态信息，处理器120可确定将被操作的至少一个安全装置130并且可控制所确定的安全装置130的操作。座椅和/或乘坐者的状态信息可包括座椅和/或乘坐者的旋转角θt、位置dt和倾斜度 中的至少一个。安全装置130可以包括气囊和预紧座椅安全带(PSB)中的至少一个。例如，当座椅和/或乘坐者的状态信息指示乘坐者面向车辆的前方时，处理器120可如图3A所示进行控制，使得相应乘坐者的座椅前方的前气囊310展开。又例如，当座椅和/或乘坐者的状态信息指示乘坐者已经朝向车辆的右侧旋转时，如图3B所示，处理器120可进行控制，使得相应乘坐者的座椅前面的前气囊310和位于右侧的中心气囊312展开。

[0064] 根据实施方式，当检测到指定事件时，处理器120可确定安全装置操作阈值。指定事件可以包括从传感器单元110输入碰撞检测信号的事件、基于传感器单元110的感测数据预测与附近物体的碰撞的事件、以及碰撞预测时间点到达的事件中的至少一者。所列出的指定事件仅是用于理解的示例，并且本公开的各种实施方式不限于此。当检测到指定事件时，处理器120可获得车辆状态信息并且可确定安全装置操作阈值以便基于所获得的车辆状态信息控制安全装置130的操作时间点。车辆状态信息可包括例如车辆速度、转向或偏航率中的至少一个。例如，处理器120可从针对气囊展开预先设置的安全装置操作阈值中选择对应于当前车辆的速度、转向和/或偏航率的安全装置操作阈值。

[0065] 根据该实施例，处理器120可从座椅状态检测传感器114获得的感测数据或相机116获得的图像数据获得座椅和/或乘坐者的状态信息。

[0066] 根据本实施方式，当用于从相机116获得的图像的图像识别功能不正常工作时，处理器120可从座椅状态检测传感器114获得座椅的状态信息。例如，当相机116工作异常或在从相机116获得的图像上出现识别错误时，处理器120可从座椅状态检测传感器114获得座椅的旋转角θt、座椅的位置dt和座椅的倾斜 中的至少一个。

[0067] 根据本实施方式，当用于从相机116获得的图像的图像识别功能正常工作时，处理器120将从相机116获得的图像数据输入到预先训练的深度学习模型，从而获得乘坐者的状态信息。乘坐者的状态信息可获得乘坐者的旋转角θt、乘坐者的位置dt或乘坐者的倾斜度中的至少一个。乘坐者的倾斜度可指示乘坐者的上身的倾斜度。乘坐者的旋转角例如可以表示相对于乘坐者面向车辆的前部时乘坐者向右方向旋转了多少。乘坐者的旋转角可以由多个先前分开的阶段中的任何一个来表示。例如，乘坐者的旋转角可以由第一阶段(约‑30度与+30度之间的旋转)、第二阶段(约+30度与+90度之间的旋转)、第三阶段(约+90度与+
150度之间的旋转)、第四阶段(约+150度与+180度之间的旋转或约‑150度与‑180度之间的旋转)、第五阶段(约‑90度与‑150度之间的旋转)、以及第六阶段(约‑30度与‑90度之间的旋转)中的任何一个来表示。乘坐者的位置可指示例如乘坐者从指定的参考位置和/或移动方向(例如，前方、正常或后方)向前或向后移动多少。例如，乘坐者的位置可通过区分乘坐者是在参考位置的前面、在参考位置还是在参考位置的后面来表示。参考位置可以由设计者设置和/或改变。乘坐者的倾斜度可指示乘坐者的上身的倾斜度。乘坐者的上身的倾斜度可表示由上身相对于地面、平行于地面的平面或车辆的地板表面形成的角度。乘坐者的上身的倾斜度可以由多个先前分开的阶段中的任何一个来表示。例如，乘坐者的上身的倾斜度可以由第一阶段(在大约60度与69度之间的倾斜)、第二阶段(在大约70度与79度之间的倾斜)、第三阶段(在大约80度与89度之间的倾斜)、以及第四阶段(在大约90度与99度之间的倾斜)中的任何一个来表示。

[0068] 如图4所示，处理器120可以基于使用图像作为输入的预先训练的特征提取深度学习网络模型410来获得乘坐者的旋转角θt 423、位置dt 425和倾斜度 427。例如，处理器120可以通过使用特征提取深度学习网络模型410来提取包含在输入图像xt 401中的乘坐者的特征，并且可以通过基于所提取的特征执行指定的第一处理(处理#1)421来获得乘坐者的旋转角423。此外，处理器120可通过基于从特征提取深度学习网络模型410提取的特征执行指定的第二处理(处理#2)425和第三处理(处理#3)427来获得乘坐者的位置425和倾斜度427。根据该实施例，特征提取深度学习网络模型410是基于人工神经网络的深度学习模型，并且可以是能够提取身体关键点的开源网络模型，诸如CoCo或MobileNet。身体关键点可包含身体关节坐标。

[0069] 根据实施方式，如图5A所示，特征提取深度学习网络模型410可以使用经过预训练的第一训练模型(模型)503。例如，二维(2D)姿势部分(2D姿势)501可从开源网络的图像数据获得包括2D姿势的前视图图像，并可从前视图图像获得2D身体关节坐标。模型503可通过使用2D身体关节坐标来预测三维(3D)身体关节坐标。将通过模型503预测的3D身体关节坐标(3D预测)505与3D身体关节坐标真值(3D地面真值(GT))507进行比较，使得可以训练模型503以使误差最小化。例如，可以训练特征提取深度学习网络模型410，使得3D身体关节坐标
505和3D身体关节坐标真值507之间的均方误差(MSE)最小化。

[0070] 根据实施方式，特征提取深度学习网络模型410可以使用二次训练模型531。如图5B所示，二次训练模型可通过生成的对抗性增强训练来训练。例如，如图5A所示，经首先预训练的训练的模型503可以如图5B所示被二次训练。如图5B所示，生成器(生成器)523可以变换3D身体关节坐标真值(3D GT)521并且可以生成经变换后的3D身体关节坐标真值。从生成器523输出的经变换的3D身体关节坐标真值(经变换的3D GT)525可以被提供给投影单元(投影)527和鉴别器(判别器)539。投影单元527可获得对应于通过投影经变换的3D身体关节坐标真值525变换的2D姿势的经变换的2D身体关节坐标(经变换的2D姿势)529。经变换的
2D身体关节坐标529可以被提供给模型531和鉴别器539。模型531可以通过使用经变换的2D身体关节坐标来预测3D身体关节坐标。由模型531预测的3D身体关节坐标(3D预测)533与由生成器523生成的经变换的3D身体关节坐标真值525进行比较，并且模型531可被训练成使得比较结果误差被最小化。例如，可以训练模型531，使得可以最小化姿势估计损失(MSE)，该姿势估计损失表示由模型预测的3D身体关节坐标和经变换的3D身体关节坐标真值之间的差。另外，为了提高训练模型531的容易度和效率，基于预测的3D身体关节坐标533生成的姿势增强损失(经校正的(rectified)L2)可被提供给生成器523。例如，为了容易地或有效地训练模型531，用增强的数据而不是现有数据(例如，通过使用先前获得的现有数据放大/生成的数据)来促进模型学习更好。即，期望通过生成其中Lp(X’)>Lp(X)的X’进行训练。这里，X’可以通过使用L＝|1‑exp(Lp(X′)‑β·Lp(X)|来生成。

[0071] 投影单元(预测)535可通过投影由模型531预测的3D身体关节坐标533来获得对应于2D姿势的2D身体关节坐标537，并可将2D身体关节坐标537提供给鉴别器539。鉴别器539可以比较作为由模型531预测的结果的2D身体关节坐标537是否与经变换的2D身体关节坐标529相同，并且可以比较经变换的3D身体关节坐标真值525和由模型531预测的3D身体关节坐标533，然后可以将结果提供给生成器523。

[0072] 生成器523可以基于从鉴别器539提供的结果生成新的经变换的3D身体关节坐标真值。根据实施例，当确定从鉴别器539接收的两个比较结果中的至少一个表示它们不相同时，生成器523确定训练还未完成，并且因此，可以生成新的经变换的3D身体关节坐标真值。相反，当确定从鉴别器539接收的两个比较结果中的至少一个表示它们相同时，生成器523将模型531的训练确定为已经完成，并且因此，可以终止训练而不生成另外的经变换的3D身体关节坐标真值。这里，它们相同的含义是由模型531预测的3D身体关节坐标533和经变换的3D身体关节坐标真值525之间的差在预定值内，或者是作为由模型531预测的结果的2D身体关节坐标537与经变换的2D身体关节坐标529之间的差在预定值内。

[0073] 作为附加变换，生成器523可将可基于一个3D身体关节坐标真值521生成的经变换的3D身体关节坐标真值525限制为预定值。根据实施例，在生成器523意欲基于鉴别器539的比较结果生成另外经变换的3D身体关节坐标真值525的情况下，如果生成器523已经以预先确定的值生成变换的3D身体关节坐标真值525，则生成器523变换用作原始的3D身体关节坐标真值521，然后可以生成另外经变换的3D身体关节坐标真值525。

[0074] 在本公开的各种实施例中，可以通过经由上述生成性对抗增强训练仅由有限图像数据生成大量学习数据来改进特征提取深度学习网络模型的性能。

[0075] 根据实施方式，可以通过使用图5A和图5B中示出的学习方法中的至少一种来训练特征提取深度学习网络模型410。

[0076] 根据实施方式，通过使用图5A和图5B中示出的学习方法中的至少一个，在被安装在车辆中之前，可以在外部服务器等中预训练特征提取深度学习网络模型410。

[0077] 根据该实施方式，处理器120可根据座椅和/或乘坐者的状态信息更新安全装置操作阈值。处理器120可更新安全装置操作阈值，使得在预设操作时间操作与座椅和/或乘坐者的旋转角、位置和倾斜度的组合对应的预设安全装置组合。对应于座椅和/或乘坐者的旋转角、位置、以及倾斜度的组合的操作时间和安全装置组合可以针对座椅和/或乘坐者的旋转角、位置、以及倾斜度的每个组合通过碰撞分析或台车试验预先设置。例如，如果旋转角、位置、以及倾斜度处于“第一阶段(在大约‑30度与+30度之间的旋转)、正常、第四阶段(在大约90度与99度之间的倾斜)”，则安全装置组合可以被确定为“驾驶员座椅气囊”，并且操作时间可以通过碰撞分析或台车试验被确定为“冲击强度大于或等于预定阈值+α”的情况。处理器120可将安全装置操作阈值更新为比预定安全装置操作阈值大α的值。又例如，如果旋转角、位置、以及倾斜度在“第三阶段(在大约+90度与+150度之间的旋转)、前方、第四阶段(在大约90度与99度之间的倾斜)”中，则安全装置组合可以被确定为“驾驶员座椅气囊和中央气囊”，并且操作时间可以通过碰撞分析或台车试验被确定为“冲击强度大于或等于预定阈值+β”的情况。处理器120可将安全装置操作阈值更新为比预定安全装置操作阈值大β的值。根据该实施方式，当确定安全装置组合时，可以另外考虑检测碰撞的位置以及乘坐者是否就座在每个座椅中。

[0078] 根据实施方式，当检测到冲击强度大于更新的安全装置操作阈值时，处理器120可根据对应于座椅和/或乘坐者的状态信息的安全装置组合来操作至少一个安全装置。从碰撞检测传感器112的碰撞检测信号可以获得冲击强度。

[0079] 根据实施方式，处理器120可以包括控制器122，该控制器控制包括在车辆中的至少一个组件的操作和/或车辆的至少一个功能。控制器122可操作在车辆中包括的各种安全装置之中与基于座椅和/或乘坐者的状态信息确定的安全装置组合对应的至少一个安全装置。例如，当根据座椅和/或乘坐者的状态信息确定的安全装置组合是“驾驶员座椅气囊”时，控制器122可以控制展开驾驶员座椅气囊。又例如，当根据座椅和/或乘坐者的状态信息确定的安全装置组合是“驾驶员座椅气囊、中央气囊以及PSB”时，控制器122可以控制PSB进行工作同时控制驾驶员座椅气囊和中央气囊展开。

[0080] 安全装置130可以包括用于保护乘坐者的安全装置。例如，安全装置130可以包括多个气囊和/或多个PSB。多个气囊可分别设置在车辆内的不同位置处。多个PSB可以分别设置在车辆中的不同座椅中。

[0081] 存储单元140可以存储用于车辆和/或处理器120的操作的各种程序和数据。根据实施方式，存储单元140可以存储根据座椅和/或乘坐者的状态信息操作安全装置所需的各种程序和数据。例如，存储单元140可存储关于与座椅和/或乘坐者的旋转角、位置和倾斜度的每个组合对应的安全装置组合的信息。存储单元140可存储关于与座椅和/或乘坐者的旋转角、位置和倾斜度的每个组合对应的安全装置操作阈值的信息，和/或关于安全装置操作阈值的更新量的信息。

[0082] 通信装置150可与车辆100的外部装置通信。根据实施方式，通信装置150可在处理器120的控制下从车辆100的外部接收数据或者向车辆100的外部传输数据。例如，通信装置150可通过使用无线通信协议或有线通信协议执行通信。

[0083] 前面的描述已经描述了通过使用通过座椅状态检测传感器114获得的座椅状态信息或通过使用通过相机116获得的乘坐者状态信息来控制安全装置130的操作的方法。然而，根据各种实施方式，安全装置130的操作也可以通过使用座椅状态信息和乘坐者状态信息两者来控制。

[0084] 图6是示出了根据本公开的各种实施方式的根据车辆中的座椅和/或乘坐者的状态信息来操作安全装置的流程图。在下面的实施例中，各个步骤可以被顺序地执行，并且可以不必按顺序执行。例如，可以改变各个步骤的顺序，并且可以并行执行至少两个步骤。此外，以下步骤可由包括在车辆100中的处理器120和/或至少一个其他组件(例如，传感器单元110)执行，或者可用可由处理器120和/或至少一个其他组件(例如，传感器单元110)执行的指令实现。

[0085] 参考图6，在步骤601中，车辆100可以确定是否检测到指定事件。指定事件可以包括从传感器单元110输入碰撞检测信号的事件、基于传感器单元110的感测数据预测与附近物体的碰撞的事件、以及碰撞预测时间点到达的事件中的至少一者。所列出的指定事件仅是用于理解的示例，并且本公开的各种实施方式不限于此。

[0086] 当检测到指定事件时，在步骤603中，车辆100可以确定用于操作安全装置的阈值。根据实施方式，当检测到指定事件时，车辆100可以基于车辆状态信息(例如，车辆速度、转向、和/或偏航率)确定用于控制安全装置130的操作定时的安全装置操作阈值。例如，车辆
100可从预存储的用于每个车辆状态的安全装置操作阈值中选择和确定与关于当前车辆状态的信息相对应的安全装置操作阈值。又例如，车辆100可以基于具有车辆速度、转向以及偏航率中的至少一个作为输入变量并且通过指定的运算输出安全装置操作阈值的函数来确定用于操作安全装置的阈值。

[0087] 在步骤605中，车辆100可确定图像识别功能是否正常运行。例如，车辆100可确定对通过车载的相机116获得的车内拍摄图像的图像识别功能是否正常操作。当用于获得车内拍摄图像的相机116不正常工作或检测到车内拍摄图像的图像识别错误时，车辆100可确定图像识别功能不正常工作。

[0088] 当图像识别功能不正常工作时，在步骤615中，车辆100可以从设置在车辆中的传感器获得座椅的状态信息。例如，车辆100可以从设置在车辆中的座椅状态检测传感器114获得座椅的旋转角θt、座椅的位置dt和座椅的倾斜 中的至少一个。

[0089] 当图像识别功能正常工作时，在步骤607中，车辆100可以通过使用基于图像识别的深度学习模型来获得乘坐者的状态信息。例如，车辆100可以通过将从相机116获得的车内拍摄图像输入至预先训练的深度学习模型来获得乘坐者的状态信息。乘坐者的状态信息可获得乘坐者的旋转角θt、乘坐者的位置dt和乘坐者的倾斜度 中的至少一个。基于图像识别的深度学习模型可以包括特征提取深度学习网络模型410，其从图像中提取与乘坐者的身体相关的关键点。特征提取深度学习网络模型410可以被预先训练，如图5A和图5B所示。将参照稍后描述的图7A至图9B更详细地描述用于获得乘坐者的状态信息的方法。

[0090] 在步骤609中，车辆100可根据座椅或乘坐者的状态信息更新安全装置操作阈值。根据实施方式，车辆100可以更新安全装置操作阈值，使得根据座椅和/或乘坐者的旋转角、位置、以及倾斜度的组合在预设的操作时间操作至少一个安全装置。例如，车辆100可以通过将根据座椅和/或乘坐者的旋转角、位置和倾斜度的组合的阈值的更新量加到在步骤603中确定的安全装置操作阈值来更新安全装置操作阈值。根据本实施例，对于座椅和/或乘坐者的旋转角、位置和倾斜度的每个组合，对应于每个组合的阈值的更新量可以以表格的形式被存储。根据实施方式，车辆100可以基于具有旋转角、位置、以及倾斜度中的至少一个作为输入变量并且通过指定运算输出阈值的更新量的指定函数更新安全装置操作阈值。

[0091] 在步骤611中，车辆100可以确定冲击强度是否大于更新的安全装置操作阈值。例如，车辆100可基于从碰撞检测传感器112获得的碰撞检测信号检查冲击强度，并且可将所检查的冲击强度与安全装置操作阈值进行比较。

[0092] 当冲击强度大于更新的安全装置操作阈值时，在步骤613中，车辆100可以根据座椅或乘坐者的状态信息确定将要操作的安全装置的组合，并且可以操作对应于所确定的安全装置组合的安全装置。当冲击强度大于更新的安全装置操作阈值时，车辆100可以确定安全装置需要被操作并且可以基于座椅或乘坐者的状态信息确定将被操作的安全装置的组合。对应于座椅或乘坐者的状态信息的安全装置组合可以被预先设置并且以表格的形式存储在车辆的存储单元140中。例如，如果乘坐者的旋转角、位置、以及倾斜度处于“第一阶段(约‑30度与+30度之间的旋转)、正常、第四阶段(约90度与99度之间的倾斜)”，则车辆100基于存储在存储单元140中的表格可将要操作的安全装置的组合确定为“驾驶员座椅安全气囊”，并且可展开驾驶员座椅安全气囊。又例如，如果乘坐者的旋转角、位置、以及倾斜度在“第三阶段(在大约+90度与+150度之间的旋转)、前方、第四阶段(在大约90度与99度之间的倾斜)”中，则车辆100基于存储在存储单元140中的表格可将要操作的安全装置的组合确定为“驾驶员座椅气囊和中央气囊”，并且可展开驾驶员座椅气囊和中央气囊。

[0093] 图7A为示出根据本公开的各种实施方式确定车辆中的座椅和/或乘坐者的旋转角的流程图。图7A的至少一些步骤可以包括在图6的步骤607中，或者可以包括在图1中描述的第一处理(处理#1)421中。在下文中，可以顺序地执行图7A的各个步骤，并且可以不必顺序地执行图7A的各个步骤。在下文中，将参照图7B和/或图7C描述图7A的至少一些步骤。图7B是示出根据本公开的各种实施方式的估计车辆中拍摄的图像中的肩线的视图。图7C是示出根据本公开的各种实施方式的确定车辆中拍摄的图像中身体的边界框的视图。

[0094] 参考图7A，在步骤701中，车辆100可从由车载的相机116获得的图像提取身体关键点。根据该实施方式，车辆100可以通过使用图4中所示的特征提取深度学习网络模型410从图像提取身体关键点。身体关键点可包含3D身体关节坐标。

[0095] 在步骤703中，车辆100可以估计第一平面中的肩线与第一参考线之间的第一旋转角。例如，车辆100可基于3D身体关键点来估计第一平面(x‑y平面)中的乘坐者的肩线，且可估计所估计的肩线与第一参考线之间的旋转角。当乘坐者的身体面向车辆的前部时，也就是说，当乘坐者的身体不旋转时，第一参考线可以被设定为平行于肩线的线。根据实施例，可基于在步骤701中估计的身体关键点之中对应于两个肩关节的两个关键点来获得乘坐者的肩线。例如，如图7B所示，乘坐者的肩线711可由连接对应于两个肩关节的两个关键点的线来确定。

[0096] 在步骤705中，车辆100可以基于在第二平面中身体的宽度/高度估计第二旋转角。例如，车辆100可基于3D身体关键点来估计第二平面(y‑z平面)中的乘坐者的身体，且可估计边界框相对于所估计的身体的宽度和高度。车辆100可以基于边界框相对于身体的宽度和高度估计乘坐者的旋转角。例如，当乘坐者从前部向左或从前部向右旋转时，用于连续输入的第二图像的边界框的高度都是相同的，并且宽度可以逐渐变小。相反，当乘坐者从乘坐者已向右旋转的状态返回前部或从乘坐者已向左旋转的状态返回前部时，用于连续输入的第二图像的边界框的高度全部相同，并且宽度可逐渐增加。因此，车辆100可以基于边界框的高度与宽度的比率计算乘坐者的旋转角。根据该实施例，如图7B所示，边界框721可以被形成为y‑z平面中的2D框，其包括头部、肩部和髋部中的至少一个但不包括手臂。这仅是实施例，并且本公开的各种实施例不限于此。

[0097] 在步骤707中，车辆100可以基于第一旋转角和第二旋转角确定乘坐者的旋转角。例如，车辆100可以将在步骤703中估计的第一旋转角和在步骤705中估计的第二旋转角的平均值确定为乘坐者的旋转角。例如，车辆100可以将第一旋转角和第二旋转角相加并且可以将通过将相加后的值除以2获得的结果确定为乘坐者的旋转角。

[0098] 第一旋转角和第二旋转角的平均值被确定为上述图7A中的乘坐者的旋转角。然而，根据各种实施例，第一旋转角可被确定为乘坐者的旋转角，或者第二旋转角可被确定为乘坐者的旋转角。

[0099] 图8A为示出了根据本公开的各种实施方式的确定车辆中的座椅和/或乘坐者的位置的流程图。图8A的至少一些步骤可包括在图6的步骤607中，或者可包括在图1中所示的第二处理(处理#2)431中。在下文中，图8A的各个步骤可以依次执行，并且可以不必依次执行。根据实施方式，图8A的至少一个步骤可以与图7A的至少一个步骤至少暂时同时执行。例如，可以并行执行图7A和图8A。在下文中，将参考图8B描述图8A的至少一些步骤。图8B是示出根据本公开的各种实施方式的用于车辆中的距离测量的身体部位的关键点的视图。

[0100] 参考图8A，在步骤801中，车辆100可从由车载的相机116获得的图像中提取身体关键点。如图7A中所描述的，身体关键点可以通过使用图4的特征提取深度学习网络模型410来提取。

[0101] 在步骤803中，车辆100可测量到对应于指定身体部位的关键点的距离。例如，车辆100可以在3D身体关节坐标中检查指定身体部位(例如，髋部)的坐标，并且可以在坐标轴中测量到身体部位的坐标的x轴距离。可以从3D身体关节坐标提取髋部的一个或两个关键点。
如图8B所示，当两个髋关键点821和823被包括在3D身体关节坐标中时，车辆100可以计算这两个关键点821和823的中心点并且可以测量到所计算的中心点的x轴距离。当一个髋关键点包含在3D身体关节坐标中时，车辆100可测量距一个关键点的x轴距离。

[0102] 在步骤805中，车辆100可以基于测量的距离确定乘坐者的位置。根据该实施方式，车辆100可比较测量距离和指定距离，并且可确定乘坐者是位于指定参考位置的前方还是后方。指定距离可被设置为到坐标轴上的指定参考位置的x轴距离。例如，当测量距离大于指定距离时，车辆100可确定乘坐者位于参考位置后方。又例如，当测量距离小于指定距离时，车辆100可以确定乘坐者位于参考位置的前方。当测量距离和指定距离相同时，车辆100可确定乘坐者位于指定参考位置。

[0103] 图9A是示出根据本公开的各种实施方式的确定车辆中的座椅和/或乘坐者的倾斜度的流程图。图9A的至少一些步骤可以包括在图6的步骤607中，或者可以包括在图1中描述的第三处理(处理#3)441中。在后文中，可依次执行图9A的各个步骤，并且可不必依次执行图9A的各个步骤。根据该实施方式，图9A的至少一个步骤可与图7A和/或图8A的至少一个步骤至少暂时同时执行。例如，可以并行执行图7A、图8A和图9A。在下文中，将参考图9B描述图9A的至少一些步骤。图9B为示出根据本公开的各种实施方式的用于车辆中的距离测量的身体部位的关键点的视图。

[0104] 参考图9A，在步骤901中，车辆100可从由车载的相机116获得的图像中提取身体关键点。如图7A中所描述的，身体关键点可以通过使用图4的特征提取深度学习网络模型410来提取。

[0105] 在步骤903中，车辆100可以估计第三平面中的颈髋线与第二参考线之间的角度。例如，车辆100可基于3D身体关键点来估计在第三平面(x‑z平面)中连接乘坐者的颈部和髋部的线，且可估计所估计的颈髋线与第二参考线之间的角度。第二参考线可垂直于地面。根据实施方式，可基于在步骤901中估计的身体关键点之中对应于颈部的关键点和对应于髋部的一个或多个关键点来获得乘坐者的颈髋线。例如，如图9B所示，乘坐者的颈髋线可被确定为连接对应于颈部的关键点921和对应于髋的一个或多个关键点821和823中的任一个的线。对于另一实施例，乘坐者的颈髋线可被确定为连接对应于颈部的关键点921和对应于髋部的两个关键点821和823的中心点的线。

[0106] 在步骤905中，车辆100可以将估计的角度确定为乘坐者的上身的倾斜度。例如，如图9B所示，车辆100可将估计的角度确定为乘坐者的上身倾斜的角度931。

[0107] 在以上描述中，已经作为实施例描述了配备有自动驾驶系统(ADS)的车辆。然而，根据本公开的各种实施方式的车辆不一定必须配备有ADS。例如，本公开的各种实施方式还可应用于不支持自主驾驶并且具有可旋转座椅的车辆。