[0001] 本公开总体上涉及转向装置交互检测，并且更具体地涉及对车辆方向盘的附件的检测和分类。

[0002] 常规的监测技术通常是基于视觉图像数据。捕获深度信息的检测系统可以增强空间确定。

[0042] 现在将详细参考本公开的本优选实施例，其示例在附图中示出。在可能的情况下，将贯穿各附图使用相同的附图标记来指代相同或相似的部分。在附图中，所描绘的结构元件可以或可以不未按比例绘制，并且出于强调和理解的目的，某些部件相对于其他部件可
以或可以不被放大。

[0043] 出于本文的描述的目的，术语“上”、“下”、“右”、“左”、“后”、“前”、“竖直”、“水平”及其派生词应与如在图1A中取向的概念相关。然而，应理解，除非明确地指定为相反，否则所述概念可呈现各种替代取向。还应理解，在附图中示出且在以下说明书中描述的具体装置和过程仅仅是所附权利要求中限定的创造性概念的示例性实施例。因此，除非权利要求
另外明确地说明，否则涉及本文所公开的实施例的具体尺寸和其他物理特性不应被视为限
制性的。

[0044] 本图示的实施例主要存在于与转向装置交互检测相关的方法步骤和设备部件的组合中。因此，设备部件和方法步骤已经在适当的情况下通过附图中的常规符号表示，仅示出了与理解本公开的实施例相关的那些具体细节，以便不会被对受益于本文描述的本领域
普通技术人员来说是容易明显的细节混淆了本公开。此外，说明书和附图中相同的标号表
示相同的元件。

[0045] 如本文所使用，术语“和/或”当用于列出的两个或更多个项时意指可单独地采用所列出的项中的任一者，或者可采用所列出的项中的两者或更多者的任何组合。例如，如果组合物被描述为含有组分A、B和/或C，则组合物可以含有：仅A；仅B；仅C；A和B的组合；A和C的组合；B和C的组合；或者A、B和C的组合。

[0046] 如本文所用的术语“约”意指量、大小、配方、参数和其他量及特性不是精确的，也不需要是精确的，而是可根据以下需要为近似的和/或较大些或较小些：反映公差、换算系数、舍入、测量误差等以及本领域技术人员已知的其他因素。当术语“约”用于描述值或范围的端点时，本公开内容应被理解为包括具体的值或所涉及的端点。无论本说明书中的数值或范围的端点是否叙述“约”，所述数值或范围的端点都意图包括两个实施例：一个由“约”修饰，并且一个不由“约”修饰。还应理解，范围中的每一个范围的端点在与另一个端点相关以及独立于另一个端点都是显著的。

[0047] 如本文所使用的术语“基本”、“基本上”以及其变型意在指明所描述的特征等于或近似等于值或描述。例如，“基本上平面的”表面意图指示平面的或近似平面的表面。另外，“基本上”意图表示两个值相等或近似相等。在一些实施例中，“基本上”可指示值在彼此的约10％内，诸如在彼此的约5％内，或者在彼此的约2％内。

[0048] 除非明确地指示为相反，否则如本文所使用，术语“所述”、“一个”或“一种”意指“至少一个”并且不应限于“仅一个”。因此，例如，除非上下文另有明确指示，否则对“部件”的提及包括具有两个或更多个此类部件的实施例。

[0049] 总体上参考图1A至图5，本公开总体上涉及一种用于车辆12的检测系统10，所述检测系统利用三维图像感测来检测关于车辆12中或周围的环境14的信息。三维图像感测可以
经由一个或多个飞行时间(ToF)传感器16来实现，所述一个或多个ToF传感器被配置为映射
三维空间，诸如车辆12的内部18和/或车辆12的外部区域20。例如，一个或多个飞行时间传感器16可包括至少一个光探测和测距(LiDAR)模块22，所述至少一个LiDAR模块被配置为输
出光脉冲，测量光脉冲从环境14返回到至少一个LiDAR模块22的飞行时间，并且基于光脉冲的飞行时间来生成环境14的至少一个点云24。通过这种方式，LiDAR模块22可以提供关于被扫描的环境14的三维形状的信息，包括几何形状、比例或与环境14和/或车辆12的乘员26相关的其他测量信息。

[0050] 本公开的LiDAR模块22可以在概念上类似于静止帧或视频流进行操作，但是LiDAR模块22可以提供关于被扫描的环境14的三维形状的信息，而不是产生具有对比度和颜色的
平面图像。使用飞行时间，LiDAR模块22被配置为测量光被传输、从表面反射并在传输源附近的传感器处接收所花费的往返时间。所传输的光可以是激光脉冲。光可以每秒以各种角
度被发送和接收数百万次，以产生反射光点的矩阵。结果是每次传输和反射的单个测量点
表示距离和每个测量点的坐标。当LiDAR模块22扫描整个“帧”或视野30时，它生成被称为点云24的输出，所述输出是所扫描特征的3D表示。

[0051] 在一些示例中，本公开的LiDAR模块22可以被配置为独立于环境14的可见光照明来捕获至少一个点云24。例如，LiDAR模块22可能不需要环境光来实现本公开的空间映射技术。例如，LiDAR模块22可以发射和接收红外(IR)或近红外(NIR)光，并且因此无论可见光条件如何都生成至少一个点云24。此外，与无线电探测和测距(RADAR)相比，由于可以发射和接收LiDAR脉冲的速率(例如，光速)，由LiDAR模块22实现的深度映射可以具有更高准确度。
此外，可以在不利用射频(RF)的情况下实现三维映射，并且因此所述三维映射可以限制或
消除对操作RF认证的需要。因此，通过提供本LiDAR模块22，可以省略被并入用于监测RF场的频率和幅度的传感器。

[0052] 现在更具体地参考图1A和图1B，多个LiDAR模块22可以被配置为监测车辆12的舱室28。在图1A所示的示例中，LiDAR模块22被配置有视野30，所述视野覆盖车辆12的后部空间以及车辆12的外部区域20。在该示例中，车辆12的外部区域20是车辆12后面与车辆12的
入口或出口相邻的空间。在图1B中，多个LiDAR模块22被配置为监测车辆12的前部空间，其中多个LiDAR模块22中的一者或多者的视野30覆盖车辆12的乘客舱32。如本文将进一步描
述的，可以设想，多个LiDAR模块22可以彼此通信以允许从每个LiDAR模块22捕获的至少一
个点云24彼此进行比较，以呈现环境14的更佳准确度表示。例如，并且如图1A描绘，乘员26或另一个用户可以将移动装置35引向环境14，以从与车辆12的LiDAR模块22的视野30不同
的视角生成附加点云24。例如，移动装置35可以是具有LiDAR模块22中的一者的蜂窝电话。
通常，本文公开的飞行时间传感器16可以捕获环境14的各种特征(诸如座椅34、乘员26以及车辆12的内部18或外部区域20中存在的各种其他表面或物品)的点云24。如本文将进一步
讨论的，本系统10可以操作以基于至少一个点云24来标识这些特征，并且基于特征的身份、时空位置和/或在至少一个点云24中检测到的特征的其他相关方面来做出确定和/或计算。

[0053] 现在参考图2A和图2B，呈现分别从图1A和图1B的车辆12的内部18中的LiDAR模块22生成的至少一个点云24的表示以示出本系统10的三维映射。例如，对至少一个点云24的
描绘可以被认为是由LiDAR模块22和/或与LiDAR模块22通信的处理器构造的三维图像。尽
管对图2A和图2B所示的至少一个点云24的描绘在外观上可能不同，但是可以设想，这种差
异可能是对每个点云24的点36的深度求平均以渲染表面(图2B)而不是各个点(图2A)的结
果。在任一情况下，可以以相同的方式生成基础3D数据。

[0054] 仍然参考图2A和图2B，每个点云24包括用于内部18中的各种特征的三维数据(例如，相对于LiDAR模块22的三维位置)。例如，至少一个点云24可以生成内部18中的乘员26或货物37的3D映射。三维数据可包括表面或其他光反射特征上的各个点36相对于LiDAR模块
22的直角坐标，即，XYZ坐标。可以设想，每个点36的坐标可以被虚拟地映射到除LiDAR模块
22之外的原点，诸如车辆的质心、被监测的舱室28的体积中心或任何其他可行的原点。通过获得内部18以及在一些情况下获得车辆12的外部区域20的各种特征的三维数据，本系统10
可以提供在没有复杂的成像方法的情况下执行增强的监测方法，诸如并入有可能需要更高
的计算能力或降低效率的立体成像器或其他三维监测装置的成像器的那些方法。

[0055] 现在参考图3，本检测系统10的至少一部分示例性地应用于目标表面38，诸如应用于车辆12的环境14中的货物37或其他表面。系统10可包括与飞行时间传感器16中的一者或
多者通信的处理电路40，所述处理电路将关于前面的附图进一步讨论。在本示例中，飞行时间传感器16包括：LiDAR模块22，每个LiDAR模块具有光源42或发射器；以及传感器46，所述传感器被配置为检测由光源42发射离开目标表面38的光的反射。LiDAR模块22的控制器48
与光源42和传感器46通信，并且被配置为监测由光源42发射并返回到传感器46的光脉冲的
飞行时间。控制器48还与电源50通信，所述电源被配置为向控制器48、光源42、传感器46和由控制器48控制的马达52提供电力。在本示例中，LiDAR模块22并入有光学器件54，所述光学器件机械地连接到马达52并且被配置为在特定方向上引导光脉冲。例如，光学器件54可
包括透镜或镜子，所述透镜或镜子被配置为改变光脉冲的发射角度和/或将光脉冲返回到
传感器46。例如，马达52可以被配置为旋转镜子以使从光源42发射的光根据马达52的旋转
位置以不同角度反射离开镜子。

[0056] 在一些示例中，光学器件54可包括与光源42相关联的第一部分和与传感器46相关联的第二部分。例如，可以响应于马达52而移动的第一透镜可以被配置为引导(例如，准直、聚焦)由光源42发射的光，并且可以由不同的马达或与马达52的不同连接驱动的第二透镜
可以被配置为引导反射离开目标表面38并返回到传感器46的光。因此，LiDAR模块22的一般配置可以并入有具有不同光学器件组的单个壳体或具有不同光学器件的多个壳体。例如，
光源42可以位于LiDAR模块22的第一壳体中，传感器46可以位于与第一壳体分开或间隔开
的第二壳体中。通过这种方式，LiDAR模块22中的每一者可以指代发射LiDAR脉冲并在车辆
12中的共同位置处或在车辆12中的不同位置处接收LiDAR脉冲的任何发射器/接收器组合
系统。

[0057] 由本LiDAR模块22发射和接收的光可以具有在大约780纳米(nm)与1700nm之间的范围内的波长。在一些示例中，LiDAR的波长优选地在900nm与1650nm之间的范围内。在其他示例中，LiDAR的波长优选地在1500nm与1650nm之间。在一些示例中，LiDAR的波长优选地是
1550nm。可以设想，由LiDAR模块22采用的特定波长/频率可以基于用于捕获深度信息的估
计距离范围。例如，对于较短的范围(例如，在1m与5m之间)，LiDAR可以用更大波长的光(例如，大于1000nm)进行操作。本公开的LiDAR模块22可以被配置为在马达52使光学器件54旋
转以允许映射区域时以激光的形式输出波长为至少1550nm的光。在一些示例中，本公开的
LiDAR模块22被配置为发射具有至少1650nm的波长的光。由于由本LiDAR模块22扫描的距离
相对较短(例如，在一米至五米之间)，因此可以采用这种相对较低的红外(IR)或近红外
(NIR)来经由具有低功率要求的至少一个点云24实现三维空间映射。本LiDAR模块22可以是
单点反射模块，或者可以旋转模式操作，如上所述。在旋转模式下，LiDAR模块22可以基于旋转速率测量高达360度，所述旋转速率可以在1至100赫兹之间，或者在一些示例中可以是至少每分钟60转(RPM)。

[0058] 在图3中描绘的示例中，由光源42发射并返回到传感器46的第一光脉冲56的飞行时间可以小于由光源42发射的返回到传感器46的第二光脉冲的第二飞行时间。例如，由于
目标表面38上的对应反射点36的深度、高度或宽度的差异，第一光脉冲56可以比第二光脉
冲58行进更短的距离。通过这种方式，LiDAR模块22可以生成至少一个点云24以在三个维度上表示环境14(例如，在本示例中为目标表面38)。

[0059] 可以提供本公开的处理电路40以合并来自多个LiDAR模块22中的每一者的点云24并处理特征的坐标以确定特征的身份，以及执行将在本文中进一步描述的其他处理技术。
处理电路40可包括车辆12本地的第一处理器40a和远离车辆12的第二处理器40b。此外，处
理电路40可包括LiDAR模块22的控制器48。在一些示例中，控制器48可以被配置为生成或确定至少一个点云24和/或点云数据，并且第一处理器40a可以被配置为从每个LiDAR模块22
接收至少一个点云24，并且编译共同场景(诸如环境14)的每个点云24，以生成环境14的更
广泛或更准确的点云24。

[0060] 第二处理器40b(其可以是远程服务器60的一部分并且经由网络62与第一处理器40a通信)可以被配置为执行至少一个点云24到环境14的目标三维图像数据的各种修改和/
或映射。例如，服务器60可包括人工智能(AI)引擎64，所述AI引擎被配置为基于经由LiDAR模块22捕获的点云数据和/或先前由飞行时间传感器16捕获的历史数据来训练机器学习模
型66。第二处理器40b可以与AI引擎64通信，以及与被配置为存储目标点云数据和/或三维
图像信息的数据库67通信。因此，服务器60可以并入有存储指令的存储器，所述指令在由处理器执行时使处理电路40将至少一个点云24与和车辆12的内部18和/或外部区域20的目标
状况相对应的点云数据进行比较。通过这种方式，检测系统10可以采用处理电路40来执行
高级检测技术并与车辆12的子系统通信，如将在前面的附图中描述的。通过这种方式，检测系统10可以与车辆12的其他操作参数一前一后地或结合地采用。例如，检测系统10可以被
配置用于向乘员26传达警报状况的通知，响应于在内部18中检测到的动作而控制各种操作
参数，激活或停用车辆12的各种子系统，或者与任何车辆系统对接以实现操作调整。

[0061] 现在参考图4，检测系统10可以并入有车辆12的各种系统(例如，车辆系统)或与所述各种系统通信。例如，处理电路40可以被配置为与包括成像装置的成像系统68通信，所述成像装置诸如相机(例如，红色像素、绿色像素和蓝色像素(RGB)或IR相机)。处理电路40还可以与其他车辆系统通信，所述其他车辆系统诸如车门控制系统69、车窗控制系统70、座椅控制系统71、气候控制系统72、用户界面74、镜子76、照明系统78、约束控制系统80、动力传动系统82、动力管理系统83或任何其他车辆系统。与各种车辆系统的通信可以允许处理电
路40基于对由飞行时间传感器16捕获的至少一个点云24的处理来向各种车辆系统传输和
接收信号或指令。例如，当处理电路40基于至少一个点云24标识车辆12中的乘员26的数量
时，处理电路40可以传达指令以在车辆12静止时调整座椅控制系统71和/或调整气候控制
系统72。在另一个非限制性示例中，处理电路40可以从照明系统78接收信息或信号，并且基于来自照明系统78的信息来控制飞行时间传感器16的操作。因此，处理电路40可以基于来
自车辆系统的信息来控制或传达指令以控制飞行时间传感器16，和/或可以基于从时间飞
行传感器16接收的信息来向各种车辆系统传达信号或指令。

[0062] 车窗控制系统70可包括用于控制车辆12的车窗的位置的车窗马达84。此外，车窗控制系统70可包括调光电路86，所述调光电路可以是玻璃窗调光电路86，以用于控制在车
辆12的内部18与车辆12的外部区域20之间传输的光的不透明度和/或光级。一个或多个天
窗马达88可以被设置有用于控制天窗面板的关闭和打开的车窗控制系统70。可以设想，车
窗控制系统70中可包括其他装置，诸如车窗锁、车窗破损检测传感器以及与车辆12的车窗
的操作相关的其他特征。通过在本公开的车窗控制系统70与处理电路40之间提供通信，车
窗控制系统70可以被配置为基于由处理电路40基于至少一个点云24确定或检测的状况来
调整其一个或多个特征。类似地，车窗控制系统70可以将一个或多个信号传输到处理电路
40，并且处理电路40可以基于来自车窗控制系统70的信号来控制飞行时间传感器16的操
作。

[0063] 气候控制系统72可包括一个或多个加热和冷却装置，以及被配置为将加热或冷却的空气分配到车辆12的内部18中的通风口。尽管未在图4中具体地列举，但是气候控制系统
72可以被配置为致动通风口以选择性地限制和允许加热的空气或冷却的空气在车辆12的
内部18中循环。此外，气候控制系统72可以被配置为操作暖通空调(HVAC)系统以使空气再
循环或将空气排放到车辆12的外部区域20。

[0064] 座椅控制系统71可包括各种定位致动器90、充气腔92、座椅加热器94和/或用于车辆12中的座椅34的其他人体工程学和/或舒适特征。例如，座椅控制系统71可包括马达，所述马达被配置为在车辆12静止时向前、向后、向上、向下、左右或旋转地致动座椅34。座椅34的靠背和座椅34的下部两者都可以被配置为在车辆12静止时由定位致动器90调整。充气腔
92可以被设置在座椅34内以在车辆12静止时调整座椅34的坚固性或柔软性，并且可以提供
座椅加热器94以用于加热座椅34中的垫子以使乘员26感到舒适。在一个非限制性示例中，
处理电路40可以将基于座椅传感器95(诸如位置传感器、占用检测传感器或被配置为监测
座椅34的其他传感器)的座椅34的位置与由飞行时间传感器16捕获的点云数据进行比较，
以便基于点云数据来验证或检查估计的座椅位置。在其他示例中，当车辆12静止时，处理电路40可以基于在至少一个点云24中标识的身体姿态数据而将一个或多个信号传达到座椅
控制系统71。在又一些另外的示例中，处理电路40可以被配置为基于由飞行时间传感器16
监测的座椅34的位置来调整飞行时间传感器16的操作参数，诸如扫描方向、LiDAR模块22的频率等。

[0065] 用户界面74可包括人机界面(HMI)96和/或可包括音频装置(诸如传声器和/或扬声器)、机械致动器(诸如旋钮、按钮、开关)和/或并入有HMI 96的触摸屏98。人机界面96可以被配置为经由例如触摸屏98呈现表示供用户选择的按钮的各种数字对象。通常，用户界
面74可以与处理电路40通信以激活或停用飞行时间传感器16，调整飞行时间传感器16的操
作参数，或者控制飞行时间传感器16的其他方面。类似地，处理电路40可以被配置为将指令传达到用户界面74，以基于飞行时间传感器16来呈现与对至少一个点云24的检测和/或处
理相关的信息和/或其他数据。还可以设想，移动装置35可以并入有用户界面74以在移动装置35处向用户呈现类似选项。

[0066] 仍然参考图4，其他车辆系统包括镜子76、照明系统78和约束控制系统80。这些其他车辆系统也可以基于由飞行时间传感器16生成并由处理电路40处理的至少一个点云24
来调整。另外，这些系统的子部件(例如，传感器、处理器)可以被配置为向处理电路40发送指令或数据，以使处理电路40在调整后的操作中操作飞行时间传感器16。例如，处理电路40可以被配置为响应于照明系统78检测到足够的照明以允许可见光和/或IR乘员监测而停用
飞行时间传感器16。在一些示例中，处理电路40可以传达指令以基于至少一个点云24来调
整镜子76的位置。例如，至少一个点云24可以展示事件，诸如驾驶员的取向、另一车辆在车辆12的外部区域20中的位置或任何其他位置特征，并且向镜子76(或相关联的定位构件)生
成信号以移动镜子76以将视图与事件对准。

[0067] 再次参考图4，车辆12可包括动力传动系统82，所述动力传动系统并入有点火系统100、转向系统102、变速器系统104、制动系统106和/或被配置为驱动车辆12的运动的任何其他系统。在一些示例中，由飞行时间传感器16捕获的至少一个点云24可以由处理电路40
处理，以确定动力传动系统82的目标转向角、运动或速度变化速率或其他车辆操作，并且将目标操作传达到动力传动系统82以允许对车辆12的运动的至少部分自主控制。这种至少部
分自主的控制可包括车辆12的完全自主操作或半自主操作。例如，处理电路40可以传达信
号以调整制动系统106、点火系统100、变速器系统104或动力传动系统82的另一系统，以使车辆12停止或移动车辆12。

[0068] 处理电路40还可包括乘员监测模块108，所述乘员监测模块可以与上述车辆系统中的任一者以及本公开的飞行时间传感器16通信。乘员监测模块108可以被配置为存储用
于检测与乘员26相关的各方面的各种算法。例如，可以执行算法以监测车辆12的内部18，以使用点云数据和/或视频或由成像系统68捕获的图像数据来标识车辆12中的乘员26、乘员
26的数量或内部18的其他占用特征。类似地，可以在乘员监测模块108中处理座椅控制系统
71的各种座椅传感器95、检测对用于气候控制系统72的加热或冷却控制的通风口的手动操
纵的加热或冷却传感器、对车窗控制系统70的输入或先前描述的车辆系统，以检测车辆12
中的乘员26的位置、车辆12中的乘员26的状况、车辆12中的乘员26的状态或本文中将描述
的任何其他相关占用特征。处理电路40还可包括用于对在内部18中检测到的对象(诸如货
物37、移动装置35、动物和内部18中的任何其他生物或非生物物品)进行分类的各种分类算法。因此，处理电路40可以被配置为通过利用来自其他车辆系统的信息基于对内部18的监
测来标识内部18中的事件或预测事件。

[0069] 通常，检测系统10可以提供对车辆12的环境14的空间映射。例如，LiDAR模块22可以检测车辆12的内部18或外部区域20中的对象、物品或其他特征在三维空间中的位置。因
此，此类位置包括由LiDAR模块22捕获的场景的深度信息。与由相机捕获的二维图像相比，由飞行时间传感器16生成的至少一个点云24允许更有效地确定特征与LiDAR模块22相距多
远以及彼此相距多远。因此，由于ToF传感器16的利用，可以省略涉及像素分析、RGB值的比较的复杂图像分析技术或用于估计深度的其他技术。此外，虽然来自共同场景的不同角度
的多个成像装置(例如，立体成像器)可以允许比由单个相机产生的那些更准确地估计深度
信息，但是要采用多个相机来收集所述深度信息可能需要复杂的数据处理技术。此外，相对于本公开的飞行时间传感器16，此类多相机系统可能需要附加的重量、封装体积或其他低
效率。

[0070] 因此，相对于用于确定位置信息的二维和三维相机，检测系统10可以是计算高效的和/或节能的。此外，其他飞行时间感测技术(诸如RADAR)在提供深度信息的同时可能会
基于RF要求呈现认证问题，并且可能不如当前的LiDAR模块22准确。此外，由于LiDAR的精
度，可以减少用于监测环境14的相机的数量，可以省略各种存在检测器(车辆座椅传感器
95)，并且可以省略被配置为确定关于环境14的位置信息的其他传感器。因此，检测系统10可以通过减少监测环境14的各个方面所需的传感器的数量来提供解决方案。

[0071] 现在参考图5A至图10，本检测系统10可以被配置用于检测用户与车辆12的转向装置的交互。检测系统10包括飞行时间传感器16，所述飞行时间传感器被配置为生成表示车
辆12的舱室28的至少一个点云24。至少一个点云24包括关于舱室28的三维位置信息。与飞
行时间传感器16通信的处理电路40被配置为基于至少一个点云24来标识舱室28中的方向
盘120。处理电路40还被配置为将至少一个点云24与表示没有附件124的方向盘120的目标
点云数据进行比较。处理电路40还被配置为基于所述比较来确定方向盘120上的对象122的
存在和不存在中的一者。通常，本公开的示例性检测系统10可以基于由LiDAR模块22生成的至少一个点云24来提供对车辆12的方向盘120的附件124的检测。通过这种方式，可以在车
辆12中采用LiDAR以基于用户对车辆12的操作的参与来提供增强的响应性。

[0072] 在一些示例中，处理电路40还被配置为当存在对象122时确定对象122的身份。在一些示例中，处理电路40还被配置为基于至少一个点云24来确定对象122的形状，并且基于所述形状将对象122分类为手126或物品128。在一些示例中，处理电路40还被配置为响应于警报状况而向至少一个车辆系统传达指令。例如，处理电路40可以被配置为将指令传达到
用户界面74、动力传动系统82、座椅控制系统71、气候控制系统72或根据本公开的一些方面的任何先前描述的车辆系统。

[0073] 在一些示例中，至少一个车辆系统被配置为响应于将对象122分类为物品128而传达用于使用户从方向盘120移除物品128的第一指示。例如，用户界面74可以在HMI 96处呈
现具有第一指示的消息130。

[0074] 在本检测系统10的一些示例中，至少一个车辆系统被配置为传达用于使用户抓住方向盘120的第二指示。例如，用户界面74可以在HMI 96处呈现具有第二指示的消息130。在一些示例中，检测系统10包括被配置为检测方向盘120上的旋转力的扭矩传感器132。处理
电路40可以被配置为接收与方向盘120上的扭矩134相对应的扭矩信息。处理电路40还可以
被配置为将旋转力与至少一个点云24进行比较。对所述对象122的存在和不存在中的一者
的确定可以进一步基于旋转力与至少一个点云24的比较。例如，处理电路40可以标识对象
122在方向盘120上的位置并计算预计扭矩方向或幅度，并且可以将此类估计值与基于由扭
矩传感器132检测的旋转力而在处理电路40处接收的扭矩信息进行比较。

[0075] 在一些示例中，处理电路40还被配置为基于扭矩信息来确定由对象122引起的力的方向。例如，处理电路40可以标识方向盘120上的对象122的位置和存在，并且将力与基于至少一个点云24检测到的对象122相关联。

[0076] 在一些示例中，检测系统10还可包括被配置为检测与方向盘120的接触的触摸传感器136。处理电路40可以被配置为基于由触摸传感器136检测到的接触来接收指示与方向
盘120接合的信号。对所述对象122的存在或不存在中的一者的确定可以进一步基于来自触
摸传感器136的信号。可以设想，触摸传感器136和扭矩传感器132中的任一者或两者可以被并入到先前关于图4描述并且在图7中更详细呈现的转向系统102中。因此，当前检测系统10可包括扭矩传感器132和触摸传感器136，并且将传感器数据(例如，电容或其他“硬”反馈信息)与至少一个点云24进行比较。

[0077] 在一些示例中，处理电路40还被配置为将信号与至少一个点云24进行比较。对所述对象122的存在和不存在中的一者的确定可以进一步基于信号与至少一个点云24的比
较。

[0078] 在一些示例中，处理电路40被配置为基于对象122的不存在来确定警报状况。在此类示例中，处理电路40可以被配置为响应于警报状况而将指令传达到至少一个车辆系统。
至少一个车辆系统可以被配置为基于警报状况将车辆12的操作模式调整为至少部分自主。
例如，如果处理电路40检测到用户的手126未与方向盘120接触或以其他方式接合(例如，不存在)，则处理电路40可以向动力传动系统82(诸如动力传动系统82的转向系统102和/或动
力传动系统82的其他系统)传达指令，以进行完全或半自主转向、制动、移动等。

[0079] 仍然参考图5A至图10，本检测系统10可以用于扫描和跟踪驾驶员26的体型和四肢，并且利用适当的算法来确定驾驶员26的手126所在的位置以及手126的取向或运动。基
于跟踪驾驶员的身体尺寸的能力，检测系统10可以被配置为确定用户的手126的包括移动
方向或指向方向的三维矢量。具体地，本检测系统10可以被配置为基于由LiDAR模块22生成的至少一个点云24来检测用户的手126的接触。类似地，本检测系统10可以检测接合方向盘
120的任何其他形式的对象122，诸如物品(例如，机构、小部件、消费品等)。基于至少一个点云24的形状，检测系统10可以区分用户的手126和这些物品。因此，本检测系统10可以提供反欺骗措施和增加的用户交互检测，以用于控制车辆12的操作模式或就用户分心或偏离目
标焦点的程度警告乘员26或其他用户。

[0080] 具体参考图5A和图5B，示出了试图绕过用户参与检测电路的两个示例。参考图5A，物品128的组合用于与方向盘120的外部138接合，以在方向盘120的左手侧140提供向下的力，从而在方向盘120上引起逆时针旋转力。在本示例中，配重142经由带子143附接到方向盘120，所述带子环绕方向盘120的外部138并环绕配重142。在该示例中，带子143和配重142的组合附件124可以标记或激活方向盘120的触摸传感器136，以欺骗或绕过对用户与方向
盘120接合的检查。因此，物理传感器(例如，扭矩传感器132和触摸传感器136)可以感测对与方向盘120的接合和方向盘120上的扭矩134的检测，并且基于对这些因素的检测，用户接合检测电路可以确定与方向盘120的接合状况。因此，本公开的飞行时间传感器16可以用于通过基于至少一个点云24的形状区分方向盘120上的对象122来限制用户接合检测电路的
误报检测。此外，本飞行时间传感器16可以生成至少一个点云24，以允许处理电路40确定方向盘120上对象122的不存在(例如，方向盘120上的手126的不存在)。

[0081] 在图5B所示的另一个示例中，纵长构件(诸如瓶子144)在方向盘120的右手侧接合方向盘120，并且被设置在方向盘120的外部138与方向盘120的内部148之间的腔体146内。
水瓶144的位置和重量分布可以在方向盘120上引起顺时针旋转力。此外，水瓶144与方向盘
120的外部138的接合可以使触摸传感器136被标记。因此，对象122可以向方向盘120施加推力150(参见图6A)和拉力154(参见图6B)，以在方向盘120上引起旋转力并欺骗方向盘120的
触摸传感器136。

[0082] 具体参考图6A和图6B，参考对象122推动方向盘120的示例和对象122拉动方向盘120的示例示出了描绘方向盘120的触摸传感器136和扭矩传感器132的示意图。具体参考图
6A，对象122可以在方向盘120的左手侧140提供推力150，以在方向盘120上引起顺时针扭矩
152。因此，由于对象122与方向盘120的外部138的接触，可以标记扭矩传感器132并且可以标记触摸传感器136。在图6B所示的示例中，顺时针扭矩152可以通过联接到方向盘120的右手侧的对象122的拉力154来实现，从而产生向下的拉力154。在每个示例中，对象122可以标记扭矩传感器132和触摸传感器136两者。然而，在不存在本LiDAR模块22的情况下，特定对象122(例如，对象122的身份)可能是未知的或不容易被跟踪。

[0083] 现在参考图7，处理电路40可包括对象分类单元156，所述对象分类单元可以被配置为区分用户的手126和外来对象，诸如先前描述的物品128。对象分类单元156可包括身体姿态数据库158，所述身体姿态数据库被配置为存储与手126和乘员26的身体的各种位置和
姿势相关的身体姿态数据。例如，身体姿态数据可包括与方向盘120上的各种手126位置相
关的位置信息以及对应的手臂取向。尺寸信息可以点云数据或与各种位置(例如，10‑和‑2、
9‑和‑3处的手、在方向盘120的相对侧的手126、在方向盘120的下部的手126)相对应的目标点云数据的形式存储。对象分类单元156还可包括骨架模型数据库160，所述骨架模型数据
库被配置为存储与用户的各个关节和其他体节相对应的关键点162。此类关键点162可以与
身体姿态数据组合以提供对手126的位置和取向的更准确估计，以及用于手126和手指、前
臂的各种放置或用户的手臂178和手126的其他身体姿势的人体工程学水平。用于基于参考
点的相似性度量生成三维参考点的系统的示例在标题为“增强型传感器操作(Enhanced 
Sensor Operation)”的美国专利申请公开号2022/0256123中描述，该申请的全部公开内容以引用的方式并入本文。

[0084] 可以提供至少一种神经网络163以用于处理身体姿态数据和骨架模型以生成目标点以与由LiDAR模块22生成的至少一个点云24进行比较。例如，计算机164可以与身体姿态
数据库158和骨骼模型数据库160通信，并且神经网络163可以用于与由LiDAR模块22生成的
至少一个点云24进行比较。可以设想，处理电路40可包括对象分类单元156和/或对象分类
单元156可以与先前描述的处理电路40分开和/或与服务器60相关联。

[0085] 可以设想，本检测系统10可包括附件分类数据库166，所述附件分类数据库被配置为存储与不同对象122的形状相对应的装置形状库。附件分类数据库166还可以被配置为存
储与各种装置的形状相对应的扭矩数据。例如，和与对象122相关联的较大点云24相对应的重型装置可以对应于附件分类数据库166中的较高扭矩值。对象122的各种形状和身份可以
经由对象分类单元156访问，并且用于训练被配置为标识各种附件124的特定身份的各种机
器学习模型66。此类身份可以对应于可以基于存储在附件分类数据库166中的数据来估计
的各种扭矩。因此，检测系统10可以允许更快地检测对象122，并且允许更大的多功能性以及检测用于欺骗尝试的对象122。

[0086] 如前所述，处理电路40与转向系统102通信，并且更具体地与用户接合检测电路通信。在一些示例中，用户接合检测电路是处理电路40的一部分，使得来自触摸传感器136、扭矩传感器132的信息以及传达到/离开转向马达168和用于转向系统102的反馈马达170的指
令由处理电路40提供。在图7所示的示例性配置中，转向系统102并入有用户接合检测电路，并且来自转向系统102的各种部件的信号和反馈经由用户接合检测电路传达到/离开处理
电路40。通过访问转向系统102中的数据，处理电路40可以被配置为将来自触摸传感器和扭矩传感器132的信号与由LiDAR模块22生成的至少一个点云24中的三维位置数据进行比较。
因此，可以将用于标识接合方向盘120的对象122的形状检测和关联/分类与来自电容式、电感式或其他传感器的传感器信息进行比较。例如，转向马达168和反馈马达170可以各自包
括编码器或与方向盘120的旋转相关的其他位置信息，包括定向运动(例如，顺时针或逆时
针)、运动速率和/或基于对转向马达168和/或反馈马达170的监测的其他传感器信息。可以设想，反馈马达170可以指代被配置为基于路况和方向盘120的取向来模拟反馈的致动器，
并且转向马达168可以指代直接或间接地驱动车辆12的转向系统102的致动器。例如，可以
在线控转向系统中模拟用户响应于旋转方向盘120而感觉到的扭矩134。可以设想，在一些
示例中，转向系统102不包括反馈马达170或转向马达168。

[0087] 仍然参考图7，处理电路40可以与如前所述的用户界面74通信。HMI 96可以被配置为呈现消息130，所述消息可包括先前描述的第一指示和第二指示和/或用于使用户接合方
向盘120的各种指令。例如，在确定在方向盘120上没有手126和/或检测到异物接合方向盘
120时，处理电路40可以在HMI 96处经由消息130传达指令以呈现对此类状态的指示。

[0088] 现在参考图8A和图8B，示出了基于环境14在两个实例172、174处生成的至少一个点云24。在图8A所示的第一实例172中，至少一个点云24包括与方向盘120、车辆12的仪表板
176、乘员26的手臂178、乘员26的手126以及其他所示特征相对应的深度信息。在第一实例
172中，驾驶员的手126在方向盘120的上部180上，并且握持或接合方向盘120的外部138。如图8A的右侧所示，处理电路40可以被配置为确定方向盘120和接合方向盘120的对象122的
形状。在本示例中，经由用户的手臂178和手126接合方向盘120的对象122是用户。存储在骨骼模型数据库160中的骨骼模型可以应用于由LiDAR模块22捕获或生成的至少一个点云24，
如通过覆盖表示对应体节的取向的区段182所展示。例如，与乘员26的手臂178相关联的一
对体节184可以覆盖至少一个点云24中的与乘员26的手臂178相对应的形状。因此，通过访
问骨架模型数据库160和/或身体姿态数据库158，可以比基于其他飞行时间系统和/或立体
成像系统的姿态更精确地确定用户的姿态。

[0089] 在标识方向盘120时，处理电路40可以将与对象122相对应的至少一个点云24的形状与和方向盘120相对应的至少一个点云24的形状进行比较。基于例如与手126相对应的至
少一个点云24的第一部分的三维位置信息与和方向盘120相对应的至少一个点云24的第二
部分的三维位置信息的比较，处理电路40可以确定用户的手126在图8A所示的示例中接合
方向盘120。例如，手126与方向盘120的相交处的深度信息在第一部分中相对于第二部分可以基本上类似。因此，处理电路40可以确定手126直接接合方向盘120。

[0090] 可以设想，可以经由对象分类单元156实现对乘员26的手126是接合方向盘120的对象122的确定。例如，对象分类单元156可以将各种骨骼模型应用于各种姿态的对象122，以确定至少一个点云24与和各种身体姿态和骨骼模型相关联的目标点云之间的相关性。通
过这种方式，处理电路40可以区分物品128或异物与驾驶员26的手126。

[0091] 具体参考图8B，示出了其中对象122是异物的示例。类似于上文关于图8A所描述的过程，处理电路40可以处理至少一个点云24并标识其中的对象122的形状。例如，关于图8B的右侧，处理电路40可以通过将至少一个点云24的第一部分的尺寸信息(例如，深度信息、高度、宽度等)与第二部分的尺寸信息进行比较来标识与方向盘120联接的异物。因此，处理电路40可以确定负重对象122或另一个异物沿着方向盘120的上部180设置，并且可以进一
步确定欺骗状况的可能性。

[0092] 响应于检测到欺骗状况和/或车辆12上没有手126，处理电路40可以与先前描述的各种车辆系统通信，以便警告用户检测到欺骗状况和/或警告用户将手126放在方向盘120
上，这取决于车辆12的操作模式。还可以设想，除了将对象122分类为用户的手126或异物之外，本检测系统10还可以区分各种类型的对象122。例如，至少一个点云24可以揭示用户的手126正在接合直接接合方向盘120的对象122。此外，检测系统10可以检测方向盘120上是
否仅存在一只手126。通过这种方式，可以根据驾驶员监测功能来确定和驾驶员26与方向盘
120之间的交互相关的各个方面。

[0093] 在一些示例中，检测系统10可以在连续实例下跟踪放置在方向盘120上的物品128的数量(例如，欺骗尝试)，并且使处理电路40就试图进行欺骗警告另一个用户，诸如监护
人、管理员、企业所有者或另一个管理员(例如，所有者或父母)。通过这种方式，处理电路40可以利用LiDAR来检测欺骗状况并将欺骗状况传达给管理员。例如，处理电路40可以经由无线网络(例如，网络163)、诸如通过Wi‑Fi、SMS或另一种无线通信技术来传达警报。在一个示例中，在三次欺骗尝试之后，处理电路40可以使用云支持功能来通知管理员：驾驶员正试图欺骗检测系统10。

[0094] 现在参考图9，用于检测用户与车辆12的转向装置的交互的方法900包括在步骤902处经由飞行时间传感器16生成表示车辆12的舱室28的至少一个点云24。至少一个点云
24包括关于舱室28的三维位置信息。在步骤904处，方法900还包括经由与飞行时间传感器
16通信的处理电路40基于至少一个点云24来标识舱室28中的方向盘120。方法900还包括在
步骤906处经由处理电路40将至少一个点云24与表示没有附件124的方向盘120的目标点云
数据进行比较。方法900还包括在步骤908处基于所述比较来确定方向盘120上的对象122的
存在和不存在中的一者。方法900还包括在步骤910处基于对所述对象122的存在和不存在
中的一者的确定来确定警报状况。

[0095] 所述方法还可包括：当对象122存在时确定对象122的身份；基于至少一个点云24确定对象122的形状；基于形状将对象122分类为手126或物品128；响应于警报状况而向至
少一个车辆系统传达指令；或者它们的任何组合。所述方法还可包括经由至少一个车辆系
统基于警报状况将车辆12的操作模式调整为至少部分自主。所述方法还可包括至少一个车
辆系统响应于将对象122分类为物品128而传达用于使用户从方向盘120移除物品128的第
一指示。

[0096] 另外或替代地，方法900还可包括在至少一个车辆系统处传达对用户抓住方向盘120的第二指示。方法900还可以或替代地包括经由扭矩传感器132接收与方向盘120上的扭
矩相对应的扭矩信息，所述扭矩传感器被配置为检测方向盘120上的旋转力。方法900还可
以或替代地包括将旋转力与至少一个点云24进行比较。对所述对象122的存在和不存在中
的一者的确定还可以基于旋转力与至少一个点云24的比较。

[0097] 方法900还可以或替代地包括基于扭矩信息来确定由对象122引起的力的方向。方法900还可包括经由被配置为检测与方向盘120的接触的触摸传感器136接收指示与方向盘
120接合的信号。对所述对象122的存在或不存在中的一者的确定是进一步基于所述信号。

[0098] 方法900还可以或替代地包括将信号与至少一个点云24进行比较。对所述对象122的存在或不存在中的一者的确定可以基于信号与至少一个点云24的比较。在一些示例中，
方法900包括基于对象122的不存在来确定警报状况。方法900还可包括响应于警报状况而
向至少一个车辆系统传达指令，以及经由至少一个车辆系统基于警报状况将车辆12的操作
模式调整为至少部分自主。在一些示例中，飞行时间传感器16包括LiDAR模块22，所述LiDAR模块被配置为引导具有至少1500nm的波长的光。

[0099] 现在参考图10，本检测系统10可以被配置为采用过程1000来检测用户与车辆12的转向装置的交互。由本公开的处理电路40执行的过程1000或算法可包括在步骤1002处确定
半自主模式是否由用户请求或当前是否活动。如果半自主模式被请求或活动，则处理电路
40将在步骤1004处从转向系统102的触摸传感器136和/或扭矩传感器132或被配置为监测
方向盘120的任何其他传感器读取，以确定是否与方向盘120接触。如果传感器指示正在与
方向盘120进行接触，则在步骤1006处，过程1000可以进一步扫描方向盘120和车厢以标识
方向盘120。在步骤1008处，处理电路40可以处理由LiDAR模块22生成的至少一个点云24，以确定用户的手126是否正在接合方向盘120。例如，处理电路40可以处理神经网络163中的至少一个点云24和/或将至少一个点云24与存储在身体姿态数据库158和/或骨架模型数据库
160中的一者或两者中的目标点云数据进行比较。此外，对附件124的检测可包括访问不与
用户的手126或用户的其他体节相对应的对象122的已知的至少一个点云24。

[0100] 在步骤1010处，处理电路40确定对象122是驾驶员的手126还是异物。如果在方向盘120上检测到驾驶员的手126，则过程1000递归地循环并返回到步骤1004。如果检测到异
物而不是用户的手126，则在步骤1012处，过程1000可以警告驾驶员26移除附件124并重新
获得方向盘120与用户的手126的接触。在步骤1014(这可能是方向盘传感器未指示与用户
的接触的结果)处，可以执行与1012类似的步骤，其中处理电路40传达指令以警告驾驶员26将手126放在方向盘120上。在将手126放在方向盘120上的同时或之后，过程1000还可以根
据用户的手126与方向盘120的接合来发起半自主操作的脱离。例如，检测系统10可以基于
半自主模式的存在和检测到方向盘120上没有手126而经由例如噪声、视觉指示器等继续发
出警报。为了缓解警报功能，可能需要用户接合方向盘120，然后可以提示用户再次尝试半自主模式。通过这种方式，可以在半自主操作期间鼓励或促进手126在方向盘120上。

[0101] 通常，本检测系统10可以检测并发起与车辆12的转向装置的增强交互。采用LiDAR模块22来捕获深度信息可以允许检测车辆12的方向盘120上的手126和/或异物。检测系统
10可以连续地收集乘客舱32的驾驶员侧的内部18的空间数据，并且对方向盘120以及方向
盘120在三维空间中的位置进行隔离或分类。检测系统10还可以通过将当前信息与表示处
于所有可能配置的方向盘120的目标点云数据或计算机辅助设计(CAD)模型进行比较以确
定方向盘120的正确取向来提供检测。根据关于被扫描的方向盘120的三维形状的信息，对
象检测算法可以检测与方向盘120接触的任何对象122。响应于检测到接合方向盘120的对
象122的标识，检测系统10可以如前所述调整车辆12的操作。

[0102] 应理解，可以在不脱离本公开的概念的情况下对前述结构进行改变和修改，并且还应理解，除非随附权利要求通过其语言另有明确说明，否则此类概念意图由这些权利要
求涵盖。

[0103] 根据本发明，一种用于检测用户与车辆的方向盘的交互的方法包括：经由飞行时间传感器生成表示所述车辆的舱室的点云，所述点云包括关于所述舱室的三维位置信息；
经由与所述飞行时间传感器通信的处理电路基于所述点云来标识所述舱室中的所述方向
盘；经由所述处理电路将所述点云与表示没有附件的所述方向盘的目标点云数据进行比
较；基于所述比较来确定所述方向盘上的对象的存在和不存在中的一者；以及基于对所述
对象的存在和不存在中的一者的确定来确定警报状况。

[0104] 在本发明的一个方面，所述方法包括：当所述对象存在时确定所述对象的身份。

[0105] 在本发明的一个方面，所述方法包括：基于所述点云来确定所述对象的形状；以及基于所述形状将所述对象分类为手或物品。

[0106] 在本发明的一个方面，所述方法包括：响应于所述警报状况而向至少一个车辆系统传达指令。

[0107] 在本发明的一个方面，所述方法包括：经由所述至少一个车辆系统基于所述警报状况而将所述车辆的操作模式调整为至少部分自主。

[0108] 在本发明的一个方面，所述方法包括：在所述至少一个车辆系统处，响应于将所述对象分类为所述物品而传达从所述方向盘移除所述物品的第一指示。

[0109] 在本发明的一个方面，所述方法包括：在所述至少一个车辆系统处，传达用于使所述用户抓住所述方向盘的第二指示。

[0110] 在本发明的一个方面，所述方法包括：经由扭矩传感器接收与所述方向盘上的扭矩相对应的扭矩信息，所述扭矩传感器被配置为检测所述方向盘上的旋转力。

[0111] 在本发明的一个方面，所述方法包括：将所述旋转力与所述点云进行比较，其中对所述对象的存在和不存在中的一者的确定是基于所述旋转力与所述点云的所述比较。

[0112] 在本发明的一个方面，所述方法包括：基于所述扭矩信息确定由所述对象引起的力的方向。

[0113] 在本发明的一个方面，所述方法包括：经由触摸传感器接收指示与所述方向盘接合的信号，所述触摸传感器被配置为检测与所述方向盘的接触，其中对所述对象的存在和
不存在中的一者的确定是基于所述信号。

[0114] 在本发明的一个方面，所述方法包括：将所述信号与所述点云进行比较，其中对所述对象的存在或不存在中的一者的确定是基于所述信号与所述点云的所述比较。

[0115] 在本发明的一个方面，确定所述警报状况是基于所述对象不存在，并且还包括：响应于所述警报状况而向至少一个车辆系统传达指令；以及经由所述至少一个车辆系统基于所述警报状况而将所述车辆的操作模式调整为至少部分自主。

[0116] 在本发明的一个方面，所述飞行时间传感器包括LiDAR模块，所述LiDAR模块被配置为检测具有至少1500nm的波长的光。

[0117] 根据本发明，提供了一种用于检测用户与车辆的方向盘的交互的系统，所述系统具有：飞行时间传感器，所述飞行时间传感器被配置为生成表示所述车辆的舱室的点云，所述点云包括关于所述舱室的三维位置信息；以及与所述飞行时间传感器通信的处理电路，
所述处理电路被配置为：基于所述点云来标识所述舱室中的所述方向盘；将所述点云与表
示没有附件的所述方向盘的目标点云数据进行比较；基于所述比较来确定所述方向盘上的
对象的存在和不存在中的一者；以及基于对所述对象的存在和不存在中的一者的确定来确
定警报状况。

[0118] 根据一个实施例，本发明的特征还在于：至少一个车辆系统，所述至少一个车辆系统被配置为基于所述警报状况控制所述车辆的至少部分自主操作模式。

[0119] 根据一个实施例，所述处理电路还被配置为：基于所述点云来确定所述对象的形状，并且基于所述形状将所述对象分类为手或物品。

[0120] 根据一个实施例，本发明的特征还在于：用于响应于所述处理电路将所述对象分类为所述物品而从所述方向盘移除所述物品的第一指示。

[0121] 根据一个实施例，本发明的特征还在于：用于使所述用户抓住所述方向盘的第二指示。

[0122] 根据本发明，提供了一种用于检测用户与车辆的方向盘的交互的系统，所述系统具有：飞行时间传感器，所述飞行时间传感器被配置为生成表示所述车辆的舱室的点云，所述点云包括关于所述舱室的三维位置信息；车辆系统，所述车辆系统被配置为控制所述车
辆的至少部分自主操作；以及与所述飞行时间传感器和所述车辆系统通信的处理电路，所
述处理电路被配置为：基于所述点云来标识所述舱室中的所述方向盘；将所述点云与表示
没有附件的所述方向盘的目标点云数据进行比较；基于所述比较来确定所述方向盘上是否
存在对象；基于对所述对象的存在的所述确定来确定警报状况；确定所述对象的身份；基于所述点云确定所述对象的形状；基于所述形状将所述对象分类为手或物品；以及基于对所
述对象的所述分类向所述车辆系统传达调整所述车辆的自主操作的指令。