首页 / 动态响应性预测

动态响应性预测实质审查 发明

技术领域

[0001] 本公开涉及智能空间,并且更具体地,涉及在其中传感器不足或不可用的情形下辅助监视智能空间的AI。
[0002] 背景技术和技术领域
[0003] 在智能空间中,监视和预测人以及诸如自动化设备、交通设备、智能运输设备、装备、机器人、自动机或其他设备之类的其他代理的活动可能是有用的,该智能空间可以是诸如工厂、制造区域、家、办公室、建筑内或外部(例如,公园中、行人道、街道等)以及设备上或设备中、智能运输设备上或智能运输设备中、或者与设备有关的公共或私人区域。知晓某种事物(人员和/或装备)(例如,“响应者”)是否以及何时对问题、状况或指示(例如,与问题或状况有关或者响应于问题或状况的指示)(此后称为“事件”)进行响应或者响应者是否以及何时可能正在使用或将要使用智能空间中的项目将是有用的。例如,当机器未在使用中并且不太可能被使用时或者当事故、意外或其他情形暗示需要改变机器的操作状态时,机器可被掉电或被闲置。
[0004] 在现有智能空间中,智能空间可包含传感器,这些传感器可以检测响应者向事件的移动或靠近,但是与该事件有关的每个对象或项目的距离阈值必须通过人工分析和软件设置来确定以表示什么是有效响应。进一步地,将要被跟踪的任何事物均需要传感器和连接。本地传感器可以检测例如人的靠近。如果传感器被嵌入在整个环境中以及可能有问题的每一个项目内,则可能可以确定响应者对事件进行响应,并且通过传感器不再报告该事件,可假定该响应者解决了该事件。然而,如所述,要求针对每一个事件定义所有可能的响应者以及需要被用来判定响应是否正在发生或已经发生的传感器,并且必须采用传感器来确定事件不再发生。

具体实施方式

[0015] 在以下具体实施方式中,参考形成其一部分并且通过可实施的说明实施例的方式示出的所附附图,其中,贯穿所附附图相同的数字指示相同的部件。应理解,可利用其他实施例并作出结构或逻辑的改变而不背离本公开的范围。因此,以下具体实施方式不应以限制的意义来理解,并且实施例的范围由所附权利要求及其等效方案来限定。可以设计本公开的替代实施例及其等效方案而不背离本公开的精神或范围。应当注意,下文所公开的相同的要素由附图中相同的附图标记指示。
[0016] 可以按在理解要求保护的主题中最有帮助的方式轮流将各操作描述为多个分立动作或操作。然而,不应将描述的次序解释为暗示这些操作必然依赖次序。具体而言,不必按照呈现的次序来执行这些操作。能以不同于所描述的实施例的次序执行所描述的操作。在附加的实施例中,可以执行各种附加操作和/或可以省略所描述的操作。出于本公开的目的,短语“A和/或B”意指(A)、(B)或(A和B)。出于本公开的目的,短语“A、B和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。说明书可使用短语“在实施例中”或“在多个实施例中”,其可各自指代相同或不同实施例中的一个或多个。此外,相对于本公开的实施例所使用的术语“包含”、“包括”、“具有”等被认为是同义的。
[0017] 图1图示出根据各实施例的示例性智能空间环境100和监视AI,包括项目102-110、监视这些项目的传感器114-120、以及与智能空间相关联126的AI 124。将会领会,一个或多个项目102-110可表示可被标识的任何事件、事情、情形、事物、人员、问题等。省略号112指示所图示的项目是示例性的,并且在智能空间中可存在多得多的项目。项目可以是有形的,这些项目诸如,需要注意的机器102、被堆叠并等待处理、航运等的商品104、或人员106、108、或设备110,该设备110诸如可被用来对诸如商品104进行工作的传送带。项目也可以是无形的,诸如,要解决的情形。例如,如果某人(诸如,人员106)在工厂中或在公园中跌倒,则需要作出响应来解决该跌倒并且无形项目可表示对该跌倒的响应的期望。无形项目可包括需要被满足的约束集合或依赖列表,该约束集合或依赖列表与对诸如跌倒之类的项目的合适的响应相对应。
[0018] 在该实施例中,术语“项目”被用来覆盖可以或可以不具有指示该项目的状态或状况的传感器114-120的有形和无形事物两者。对于缺少指示操作状态或状况的传感器的项目(诸如,人员106)或缺少与诸如要解决的问题之类的无形项目有关的传感器的项目,与智能空间100相关联124的人工智能(AI)122可被用来监视和/或评估该智能空间以及该智能空间中的任何项目并确定针对缺少哪些传感器的信息。术语AI一般旨在指代任何基于机器的推理系统,包括但不限于诸如机器学习、专家系统、自动化推理、智能检索、模糊逻辑处理、知识工程、神经网络、自然语言处理器、机器人、深度学习、分层学习、视觉处理等之类的示例。
[0019] 在本文中对AI的各种讨论中,假定熟悉AI、神经网络(诸如,前馈神经网络(FNN)、卷积神经网络(CNN))、深度学习并且建立AI、模型及其操作。参见下文参考图5进行的讨论。并且,还参见示例性文档:Goodfellow等人的“Deep Learning(深度学习)”,麻省理工学院出版社(2016年)(在互联网统一资源定位符(URL)www*deeplearningbook*org处);www*matthewzeiler*com/wp-content/uploads/2017/07/arxive2013*pdf;Hoerman等人的“Dynamic Occupancy Grid Prediction for Urban Autonomous Driving:A Deep Learning Approach with Fully Automatic Labeling(用于城市自主驾驶的动态占用网格预测:利用全自动化标记的深度学习办法)”,2017年,在互联网URL arxiv.org/abs/
1705.08781v2处;以及Nuss等人的“A Random Finite Set Approach for Dynamic Occupancy Grid Maps with Real-Time Application(用于利用实时应用的动态占用网格映射的随机无限集办法)”,2016年,在互联网URL arxiv*org/abs/1605*02406处(为了防止无意的超链接,前述URL中的句点以星号来替换)。
[0020] 在一个实施例中,AI是在智能空间中的另一设备、系统、项目等内进行操作的软件实现方式。在另一实施例中,AI被设置在与智能空间通信地耦合的单独机器中。在进一步的实施例中,AI被设置在诸如智能运输设备之类的移动计算平台中,并且可被称为可在智能空间内和智能空间外遍历的“机器人”。将会领会,智能运输设备、机器人、或其他移动机器通过走动(行走类型)的运动、滚动、踏板、轨道、电线、磁性移动/悬浮、飞行等的一个或多个组合的方式可以是移动的。
[0021] 在一个实施例中,可使用AI来监视智能空间和/或基于所监视的该空间内的移动以及与该空间和/或(多个)项目相关联的传感器来预测代理动作和项目交互。在一个实施例中,可使用动态占用网格(DOG)来训练深度CNN,以促进预测人类和机器与项目(例如,对象和位置)的交互。将会领会,CNN类型的神经网络是对具有网格型格式的数据而言可能尤其有效的神经网络,该具有网格型格式的数据例如,可从监视设备(参见下文讨论的监视设备126)输出的像素。CNN可间歇性地或连续地监视智能空间和活动的学习模式,并且具体而言,学习典型的响应和/或可响应于在智能空间中发生的事件而发生的动作。将会领会,出于示例性目的呈现了一种CNN,并且如利用图5所讨论,可使用其他类型的AI和/或神经网络来提供预测性活动,诸如,通过所监视的环境来预测独立代理的移动。
[0022] 在一个实施例中,响应可包括项目的激活、传感器状态的改变、以及不具有传感器但可通过一个或多个监视设备的方式被标识的对象/人/等的移动。在一个实施例中,AI可使用无监督深度学习(具有自动化标记或不具有标记),其中,AI可通过观察空间内的交互来训练其自身,该空间内的交互例如,监视代理与项目的接触、设备(其为一种项目)的激活、用户与项目的交互、设备激活。将会领会,项目(诸如,IoT设备)可具有嵌入式和/或相关联的传感器(诸如,传感器114-120),这些传感器可返回关于项目状态、使用、活动、问题等的数据。对于缺少传感器或者其中传感器无法提供足够的信息或缺少诸如无形项目的有形项目,AI可至少部分地基于其对智能空间的监视来提供数据。
[0023] 本领域技术人员将会领会,AI 122可应用概率推理模型或其他技术,以对智能空间以及该智能空间中发生的事件进行建模和分析。将进一步领会,尽管AI实现方式可以是无监督且自我学习的,在其他实施例中,可例如通过反向传播或其他技术来对AI进行训练,给予AI用于在智能空间中识别典型项目的开始上下文并促进标识对于该智能空间为新的项目。项目识别训练可包括将识别链接至来自(诸如在智能空间内的IoT设备中的)传感器并且基于或至少部分基于视觉输入的数据。在监视环境时,不论AI是被训练还是自学的,AI都可继续监视环境(例如,智能空间)并学习在该智能空间内发生的典型活动,并且因此能够标识对该智能空间内的事件的响应。这还可使得AI能够评估(例如,预测)智能空间内的活动是否与对项目(例如,已经在智能空间中发生的某个事件)的适当响应相对应。如果AI预测对事件/问题/项目/等的响应未被解决或未以恰当的方式被解决,则AI可采取动作。假定本领域技术人员理解神经网络(诸如,本文中所参考的示例性深度学习CNN)的训练和操作,并且因此讨论环境的操作而不是AI如何被构建和训练。
[0024] 因此,例如,在上文提到的人摔倒的情形下,当人员(项目106)摔倒时,AI 122已经利用设备126(或多个设备)进行监视,该设备126诸如,一个或多个相机、场、波束、LiDAR(用来指代光检测和测距技术的缩略词)或允许形成对诸如智能空间之类的感兴趣区域的电子表示的其他传感器技术。将会领会,这些列举出的监视设备出于示例性目的,并且存在可单独地或与其他技术组合地给AI提供与诸如智能空间之类的感兴趣区域相对应的数据的许多不同的其他技术。将进一步领会,如果AI被并入到机器人内,则监视器设备126可与基于机器的视觉相对应。并且机器人可独立于智能空间或与智能空间结合协作地执行和/或协作地实行动作。在一个实施例中,即使人员106看起来不具有直接地指示项目/人的状态的相关联的传感器,但是AI可通过监视智能空间中的活动来标识摔倒并且随后寻找和/或发起对摔倒的响应以及监视对事件的有效响应。将会领会,AI可学习当存在摔倒时另一人员(项目108)应当前往并帮助摔倒的项目/人员106。
[0025] 将领会,响应于摔倒,可利用要采取的动作的列表来创建涉及摔倒的项目(任务列表、要求列表等),要采取的动作的列表诸如:
[0026] ·向可能的响应者发出人员106摔倒的警示(例如,在本地消息收发或通信系统上、闪光、文本广播、声音警示等);
[0027] ·例如利用传感器114-120、(多个)设备126来监视对摔倒的(多个)响应;
[0028] ·评估该响应是否有效和/或是否为适当的响应;
[0029] ·如果是,例如,有人已经去帮助摔倒的人,则清除警示;以及
[0030] ·如果没有适当的响应被标识,则采取诸如逐渐升级的动作之类的进一步/其他动作。
[0031] 将理解,列表可暗示执行操作的次序,但操作可并行地或以任何次序被执行,除非在要执行的操作中存在操作依赖性。将会领会,升级可以是用于进一步得到对事件的适当响应的任何动作,诸如,增加关于该事件的联系的项目范围,诸如,在最初仅指定的响应者被标识时作出一般广播以进行帮助,或者联系摔倒者附近的人(即使他们不是典型的响应者),或者呼叫第三方帮助(例如,紧急服务、救护车、消防部门等)。在所图示的实施例中,响应者108可穿戴有一个或多个传感器118,该一个或多个传感器118允许与人员更直接的交互以及该人员正在前往摔倒人员106处或朝向摔倒人员106走去的判定。传感器118可提供关于人的生物计量、位置和/或其他数据。AI还可监控和/或发起对传感器可指示任何问题的响应,以及监视和确定不是由传感器118指示的问题。
[0032] 在另一示例中,项目110可以是传送带,并且嵌入式或相关联的传感器120可指示已经使该传送带的操作停止的堵塞。AI可识别阻塞,并通过经验(例如,监视/训练/学习)理解要向被派遣到传送带处以对其进行维修的技术人员(例如,人员106)作出警示、消息、呼叫等。与摔倒示例一样,堵塞可触发创建与问题以及用于解决问题的潜在解决方案路径相对应的无形项目,AI可针对解决方案对该无形项目进行监视,例如,技术人员106的靠近,以及如果技术人员106的靠近没有发生,则AI可诸如通过发送出其他警示、联系后援技术人员、发出警报声等。如上所述,在一个实施例中,无形项目可指代例如对情形或问题的抽象描述;将领会,无形项目可以是与有形项目之间的一个或多个交互有关的参考、列表、约束集、规则集、要求等,这些有形项目例如,具有有限的功率或者有限的网络访问或者不具有网络访问的汽车、人员、无人机、机器人、机器人程序、或机群等。通过将AI引入到用于管理有形和/或无形项目的监视和解决过程中,使得判定对项目的解决是否正在发生变得可行,即使该解决要求由缺少直接指示正在发生的动作的传感器的项目、实体、第三方等进行干预或者与这些项目、实体、第三方接合,这些项目、实体、第三方诸如,帮助解决问题的心地慈善的人(Good Samaritan)、救护车、紧急服务、警察、其他响应者等。
[0033] 图2图示出根据各实施例建立AI以及该AI监视智能空间的示例性流程图。假定智能空间中的情形,其中,传感器检测到堵塞生产线的对象,并且基于向AI提供关于智能空间中的活动的信息的机器视觉和/或其他输入,AI可向使其不堵塞的代理发出/重复例如音频消息之类的警示。在一个实施例中,被提供给AI的信息可以是诸如来自监视器126或视力系统(未图示出)的直接的例如视觉类型的数据和/或例如来自从视觉类型的数据推导出的推断和/或来自与智能空间有关并且对于AI可访问的传感器数据的外推的非直接数据。在高层级,将领会,代理(雇员、旁观者、心地慈善的人等)可被检测为朝向堵塞位置移动,并且AI可基于其向先前观察的机器学习来预测(例如,基于针对智能空间的操作开发的模型)代理是否正在去往问题的路上(或正在采取某种其他移动)。
[0034] 因此,如果AI判定代理正在朝向问题移动,则其可停止警示至少直到AI可能确定当前不存在解决方案,在此情况下,其可重新引入警示和/或对警示进行升级。将领会,此类预测可应用到与例如任何对象、设备、任务位置或AI已知的无形项目之类的项目的任何交互。将领会,如所讨论,AI监视代理对问题的响应性并且取消警示促进了高效(例如,不发送过多代理)的响应性,同时还促进了基于响应中的有效性或缺少有效性的连续的AI训练。在所图示的实施例中,利用有关环境的一些基线数据来建立200用于AI的数据库,诸如,标识项目以及它们在智能空间中的位置,将项目与任务相关联等,由此,信息可帮助AI理解智能空间的各个方面。这可作为对AI的反向传播训练的部分来执行。将领会,可以跳过对数据库的初步填充,并且期望AI简单地监视202智能空间中发生的任何事,并且基于对活动的观察来自动地训练其自身,对活动的观察包括,从传感器接收数据,如果存在代理移动(来和去),则对代理移动进行监视等。在一个实施例中,代理可处于以上所讨论的智能空间中,然而,将领会,本文中所公开的实施例应用于可为其开发预测性模型的任何环境。例如,代理可处于工厂、厨房、医院、公园、操场或可绘制地图的任何其他环境。可通过将观察数据与其他数据进行组合以确定环境内的坐标以及与环境内的项目的交叉引用空间信息来推导出地图。
[0035] 如图1中所讨论,可利用例如设备126(诸如相机)来监视智能空间。所监视的音频、视频(例如,示出代理移动)、传感器数据或其他数据可被提供给AI。在一个实施例中,至少给AI提供204视觉数据。AI将分析该数据并使用该数据来更新它的用于智能空间的模型。在一个实施例中,AI采用CNN,并且在监视202时,理解AI正在审查可用的视觉信息(例如,诸如照片之类的2D像素表示),并对视觉信息进行处理以确定其内正在发生什么,例如,AI针对整个图像对特征进行卷积操作,使数据池化以降低复杂度要求,将卷积/修正/池化作为被视为处理的多个层来进行修正和重复,其得到越来越多特征过滤的输出。
[0036] 如将由本领域技术人员领会,也发生其他处理,并且所有不同的层可被处理以在图像或视频中确定正在发生什么。在一个实施例中,AI使用被用来训练深度CNN的动态占用网格地图(DOGMa)。这些CNN提供预测某些时间段内的活动,例如,预测来自智能运输设备(例如,车辆)以及拥挤环境中的行人的高达3秒(并且更多地取决于设计)的移动。在一个实施例中,为了处理的效率,可使用针对网格单元过滤的现有技术。例如,作为在每个网格中遵循完整点云的替代,通过各种方法(例如,顺序的蒙特卡罗或伯努利过滤)在所跟踪的对象的每个单元中选择代表性的像素。
[0037] 在建立200基线数据并开始监视202智能空间之后,如以上所讨论,给AI提供204至少与监视相关联的视觉数据。如将领会,对数据的处理将利用对在智能空间中发生了什么的更好的理解来对AI进行训练206。将理解,尽管所图示的流程图是线性的,但AI操作(诸如,训练206)自身表示循环活动,该循环活动未被图示出但继续细化AI具有的针对智能空间的模型。可执行测试来判定训练是否充分208。将理解,AI训练可使用反向传播来标识去往AI的内容,并且可形成基线建立200过程的部分,并且诸如如果训练尚不充分,则其可在稍后被执行。典型地,向后传播要求手动(例如,人类的)干预来告知AI某种输入意指/是什么,并且这可被用来调整AI开发的模型,以使得AI更好地理解稍后其接收了什么作为输入。在一个实施例中,AI正在对模型进行自动学习和自我校正/自我更新。AI可监视智能空间,并且其将识别智能空间中活动的模式。由于智能空间和所限定的其他区域倾向于具有对空间中发生的活动/功能的整体组织,因此模型中将出现基本的组织模式。AI预测其预期接下来将发生什么,并且预测的准确性将至少部分地允许判定是否已知充足的数据。如果208训练尚不足够准确,则处理将循环回到监视202智能空间和学习典型活动。
[0038] 如果208训练足够准确,则对推断模型进行操作210,并且在某个点处,AI识别出问题。例如,更直接地感测到的问题是来自上文的对象堵塞示例,其中,与受影响的项目相关联的传感器指示问题,并且AI监视对该问题的响应,或者AI可通过诸如来自图1项目126监视器的至少视觉数据的方式来识别摔倒示例。在模型识别出问题之后,AI可向代理委派任务212以解决问题,例如,发出警示、公告、文本消息或其他数据以使得一个或多个代理解决该问题。代理可以包括人、机器人、汽车、或者任何自主或半自主代理、群组或组合。感兴趣的项目(例如,感兴趣的对象或区域)可以包括对象、其他人、装备、溢出、未知事件(如通过从通常情况偏移来上下文地感测的)等。代理的动作可以是专用的,但是可以包括要求代理邻近目标对象或区域的任何活动。
[0039] AI继续监视空间,并且具体地,监视214代理活动。将会领会,至少部分地基于监视,AI估计216代理的响应于问题的性能。利用推断模型,AI可标识所监视的活动是否与对于所监视的问题的解决方案的活动相对应。
[0040] 在简单化的解决方案示例中,AI可监视移动成邻近于正在被解决的问题的代理。对于复杂问题,AI可确定使用一个或多个代理和/或项目来解决该问题。通过应用允许预测一些时间段内的代理动作的AI(诸如,至少部分地基于CNN实现方式),可能识别不具有传感器但采取可被视为与解决问题必要的所预测的活动符合的动作的代理的活动。并且,如以上所讨论,这些预测可与IoT设备和/或传感器组合,这些IoT设备和/或传感器组合地允许监视智能空间时的灵活性。
[0041] 如果218AI判定已经作出适当的响应,则AI可根据对问题的成功解决来进行操作220,例如,AI可清除警示和/或执行其他动作,诸如,向其他代理/设备/警报器/等标识问题被解决并且处理继续监视202智能空间。然而,如果218尚不存在所识别的对任务的执行(并且存在未图示出的隐含的延迟来允许发生响应),则处理可循环返回到给代理委派解决问题的任务212(如果第一代理作出响应但不解决问题,则给同一代理或另一代理委派任务)。
值得注意的是,尽管该流程图呈现出顺序的一系列操作,但是将会领会,实际上,可给认知的操作线程/切片委派问题以及对该问题的解决的任务,而AI并行地继续监视智能空间并且采取其他动作。
[0042] 图3图示出根据一些实施例的示例性系统300,根据各实施例,图示出项目302-306以及可与AI 314结合进行操作的代理308-312。如所图示,可在AI的监视区域内对多个模型进行操作。如以上所讨论,AI可跟踪多个有形和/或无形项目302-306。将会领会,省略号指示可能存在许多项目。示出三个项目仅是出于说明方便。AI还可监视和跟踪代理308-312的活动。如项目一样,可能存在许多代理,这些代理可包括例如,与智能空间334相关联的雇员、智能设备、机器人等,以及可处于智能空间内部或外部但不一定直接相关的第三方、旁观者等,诸如,配送人员、第一急救人员、心地慈善的人、旁观者等。
[0043] 在所图示的实施例中,项目和代理302-312与图1的项目102、104、110和人员106-108相对应,并且项目和代理与AI之间的交互可参考图1-图2描述地发生。可存在AI监视阵列314,该AI监视阵列314监视项目和代理并标识可能要求解决的情形,并且预测是否发生适当的响应。在所图示的实施例中,AI监视阵列可被设置在例如机器人或诸如可围绕智能空间334或其他环境移动的智能交通工具之类的其他移动机器中。将会领会,尽管智能空间提供对于自学AI更加可访问的受控环境,本文中AI和教导可被设置在四处移动(诸如,在道路上或飞行通过空域)的一个或多个智能运输设备中。
[0044] AI 314可与AI处理/后端316进行通信,该AI处理/后端316被示出为具有用于支持AI/神经网络的操作的示例性组件。后端可例如包含CNN 318(或其他神经网络)组件、训练器320组件、接口322组件、地图324组件、项目(或其他信息存储)数据库326组件、项目识别328组件、以及人员识别330组件。将会领会,如参考图9所讨论,组件318-330能以硬件和/或软件来实现。后端可包括其他常规组件332,诸如,一个或多个处理器、存储器、存储(其可包括数据库326组件或可以是单独的)、网络连接等。参见图8对可能部分地被用来实现后端的环境的更完整描述的讨论。
[0045] 在所图示的实施例中,项目和代理302-312可具有相关联的属性334-344。如果例如项目是具有用于存储其状态和/或其他数据的本地存储器的物联网(IoT)设备,则这些属性可被存储到该项目内。对于诸如无形项目之类的其他项目,数据可由AI 314跟踪并被存储在例如项目332的存储器中。就代理308-312而言,代理308可以是雇员或者以其他方式与智能空间334一起工作。如所示,AI 314可部分地在智能空间内与单独的且可能远程的后端316一起进行操作。然而,将领会,作为一种可能的配置,AI和后端可被共同定位和/或设置到由虚线表示的单个环境318中。共同定位的环境例如可在智能空间内。在一个实施例中,诸如对智能空间334的监视之类的一些功能可由AI监视器阵列314执行,但是其中,一些复杂的分析可在后端316硬件上执行,这些复杂的分析例如“繁重的”任务,诸如,项目识别328和人员识别330。将领会,虽然后端被呈现为单个实体,但其可利用一组协作地执行的服务器、机器、设备等(未示出)来实现。
[0046] 图4图示出包括智能运输设备事故管理的示例性系统,该系统可根据各实施例进行操作。所图示的实施例与各实施例结合提供合并和使用智能运输设备事故管理。如所示,对于所图示的实施例,示例环境4050包括智能运输设备4052,该智能运输设备4052具有发动机、传动系统、车轴、车轮等等。进一步地,智能运输设备4052包括具有数个信息娱乐子系统/应用的内部信息娱乐(IVI)系统400,这些信息娱乐子系统/应用例如,仪表盘子系统/应用、前排座位信息娱乐子系统/应用(诸如,导航子系统/应用、媒体子系统/应用、智能运输设备状态子系统/应用等等)、以及数个后排座位子系统/应用。进一步地,涉及IVI系统400被提供有本公开的智能运输设备车辆事故管理(VIM)系统/技术450,以给智能运输设备4052提供对智能运输设备事故智能运输设备4052的计算机辅助或自主管理。将领会,在图1中,AI 122可被设置在智能运输设备中的一个或多个智能运输设备内,或者与智能运输设备组合和/控制智能运输设备和/或指引智能运输设备。智能运输设备事故智能运输设备可以是对智能环境中的问题、难题、意外等的响应的部分。
[0047] 智能运输设备4052可与诸如意外之类的事故相关联,该事故可以或可以不涉及另一智能运输设备,诸如,智能运输设备4053和智能运输设备4052可与例如图1的代理106、108协作地进行操作。在不涉及另一智能运输设备的事故中,智能运输设备4052可能爆胎、撞击障碍物、滑离道路等等。在涉及另一智能运输设备的事故中,智能运输设备4052可具有与另一智能运输设备4053的后端碰撞、与另一智能运输设备4053的头部对头部碰撞或对该另一智能设备4053发生T型撞击(T-boned)(由该另一智能设备4053对智能运输设备4052发生T型撞击)。另一智能运输设备4053可以配备或可以不配备有内部系统401,该内部系统
401具有本公开的类似的智能运输设备事故管理技术451。在一个实施例中,智能运输设备可被认为是正在由包括事故管理技术的AI监视的智能空间。
[0048] 在一些实施例中,VIM系统450/451被配置成用于判定智能运输设备事故中是否涉及智能运输设备4052/4053,并且如果判定事故中涉及智能运输设备4052/4053,则是否涉及另一智能运输设备4053/4052;并且如果涉及另一智能运输设备4053/4052,则该另一智能运输设备4053/4052是否被配备成交换事故信息。进一步地,VIM系统450/451被配置成与该另一智能运输设备4053/4052交换事故信息,该事故信息关于涉及另一智能运输设备4053/4052的智能运输设备事故中是否涉及智能运输设备4052/4053的判定,并且该另一智能运输设备4053/4052被配备成用于交换事故信息。在一个实施例中,如果确定智能运输设备4052/4053在智能空间内(诸如,在图1的智能空间100内)发生事故,则智能运输设备
4052/4053被配备成用于与智能空间交换事故信息。AI可指令智能运输设备关于接下来要做什么。
[0049] 在一些实施例中,VIM系统450/451进一步被配置成用于单独地评定判定智能运输设备事故中涉及智能运输设备4052/4053时一个或多个乘员和/或旁观者(其可能涉及该事故、目击该事故等)相应的身体或情绪状况。被评定的每个乘员可以是智能运输设备4052/4053的驾驶员或乘客。例如,可对每个乘员和/或旁观者进行评定,以确定乘员和/或旁观者是严重受伤且感受到压力、中度受伤和/或感受到压力、轻微受伤但感受到压力、轻微受伤并且未感受到压力还是未受伤且未感受到压力。在一些实施例中,VIM系统450/451进一步被配置成用于评定判定智能运输设备事故中涉及智能运输设备4052/4053时该智能运输设备的状况。例如,可对智能运输设备进行评定,以确定该智能设备是严重损坏且无法操作、中度损坏但无法操作、中度损坏但可操作、还是轻微损坏且可操作。在一些实施例中,VIM系统450/451进一步被配置成用于评定判定智能运输设备事故中涉及智能运输设备4052/
4053时该智能运输设备4052/4053周围区域的状况。例如,可对智能运输设备4052/4053周围的区域进行评定,以确定如果智能运输设备4052/4053可操作那么是否存在用于智能运输设备4052/4053安全地移动到的安全路肩区域。
[0050] 仍然参考图4,智能运输设备4052和智能运输设备4053如果被涉及则可包括传感器410和411以及驾驶控制单元420和421。在一些实施例中,传感器410/411被配置成用于向VIM 450/451提供各种传感器数据,以使得VIM450/451能够判定智能运输设备事故中是否涉及智能运输设备4052/4053;如果是,那么是够涉及另一智能运输设备4053/4052;对乘员的状况进行评定;对智能运输设备的状况进行评定;和/或对周围区域的状况进行评定。在一些实施例中,传感器410/411可包括相机(面朝外以及面朝内)、光检测和测距(LiDAR)传感器、话筒、加速度计、陀螺仪、惯性测量单元(IMU)、引擎传感器、传动系传感器、胎压传感器等等。驾驶控制单元420/421可包括控制引擎的操作、传动方向盘、和/或对智能运输设备4052/4053的制动的电子控制单元(ECU)。将会领会,尽管本公开是指智能运输设备,但本公开旨在包括任何交通设备,包括汽车、火车、公共汽车、有轨电车、或包括在图1的智能空间内进行操作的机器的任何移动设备或机器,诸如叉车、推车、运输工具、输送机等。
[0051] 在一些实施例中,VIM系统450/451进一步被配置成用于至少部分地基于对(多个)乘员状况的(多个)评定、对智能运输设备的状况的评定、对周围区域的状况的评定、和/或与其他智能运输设备交换的信息来独立地和/或与图1的AI 122组合地确定乘员照顾动作或智能运输设备动作。例如,乘员和/或智能运输设备照顾动作可包括立即开车将(多个)乘员送至附近医院、与急救人员或其他人员(例如,图1的人106、108)进行协调、将智能运输设备移动至路肩或智能空间中的特定位置等等。在一些实施例中,VIM 450/451可将驾驶命令发出或使得这些驾驶命令被发出到驾驶控制单元420/421或者将来自AI122的驾驶命令接收到驾驶控制单元420/421,以移动智能运输设备4052/4053,从而实现或有助于实现乘员或智能运输设备照顾动作。
[0052] 在一些实施例中,IVI系统400可凭自身或者响应于用户交互或AI 122交互而经由无线信号中继器或智能运输设备4052附近的发射塔4056上的基站以及一个或多个私有和/或公共有线和/或无线网络4058与智能运输设备外部的一个或多个远程内容服务器4060进行通信或交互。服务器4060可以是与为智能运输设备4052/4053提供保险的保险公司相关联的服务器、与法律实施相关联的服务器、或提供智能运输设备事故相关服务(诸如,将报告/信息转发至向保险公司、维修店等等)的第三方服务器。私有和/或公共有线和/或无线网络4058的示例可包括因特网、蜂窝服务提供商的网络、智能空间内的网络等等。应当理解,当智能运输设备4052/4053正在它去往它的目的地的途中时,发射塔4056在不同的时刻/位置可能是不同的塔。出于该说明书的目的,智能运输设备4052和4053可被称为智能运输设备事故智能运输设备、或者智能运输设备。
[0053] 图5图示出根据各实施例的示例性神经网络。如所图示,神经网络500包括输入层512、一个或多个隐藏层514、以及输出层516的多层前馈神经网络(FNN)。输入层512接收输入变量(xi)502的数据。将领会,人工神经网络(ANN)是基于堆叠在层中的互连的“神经元”之间的连接。在FNN中,数据在一个方向上移动而不进行周期或循环,其中,数据可从输入节点移动通过隐藏节点(如果存在)并且随后到达输出节点。以上参考图1的AI 122的操作所讨论的卷积神经网络(CNN)是可以良好工作的一种类型的FNN,如所讨论,CNN处理诸如视频、图像等之类的视觉数据。
[0054] (多个)隐藏层514处理输出,并且最终,输出层516输出判定或评定(yi)504。在一个示例实现方式中,神经网络的输入变量(xi)502被设置为包含相关变量数据的向量,而神经网络的输出判定或评定(yi)504也是向量。多层FNN可通过下列等式来表达:
[0055] 对于i=1,...,N
[0056] 对于i=1,...,S
[0057] 其中,hoi和yi分别是隐藏层变量和最终输出。f()典型地是非线性函数,诸如,模仿人类大脑的神经元的sigmoid函数(s形函数)或修正线性(ReLu)函数。R是输入的数量。N是隐藏层的尺寸或神经元的数量。S是输出的数量。FNN的目的是通过经由训练来改编网络变量iw、hw、hb和ob而使网络输出与所期望的目标之间误差函数E最小化,如下:
[0058] 其中
[0059] 其中,ykp和tkp分别是样本k的第p个输出单元的预测值和目标值,并且m是样本的数量。
[0060] 在一些实施例中,并且如参考图2所讨论,实现FNN的环境(诸如,图3的AI处理后端316)可包括预先训练的神经网络500,以判定诸如车辆之类的智能运输设备是否不涉及事故或意外、涉及不具有另一智能运输设备的事故或意外、或者与至少一个其他智能运输设备一起涉及事故或意外(诸如,两辆车之间的意外)。输入变量(xi)502可包括从面朝外的相机的图像识别出的对象以及诸如加速度计、陀螺仪、IMU等等之类的各种智能运输设备传感的读数。输出变量(yi)504可包括指示智能运输设备不涉及事故或意外、智能运输设备涉及到不涉及另一智能运输设备的事故或意外、以及智能运输设备涉及到涉及至少一个其他智能运输设备(诸如车辆)的事故或意外的真或假,。用于判定智能运输设备是否涉及另一智能设备是否涉及的神经网络的(多个)隐藏层的网络变量至少部分地通过对数据进行训练来确定。在一个实施例中,FNN可通过监视和对事件的自动标识来完全或部分地自我训练。
[0061] 在一个实施例中,智能运输设备包括乘员评定子系统(参见例如图4的讨论),该乘员评定子系统包括预先训练的神经网络500以评定乘员的状况。输入变量(xi)502可包括在智能运输系统的向内看的相机的图像识别的对象、传感器数据(诸如,心率)、来自由乘员携带或穿戴的移动设备或可穿戴设备上的传感器的GSR读数。输入变量可包括由AI推导出的信息,该AI诸如图2的如以上所讨论的对智能空间进行监视202的AI。将理解,智能运输设备可具有与其相关联的神经网络500,该神经网络500与同智能空间相关联的AI结合地或独立于该AI进行操作。输出变量(yi)504可包括指示选择或不选择从健康、中度受伤到严重受伤的状况水平的值。乘员评定子系统的神经网络的(多个)隐藏层的网络变量可通过对数据进行训练来确定。
[0062] 在一些实施例中,智能运输设备评定子系统可包括经训练的神经网络500以评定智能运输设备的状况。输入变量(xi)502包括在智能运输设备的向外看的相机的图像中识别出的对象、传感器数据,诸如,减速数据、撞击数据、引擎数据、驾驶训练数据等等。输入变量还可包括从AI接收的数据,该AI诸如,可监视智能运输设备并由此具有可被提供给智能运输设备的评定数据的图1的AI 122。输出变量(yi)504可包括指示选择或不选择从完全可操作、部分可操作到不可操作的状况水平的值。智能运输设备评定子系统的神经网络的(多个)隐藏层的网络变量可至少部分地通过对数据进行训练来确定。
[0063] 在一些实施例中,外部环境评定子系统可包括经训练的神经网络500以评定智能运输设备的紧接周围区域的状况。输入变量(xi)502包括在智能运输设备的向外看的相机的图像中识别出的对象、传感器数据,诸如,温度、湿度、降水、阳光等等。输出变量(yi)504可包括指示选择或不选择从晴天且没有降水、多云且没有降水、轻度降水、中度降水和强降水的状况水平的值。外部环境评定子系统的神经网络的(多个)隐藏层的网络变量可通过对数据进行训练来确定。
[0064] 在一些实施例中,提供FNN的环境可进一步包括另一经训练的神经网络500以确定乘员/智能运输设备照顾动作。动作可自主地确定和/或与另一AI的操作结合地确定(诸如,在由该另一AI监视的智能空间内进行操作时)。输入变量(xi)502可包括各种乘员评定度量、各种智能运输设备评定度量以及各种外部环境评定度量。输出变量(yi)504可包括指示选择或不选择各种乘员/智能运输设备照顾动作的值,这些乘员/智能运输设备照顾动作例如,开车将乘员送到附近医院、将智能运输设备移动至路边并召唤急救人员、待在原地并召唤急救人员、或继续到维修店或目的地。类似地,用于确定乘员和/或智能运输设备照顾动作的神经网络的(多个)隐藏层的网络变量也可通过对数据进行训练来确定。如图5中所图示,为了简化说明,在神经网络中仅存在一个隐藏层。在一些其他实施例中,可能存在许多隐藏层。此外,神经网络可以采用一些其他类型的拓扑结构,诸如,如以上所讨论的卷积神经网络(CNN)、递归神经网络(RNN)等等。
[0065] 图6图示出根据各实施例的智能运输设备事故管理系统的示例性软件组件视图。图示出根据各实施例的智能运输设备车辆事故管理(VIM)系统的软件组件视图。如所示,对于实施例,VIM系统600(其可以是VIM系统400)包括硬件602和软件610。软件610包括主存数个虚拟机(VM)622-628的管理程序612。管理程序612被配置成用于主存VM 622-628的执行。
VM 622-628包括服务VM 622和数个用户VM 624-628。服务机622包括主存数个仪表盘应用
632的执行的服务OS。用户VM 624-628可包括:第一用户VM 624,具有主存前排座位信息娱乐应用634的执行的第一用户OS;第二用户VM 626,具有主存后排座位信息娱乐应用636的执行的第二用户OS;第三用户VM 628,具有主存智能运输设备事故管理系统的执行的第三用户OS,等等。
[0066] 除了本公开的智能运输设备事故管理技术450之外,软件610的元件612-638可以是本领域中已知的数个这些元件中的任一者。例如,管理程序612可以是数个本领域中已知的管理程序中的任一者,诸如,可从佛罗里达州劳德代尔堡的思杰公司(Citrix Inc)获得的KVM、开源管理程序、Xen或者可从加利福尼亚州帕洛阿尔托的VMware公司获得的VMware。类似地,服务VM 622的服务OS以及用户VM 624-628的用户OS可以是本领域中已知的数个OS中的任一者,诸如,例如可从北卡罗来纳州罗利市的Red Hat公司获得的Linux、或可从加利福尼亚州山景城的谷歌公司获得的Android。
[0067] 图7图示出根据各实施例的智能运输设备事故管理系统的示例性硬件组件视图。如所示,计算平台700(其可以是图6的硬件602)可包括一个或多个芯片上系统(SoC)702、ROM 703以及系统存储器704。每个SoC 702可包括一个或多个处理器核(CPU)、一个或多个图形处理器单元(GPU)、一个或多个加速器,该加速器诸如计算机视觉(CV)或深度学习(DL)加速器。ROM 703可包括基本输入/输出系统服务(BIOS)705。CPU、GPU和CV/DL加速器可以是本领域中已知的数个这些元件中的任一者。类似地,ROM 703和BIOS 705可以是本领域中已知的数个ROM和BIOS中的任一者,并且系统存储器704可以是本领域中已知的数种易失性存储中的任一者。
[0068] 另外,计算平台700可包括持久性存储设备706。持久性存储设备706的示例可包括但不限于,闪存驱动器、硬盘驱动器、紧凑盘只读存储器(CD-ROM)等等。进一步地,计算设备700可包括一个或多个输入/输出(I/O)接口708以与一个或多个I/O设备对接,这些I/O设备诸如,传感器720,以及但不限于,(多个)显示器、(多个)键盘、(多个)光标控制装置等等。计算平台700还可包括一个或多个通信接口710(诸如,网络接口卡、调制解调器等等)。通信设备可包括本领域中已知的任何数量的通信和I/O设备。通信设备的示例可包括但不限于,用于 近场通信(NFC)、WiFi、蜂窝通信(诸如,LTE 4G/5G)等等的联网接口。可经由系统总线712将这些元件彼此耦合,该系统总线712可表示一个或多个总线。在多个总线的情况下,可由一个或多个总线桥(未示出)来桥接它们。
[0069] 这些元件中的每个元件可执行在本领域中已知的它的常规功能。具体而言,ROM 703可包括具有引导加载器的BIOS 705。可采用系统存储器704和大容量存储设备706来存储编程指令的工作副本和永久副本,这些编程指令实现与管理程序612、服务/用户VM 622-
628的服务/用户OS、以及VIM技术450的组件(诸如,乘员状况评定子系统、智能运输设备评定子系统、外部环境状况评定子系统等等)相关联的操作,这些编程指令的副本被统称为计算逻辑。可通过由SoC 702的(多个)处理器核支持的汇编指令或可以被编译成此类指令的诸如例如C之类的高级语言来实现各种元件。
[0070] 如本领域技术人员将理解,本公开可被具体化为方法或计算机程序产品。相应地,除采用如之前所描述的硬件来具体化本公开之外,本公开还可采取完全软件实施例(包括固件、驻留软件、微代码等)或结合硬件与软件方面的实施例的形式,所有所述形式在本文中一般都称为“电路”、“模块”或“系统”。此外,本公开可采取计算机程序产品的形式,该计算机程序产品被具体化在表达的任何有形的或非瞬态介质中,该表达具有被具体化在该介质中的计算机可用的程序代码。图8图示出示例计算机可读的非瞬态存储介质,其适于用来存储指令,响应于由设备对这些指令的执行,这些指令使该设备实施本公开的所选择的方面。
[0071] 图8图示出根据各实施例的可采用本文中所描述的装置和/或方法的各方面的示例性计算机设备800。将会领会,图8包含与其他附图中所调出的项目类似的项目,并且它们可以是相同的项目或简单地类似,并且它们可以相同地操作或者它们可在内部非常不同地操作但提供类似的输入/输出系统。如所示,计算机设备800可包括数个组件,诸如,一个或多个处理器802(示出一个)和至少一个通信芯片804。在各实施例中,一个或多个处理器802各自可包括一个或多个处理器核。在各实施例中,至少一个通信芯片804可物理耦合或电耦合至一个或多个处理器802。在进一步的实现方式中,(多个)通信芯片804可以是一个或多个处理器802的部分。在各实施例中,计算机设备800可包括印刷电路板(PCB)806。对于这些实施例,可将一个或多个处理器802和(多个)通信芯片804设置在其上。在替代实施例中,可在不采用PCB 806的情况下耦合各组件。
[0072] 取决于其应用,计算机设备800可包括可物理耦合以及电耦合至PCB 806或者可不物理耦合以及不电耦合至PCB 806的其他组件。这些其他组件包括但不限于,存储器控制器808、易失性存储器(例如,动态随机存取存储器(DRAM)810)、非易失性存储器(诸如,只读存储器(ROM)812、闪存814、存储设备816(例如,硬盘驱动器(HDD))、I/O控制器818、数字信号处理器820、密码处理器822、图形处理器824(例如,图形处理单元(GPU)或用于执行图形的其他电路)、一根或多根天线826、显示器(其可以是触摸屏显示器828或者可与触摸屏显示器828结合地工作)、触摸屏控制器830、电池832、音频编解码器(未示出)、视频编解码器(未示出)、诸如全球定位系统(GPS)834之类的定位系统(将会领会,可适用其他位置技术)、罗盘836、加速度计(未示出)、陀螺仪(未示出)、扬声器838、相机840、以及其他大容量存储设备(诸如,硬盘驱动器、固态驱动器、紧凑盘(CD)、数字多功能盘(DVD))(未示出)等等。
[0073] 如本文中所使用,术语“电路系统”或“电路”可指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的、或组)和/或存储器(共享的、专用的、或组)、组合逻辑电路、处理器、微处理器、可编程门阵列(PGA)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或提供所描述的功能的其他合适的组件,可以是这些组件的部分,或者可包括这些组件。注意,尽管本公开能以单数来指代处理器,但这仅是为了说明方便,并且本领域技术人员将会领会,可采用多个处理器、具有多个核的处理器、虚拟处理器等来执行所公开的实施例。
[0074] 在一些实施例中,一个或多个处理器802、闪存814和/或存储设备816可包括存储编程指令的相关联的固件(未示出),这些编程指令被配置成用于响应于由一个或多个处理器802对这些编程指令的执行而使得计算设备800能够实施本文中所描述的方法的所有的或所选择的方面。在各实施例中,可使用与一个或多个处理器802、闪存814或存储设备816分开的硬件来附加地或替代地实现这些方面。在一个实施例中,诸如闪存或计算机设备中的其他存储器之类的存储器是块可寻址或字节可寻址的存储器设备或者可包括可寻址或字节可寻址的存储器设备,诸如,基于NAND、NOR的那些存储设备、相变存储器(PCM)、纳米线存储器、以及包括下一代非易失性设备的其他技术,诸如,三维交叉点存储器设备、或其他字节可寻址的就地写入非易失性存储器设备。在一个实施例中,存储器设备可以是或者可包括使用硫属化物玻璃的存储器设备、多阈值级别NAND闪存、NOR闪存、单级或多级PCM、电阻式存储器、铁电晶体管随机存取存储器(FeTRAM)、反铁电存储器、包含忆阻器技术的磁阻随机存取存储器(MRAM)、包括金属氧化物基底、氧空位基底和导电桥随机存取存储器(CB-RAM)的电阻式存储器、或自旋转移力矩(STT)-MRAM、基于自旋电子磁结存储器的设备、基于磁隧穿结(MTJ)的设备、基于DW(畴壁)和SOT(自旋轨道转移)的设备、基于晶闸管的存储器设备、或者任何上述或其他存储器的组合。存储器设备可指代管芯本身和/或指代封装的存储器产品。
[0075] 在各实施例中,计算机设备800的一个或多个组件可实现图1的项目102、104、110、122、126、图3的项目302-316、图4的项目4052、4053、4060等的实施例。因此,例如,处理器
802可以是通过存储器控制器808与存储器810进行通信的图7的SoC 702。在一些实施例中,I/O控制器818进而与一个或多个外部设备对接以接收数据。另外或替代地,可使用外部设备来接收在计算机设备800的组件之间传送的数据信号。
[0076] (多个)通信芯片804可实现用于从计算机设备800传输数据和将数据传输到计算机设备800的有线和/或无线通信。术语“无线”及其衍生词可用于描述电路、设备、系统、方法、技术、通信信道等,其可通过使用经调制的电磁辐射,通过非固态介质来传播数据。尽管相关联的设备在一些实施例中可能不包含任何线,但是该术语并不暗示相关联的设备不包含任何线。(多个)通信芯片可实现数个无线标准或协议中的任何一个,包括但不限于IEEE 802.20、长期演进(LTE)、LTE高级(LTE-A)、通用分组无线服务(GPRS)、演进数据最优化(Ev-DO)、演进型高速分组接入(HSPA+)、演进型高速下行链路分组接入(HSDPA+)、演进型高速上行链路分组接入(HSUPA+)、全球移动通信系统(GSM)、GSM演进增强型数据速率(EDGE)、码分多址(CDMA)、时分多址(TDMA)、数字增强型无绳电信(DECT)、全球微波互联接入(WiMAX)、蓝牙、其衍生物以及称为3G、4G、5G和进一步的任何其他无线协议。计算机设备可包括多个通信芯片804。例如,(多个)第一通信芯片可专用于较短程的无线通信,诸如Wi-Fi和蓝牙、或其他标准或专有较短程通信技术;并且第二通信芯片804可专用于较长程的无线通信,诸如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO等等。
[0077] (多个)通信芯片可实现任何数量的标准、协议,和/或技术数据中心典型地使用诸如提供高速低等待时间的通信的联网技术。计算机设备800可支持此处所标识的任何基础设施、协议和技术,并且由于新的高速技术已知被实现,因此本领域技术人员将会领会,期待计算机设备支持等效的当前已知的技术或未来实现的技术。
[0078] 在各实现方式中,计算机设备800可以是膝上型计算机、上网本、笔记本、超级本、智能电话、计算机平板、个人数字助理(PDA)、超移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元(例如,游戏控制台、汽车娱乐单元等)、数码相机、家用电器、便携式音乐播放器或数字视频记录仪、或者交通设备(例如,诸如自行车、摩托车、汽车、出租车、火车、飞机、无人机、火箭、机器人、智能运输设备等之类的任何机动或手动设备)。将领会,计算机设备800旨在是处理数据的任何电子设备。
[0079] 图9图示出示例性计算机可读存储介质900,具有用于实施本文中所讨论的各实施例的指令。该存储介质可以是非瞬态的,并且可包括一个或多个限定区域,该一个或多个限定区域包括数条编程指令904。编程指令904可被配置成用于使得设备(例如,图1的AI 122或图7的计算平台700)能够响应于对这些编程指令的执行而实现智能空间监视并预测对事件、事故或意外等的响应的(各方面)、或管理程序412、服务/用户VM 422-428的服务/用户OS、以及VIM技术的组件(诸如,主系统控制器、乘员状况评定子系统、智能运输设备评定子系统、外部环境状况评定子系统等等)。在替代实施例中,可将编程指令904设置在多个计算机可读非瞬态存储介质902上。在另外的其他实施例中,可将编程指令904设置在诸如信号之类的计算机可读瞬态存储介质902上。
[0080] 可以使用一个或多个计算机可用或计算机可读介质的任意组合。计算机可用或计算机可读介质可以是,例如但不限于,电、磁、光、电磁、红外、或半导体系统、装置、设备或传播介质。计算机可读介质的更具体示例(非穷举列表)将包括下列各项:具有一条或多条线的电连接件、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式压缩盘只读存储器(CD-ROM)、光存储设备、诸如支持因特网或内联网的传输介质的传输介质或磁存储设备。注意,计算机可用或计算机可读介质甚至可以是其上打印有程序的纸张或另一合适的介质,因为程序可以经由例如对纸张或其他介质的光学扫描而被电子地捕获,随后如有必要被编译、解释,或以其他合适的方式处理,并随后存储在计算机存储器中。在本文档的情境中,计算机可用或计算机可读介质可以是可包含、储存、通信、传播、或传输程序以供指令执行系统、装置或设备使用或结合指令执行系统、装置或设备一起使用的任何介质。计算机可使用介质可以包括在基带中或者作为载波的一部分体现在其中的计算机可使用程序代码的所传播的数据信号。计算机可用程序代码可以使用任何适当的介质(包括但不限于无线、电线、光缆、RF等)进行传输。
[0081] 用于执行本公开的操作的计算机程序代码可以一种或多种编程语言的任意组合来编写,包括面向对象编程语言(例如Java、Smalltalk、C++等等)以及常规程序化编程语言(诸如“C”编程语言或类似的编程语言)。该程序代码可完全在用户的计算机上执行,部分地在用户的计算机上执行,作为独立式软件包执行,部分地在用户的计算机上并且部分地在远程计算机上执行,或完全在远程计算机或服务器上执行。在后一场景中,可通过任意类型的网络(包括局域网(LAN)或广域网(WAN))将远程计算机连接至用户的计算机,或可作出至外部计算机的该连接(例如,通过使用因特网服务提供商的因特网)。
[0082] 参照根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或框图来描述本公开。应该理解的是,可以由计算机程序指令来实现流程图说明和/或框图的每个方框以及流程图说明和/或框图的各方框的组合。这些计算机程序指令可提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生一种机器,使得经由计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现流程图和/或方框图方框或多个方框中指定的功能/动作的手段。
[0083] 这些计算机程序指令还可被存储在计算机可读介质内,所述计算机可读介质可以指挥计算机或其他可编程的数据处理装置,以便以特定方式发挥作用,使得存储在计算机可读介质内的指令产生包括实现流程图和/或方框图方框或多个方框中指定的功能/动作的指令手段的制造品。
[0084] 计算机程序指令也可加载到计算机或其他可编程数据处理设备上,以促使一系列操作步骤在所述计算机或其他可编程设备上执行,从而产生计算机实现的过程,使得在所述计算机或其他可编程设备上执行的所述指令能够提供用于实现流程图和/或方框图方框或多个方框中指定的功能/动作的过程。
[0085] 多个图中的流程图和框图示出根据本公开的各实施例的系统、方法和计算机程序产品的可能的实现的架构、功能和操作。在这方面,流程图或框图中的每一个框可表示包括用于实现所指定的逻辑功能的一条或多条可执行指令的代码模块、代码段或代码部分。还应当注意,在一些替代实现中,框中所标注的多个功能可不按图中所标注的次序发生。例如,取决于所涉及的功能,实际上可基本上同时执行连续地示出的两个框,或者有时可按相反的次序来执行这些框。也将注意,可由执行所指定功能或动作的专用基于硬件的系统或专用硬件和计算机指令的多种组合来实现框图和/或流程图说明中的每一个框和框图和/或流程图说明中的多个框的组合。
[0086] 本文中所使用的术语仅用于描述特定实施例,并且不旨在限制本公开。如本文中所使用的,单数形式的“一”(“a”、“an”)和“该”(“the”)旨在也包括复数形式,除非上下文另外清楚地指示。还将理解,当在本说明书中使用术语包括摂(“comprise”和/或“comprising”)时,其指定所陈述的特征、整数、步骤、操作、元件、和/或组件的存在,但不排除除此之外的一个或多个其他特征、整数、步骤、操作、元件、组件、和/或它们的组的存在。
[0087] 可将实施例实现为计算机进程、计算系统或实现为制品,诸如,计算机可读介质的计算机程序产品。计算机程序产品可以是计算机存储介质,该计算机存储介质可由计算机系统读取并对计算机程序指令编码以执行计算机进程。所附权利要求书中的所有装置或步骤以及功能元件的对应的结构、材料、动作及等效物旨在包括用于结合明确要求其权利的其他要求保护的元件来执行功能的任何结构、材料或动作。已出于说明和描述的目的呈现了本公开的描述,但是该描述不旨在是穷举性的,也不限于按所公开形式的本公开。许多修改和变型对本领域普通技术人员将是显而易见的,而不背离本公开的范围和精神。选择并描述实施例是为了最好地解释本公开的原理和实际应用,并且使其他本领域普通技术人员能够理解对具有各种修改的实施例的公开适用于所构想的特定使用。
[0088] 存储介质可以是瞬态的、非瞬态的、或者瞬态和非瞬态介质的组合,并且该介质可适于用来存储指令,这些指令响应于由装置对指令的执行而使得装置、机器或其他设备执行本公开的所选择的方面。如本领域技术人员将理解,本公开可被具体化为方法或计算机程序产品。相应地,除采用如之前所描述的硬件来具体化本公开之外,本公开还可采取完全软件实施例(包括固件、驻留软件、微代码等)或结合硬件与软件方面的实施例的形式,所有所述形式在本文中一般都称为“电路”、“模块”或“系统”。此外,本公开可采取计算机程序产品的形式,该计算机程序产品被具体化在表达的任何有形的或非瞬态介质中,该表达具有被具体化在该介质中的计算机可用的程序代码。
[0089] 以下是示例性实施例以及实施例的组合的示例。将会领会,一个示例可取决于多个示例,这些示例进而又取决于多个实施例。旨在使包括依赖于乘法的示例在内的示例的所有组合都是可能的。在组合无意中矛盾的意义上,旨在使所有其他组合保持有效。通过示例依赖性层级结构的每个可能遍历旨在是示例性的。
[0090] 示例1可以是一种智能空间的系统,该系统至少包括与智能空间中的第一项目相关联的第一传感器、代理、以及与神经网络相关联的用于监视该智能空间的第二传感器,具有训练的该神经网络由来自第二传感器的数据至少部分地自我训练;该系统包括:第一传感器,用于指示第一项目的第一状态;第二传感器,用于提供智能空间的表示;以及代理,具有随时间与代理活动相对应的代理状态;其中,神经网络用于接收第一状态、智能空间的表示以及代理状态作为输入,并且用于至少部分地基于输入和训练来预测是否发生事故以及代理状态是否与对该事故的响应相对应。
[0091] 示例2可以是示例1,其中,神经网络能够至少部分地基于由神经网络对到该神经网络的反馈信号的分析来确定代理状态,该反馈信号包括以下各项中所选择的一项或两项:智能空间的表示、或与代理相关联的第三传感器。
[0092] 示例3可以是示例1或示例2,进一步包括与事故相对应的警示;其中,如果神经网络预测到对该警示的响应,则该神经网络将清除该警示。
[0093] 示例4可以是示例3,其中,神经网络跨存储模型的一组一个或多个机器被实现,该模型至少部分地基于训练,神经网络用于至少部分地基于该模型来预测响应是否为对警示的适当响应,并且如果是,则清除该警示。
[0094] 示例5可以是示例1或示例2-4中的任一项,其中,代理可以是人员或项目,并且神经网络包括:项目识别组件,用于识别智能空间中的项目;人员识别组件,用于识别智能空间中的人;地图组件,用于对所识别的项目和人绘制地图;以及推断组件,用于预测智能空间内的未来活动;其中,神经网络用于至少部分地基于来自推断组件的输出来预测代理活动是否为对事故的适当响应。
[0095] 示例6可以是示例1或示例2-5中的任一项,其中,第一传感器与物联网(IoT)设备相关联,并且第二传感器与代理的IoT设备相关联,其中,代理状态至少部分地基于由第二传感器提供的数据而被确定。
[0096] 示例7可以是示例1或者示例2-6中的任一项,其中,神经网络用于识别代理与第一项目之间的交互,并且神经网络用于至少部分地基于该交互来预测代理活动是否为对事故的适当响应。
[0097] 示例8可以是示例7,其中,如果神经网络预测出如果代理活动不能提供对事故的适当响应,则该神经网络将发出警示。
[0098] 示例9可以是示例1或示例2-8中的任一项,其中,神经网络基于邻近于智能空间的传感器并且基于智能空间的表示来对该智能空间绘制地图。
[0099] 示例10可以是一种用于神经网络来控制警示以向代理委派任务从而对智能空间中的事故进行响应的方法,包括:至少部分地基于提供智能空间的表示的第一传感器来对神经网络进行训练,该训练包括监视智能空间、预测智能空间中的活动、以及确认所预测的活动是否与实际活动相对应;接收指示智能空间中发生的事故的信号;对推断模型进行操作,以判定是否需要对事故的响应;激活警示以向代理委派任务从而对事故进行响应;监视智能空间的表示并标识代理活动;以及判定代理活动是否为对事故的响应。
[0100] 示例11可以是示例10,其中:训练包括建立标识智能空间中的至少项目和人的基线模型,并且项目和人具有相关联的属性,该相关联的属性至少包括所述智能空间内的位置。
[0101] 示例12可以是示例10或示例11,其中,判定包括:预测代理在一时间段内的未来移动;将所预测的未来移动与所学习的响应于事故而进行的适当移动进行比较;以及判定所预测的未来移动是否与所学习的适当移动相对应。
[0102] 示例13可以是示例10或示例11-12中的任一项,进一步包括:判定代理活动不是对事故的响应;以及逐渐升级警示。
[0103] 示例14可以是示例10或示例11-13中的任一项,其中,神经网络通过监视智能空间内的传感器和智能空间的表示来自我训练,方法包括:至少部分地基于标识智能空间中的常见事故和对该智能空间中的常见事故的典型响应来开发推断模型;以及至少部分地基于将推断模型应用于代理活动以识别与典型响应的对应性来判定该代理活动是否为对事故的响应。
[0104] 示例15可以是示例10或示例11-14中的任一项,其中,神经网络向代理提供指令,并且该代理是以下各项中所选择的一项:第一人员、第一半自主智能运输设备、或第二智能运输设备内部的第二人员。
[0105] 示例16可以是示例10或示例11-15中的任一项,其中,代理可以是人员或项目,方法进一步包括:识别智能空间中的项目;识别智能空间中的人;对所识别的项目和人绘制地图;应用推断模型,以预测与智能空间相关联的未来活动;以及至少部分地基于应用该推断模型来预测代理活动是否为对事故的适当响应。
[0106] 示例17可以是示例16或示例10-15中的任一项,其中,信号接收自与物联网(IoT)设备相关联的第一传感器,并且第二传感器与代理的IoT设备相关联,其中,代理活动也部分地基于第二传感器而被确定。
[0107] 示例18可以是示例10或示例11-17中的任一项,其中,代理活动包括代理与第一项目之间的交互,方法进一步包括:识别代理与第一项目之间的交互;判定代理活动是对事故的响应;预测该响应是否为对事故的适当响应;以及响应于该响应不能提供适当的响应而向代理发出指令。
[0108] 示例19可以是具有指令的一种或多种非暂态计算机可读介质,这些指令用于神经网络控制警示以向代理委派任务从而对智能空间中的事故进行响应,这些指令用于提供:至少部分地基于提供智能空间的表示的第一传感器来对神经网络进行训练,该训练包括监视智能空间、预测智能空间中的活动、以及确认所预测的活动是否与实际活动相对应;接收指示智能空间中发生的事故的信号;对推断模型进行操作,以判定是否需要对事故的响应;
激活警示以向代理委派任务从而对事故进行响应;监视智能空间的表示并标识代理活动;
以及判定代理活动是否为对事故的响应。
[0109] 示例20可以是示例19,其中,用于训练的指令进一步包括用于建立标识智能空间中的至少项目和人的基线模型的指令,并且其中,介质进一步包括用于将属性与项目和人相关联的指令,这些属性至少包括智能空间内的位置。
[0110] 示例21可以是示例19或示例20,其中,用于判定的指令进一步包括用于提供以下各项操作的指令:预测代理在一时间段内的未来移动;将所预测的未来移动与所学习的响应于事故而进行的适当移动进行比较;以及判定所预测的未来移动是否与所学习的适当移动相对应。
[0111] 示例22可以是示例21或示例19-20,其中,指令进一步包括用于神经网络的操作的指令,这些指令用于提供:通过监视智能空间内的传感器和智能空间的表示来自我训练;至少部分地基于标识智能空间中的常见事故和对该智能空间中的常见事故的典型响应来开发推断模型;以及至少部分地基于将推断模型应用于代理活动以识别与典型响应的对应性来判定该代理活动是否为对事故的响应。
[0112] 示例23可以是示例19或示例20-22,指令包括用于提供以下各项操作的指令:确定代理的分类,包括标识该代理是否为第一人员、半自主智能运输设备、或第二智能运输设备内部的第二人员;以及根据该分类来向代理提供指令。
[0113] 示例24可以是示例19或示例20-23,其中,代理可以是人员或项目,指令进一步包括用于提供以下各项操作的指令:识别智能空间中的项目;识别智能空间中的人;对所识别的项目和人绘制地图;应用推断模型,以预测与智能空间相关联的未来活动;以及至少部分地基于应用该推断模型来预测代理活动是否为对事故的适当响应。
[0114] 示例25可以是示例24或示例20-23,其中,指令进一步包括用于提供以下各项操作的指令:标识包括代理与第一项目之间的交互的代理活动;识别代理与第一项目之间的交互;判定代理活动是对事故的响应;预测该响应是否为对事故的适当响应;以及响应于该响应不能提供适当的响应而向代理发出指令。
[0115] 对于本领域技术人员将是显而易见的是,可在所公开的设备和相关联的方法的所公开的实施例中作出各种修改和变型,而不背离本公开的精神和范围。因此,如果修改和变型落入任何权利要求及其等效方案的范围之内,则本公开旨在涵盖以上所公开的多个实施例的修改和变型。

当前第1页 第1页 第2页 第3页