[0001] 本发明涉及一种动作识别装置、动作识别方法、存储介质以及动作识别系统。

[0002] 以往，作为对人物的动作进行识别的技术，多是识别成为对象的人物整体上进行何种动作。例如，下述专利文献1中，在进行手语的情况下，识别手指的动作与头部等手指以外的动作，将通过这些动作来表达的手语文翻译成日语。而且，下述专利文献2中，对抓持着道具的手可采取的动作与未抓持道具的手可采取的动作进行识别，以识别成为对象的人物在抓持着道具的状态下进行的动作。

[0003] [现有技术文献]

[0004] [专利文献]

[0005] 专利文献1：日本专利特开2003-50663号公报

[0006] 专利文献2：日本专利特开2013-45351号公报

[0064] 以下，基于附图来说明本发明的一方面的实施方式(以下称作“本实施方式”)。另外，各图中，标注了相同符号的部分具有相同或同样的结构。

[0065] §1适用例

[0066] 首先，使用图1来说明适用本发明的场景的一例。本实施方式的动作识别系统100利用图像传感器20a、图像传感器20b、图像传感器20c来拍摄在某作业区域R进行的作业者A的动作，获取了所述拍摄的动态图像的动作识别装置10针对作业者A的每个身体部位来识别动作，将识别出的结果对应于每个身体部位而依时间序列排列显示。

[0067] 本实施方式中，作为作业者A的身体部位，使用右手、左手及眼睛来进行说明，但作业者A的身体部位并不限定于此。例如，也可使用头、右手的手指、左手的手指、右脚、左脚等来作为作业者A的身体部位。

[0068] 作业者A的动作例如可包含：对收容在各零件箱Ra、零件箱Rb、零件箱Rc中的零件进行目测的动作；抓持所目测的零件的动作；将所抓持的零件搬运到作业空间Rd的动作；对搬运到作业空间Rd的零件进行装配等调整零件的动作；以及将完成品收纳到收纳场所Re的动作等。

[0069] 动作识别装置10设为识别对象的各别动作是作为动作信息而预先存储。动作识别装置10基于动作信息与动态图像，针对作业者A的每个身体部位来识别相当于各别动作的任一个的作业者A的动作。并且，动作识别装置10按照作业者A的身体部位而生成动作识别结果信息，所述动作识别结果信息包含对与所识别的作业者A的动作对应的各别动作进行开始的时间及结束的时间。进而，动作识别装置10基于所生成的动作识别结果信息，将按照身体部位的动作识别结果依时间序列排列显示，以便能够进行比较。

[0070] 由此，根据本实施方式的动作识别装置10，能够各别地识别以作业者A的每个身体部位进行的动作，进而，将按照身体部位的动作识别结果依时间序列排列显示。

[0071] §2结构例

[0072] [功能结构]

[0073] 接下来，使用图2，对于本实施方式的动作识别系统100的功能结构来说明其一例。动作识别系统100包括三台图像传感器20a、20b、20c与动作识别装置10。以下，在不需要特别区分记载三台图像传感器20a、20b、20c的情况下，记载为图像传感器20。动作识别装置10例如具有获取部11、动作识别部12、显示部13、学习部14及存储部19以作为功能结构。存储部19例如存储动态图像19a、动作信息19b、动作识别结果信息19c及学习完毕模型19d。各功能结构的详情将在以下依序记载。

[0074] ＜图像传感器＞

[0075] 图像传感器20例如是通用的摄像机，拍摄包含作业者A在作业区域R进行动作的场景的动态图像。图像传感器20例如具有探测部作为功能结构。探测部探测作业者A的动作，将表示所述动作的动态图像作为时间序列信息而输出。

[0076] 此处，时间序列信息并不限定于动态图像。例如，也可为表示由取代图像传感器20而配设的运动捕捉器(motion capturer)所测定的作业者A的动作的与坐标值相关的信息，或者表示将取代图像传感器20而配设的加速度传感器或陀螺仪(gyro)传感器佩戴于作业者A而测定的作业者A的动作的信息，或者根据由取代图像传感器20而配置在作业区域R中的光电传感器所探测的对特定区域的入(IN)或出(OUT)的状态所推测的表示作业者A的动作的信息。

[0077] 各图像传感器20a、图像传感器20b、图像传感器20c被配置成，能够拍摄作业区域R的整个区域及作业者A的全身。例如，既可配置成，各图像传感器20a、图像传感器20b、图像传感器20c各自能够拍摄作业区域R的整个区域及作业者A的全身，也可配置成，各图像传感器20a、图像传感器20b、图像传感器20c各自拍摄作业区域R及作业者A的一部分，通过将各自的动态图像合成而能够覆盖作业区域R的整个区域及作业者A的全身。而且，各图像传感器20a、图像传感器20b、图像传感器20c也可分别以不同的倍率来拍摄作业区域R及作业者A。图像传感器20不需要包括三台，只要至少包括一台以上即可。

[0078] ＜获取部＞

[0079] 获取部11从图像传感器20获取与作业者A所进行的动作相关的时间序列信息(本实施方式中为动态图像)。获取部11所获取的时间序列信息被传输至存储部19，并被存储为动态图像19a。

[0080] ＜动作识别部＞

[0081] 动作识别部12基于对各别动作进行规定的动作信息19b及动态图像19a，针对所述作业者A的每个身体部位来识别相当于在动作信息19b中设定的各别动作的任一个的作业者A的动作。

[0082] 参照图3来说明动作信息19b的一例。本图所示的动作信息19b中，作为各别动作，例示性地设定有目测、抓持、搬运、调整这四个动作。

[0083] 所述动作信息19b中，目测被定义为识别对象的动作，抓持被定义为将手移动到对象并抓持的动作，搬运被定义为将对象移动到目的地的动作，调整被定义为移转至目标状态的动作。

[0084] 作为相当于目测动作的要素，设定有双列直插式封装(Double In-line Package，DIP)插入工序中所含的动作中的寻找零件的动作、确认零件的极性的动作、及确认零件插入孔的动作，且设定有壳体嵌合工序中所含的动作中的确认底座和盖的动作、及确认卡扣的动作，且设定有焊接工序中所含的动作中的查看烙铁的动作、确认焊盘的位置的动作、及确认焊料在焊盘上的润展情况的动作，且设定有螺丝紧固工序中所含的动作中的查看电动起子的动作、及确认螺纹的位置的动作。

[0085] 作为相当于抓持动作的要素，设定有DIP插入工序中所含的动作中的抓住零件的动作，且设定有壳体嵌合工序中所含的动作中抓住底座和盖的动作，且设定有焊接工序中所含的动作中的抓住烙铁的动作，且设定有螺丝紧固工序中所含的动作中的抓住电动起子的动作。

[0086] 作为相当于搬运动作的要素，设定有DIP插入工序中所含的动作中的移送零件的动作，且设定有壳体嵌合工序中所含的动作中的将盖移送到底座的动作，且设定有焊接工序中所含的动作中的将烙铁移送到焊盘的动作、及将焊丝移送到烙铁前端的动作，且设定有螺丝紧固工序中所含的动作中的将电动起子移送到螺纹的动作。

[0087] 作为相当于调整动作的要素，设定有DIP插入工序中所含的动作中的插入零件的动作，且设定有壳体嵌合工序中所含的动作中的使卡扣嵌合的动作，且设定有焊接工序中所含的动作中的将烙铁碰到焊盘的动作、及将焊丝碰到烙铁前端的动作，且设定有螺丝紧固工序中所含的动作中的利用电动起子来紧固螺丝的动作。

[0088] 另外，图3例示了将目测、抓持、搬运、调整的各动作设定为各别动作时的动作信息19b，但设定为各别动作的动作并不限定于所述各动作。设定为各别动作的动作能够配合作业者A所进行的作业的内容来适当规定。例如，也可取代所述四个动作中的目测动作，而将使完成品收纳到收纳场所的收纳动作设定为各别动作。

[0089] 而且，也能够将图3所例示的动作的要素一一设定为各别动作。此时，优选的是，限定为图3所例示的动作要素中的、能够基于动态图像19a来判别动作的开始时间点与动作的结束时间点的要素，来设定为各别动作。

[0090] 返回图2的说明。动作识别部12在按照身体部位来识别相当于在动作信息19b中设定的各别动作的任一个的作业者A的动作时，分别估算与所识别的作业者A的动作对应的各别动作的开始时间及该各别动作的结束时间。开始时间及结束时间例如能够通过下述方式来规定，即，将成为作业对象的所有工序中的最开头的工序开始的时间设为基准，算出从设为所述基准的时间起计起的经过时间。并且，动作识别部12将估算出的开始时间及结束时间关联于各别动作，由此，生成按照身体部位的动作识别结果。动作识别部12所生成的按照身体部位的动作识别结果被传送至存储部19，并存储为动作识别结果信息19c。

[0091] 参照图4的(A)及图4的(B)来说明动作识别结果信息19c。图4的(A)例示了作业者A的左手的动作识别结果信息19c，图4的(B)例示了作业者A的右手的动作识别结果信息19c。

[0092] 图4的(A)所例示的左手的动作识别结果信息19c表示了：从最开头的工序开始直至12秒为止，作业者A的左手的动作被识别为不相当于任何各别动作，从12秒直至13秒为止的期间，作业者A的左手的动作被识别为相当于各别动作中的抓持动作，从13秒直至15秒为止的期间，作业者A的左手的动作被识别为相当于各别动作中的搬运动作。

[0093] 图4的(B)所例示的右手的动作识别结果信息19c表示了：从最开头的工序开始直至10秒为止，作业者A的右手的动作被识别为不相当于任何各别动作，从10秒直至11秒为止的期间，作业者A的右手的动作被识别为相当于各别动作中的抓持动作，从11秒直至12秒为止的期间，作业者A的右手的动作被识别为相当于各别动作中的搬运动作。

[0094] 返回图2的说明。动作识别部12在对相当于各别动作的任一个的作业者A的动作进行识别时，能够利用学习完毕模型19d。所述学习完毕模型19d是将动作信息19b及动态图像19a设为输入，将表示相当于各别动作的任一个的作业者A的动作的信息设为输出的学习完毕模型，且是由学习部14所生成。学习完毕模型19d例如能够通过以下的(a)或(b)的方法来学习。

[0095] (a)负责人一边通过目视来确认动态图像19a，一边确定相当于各别动作的动作，以制作教学数据，所述教学数据是对应于每个身体部位而对所述确定的动作的开始时间或结束时间进行定义。学习部14除了动作信息19b及动态图像19a以外，还将教学数据输入至学习完毕模型19d，由此，使学习完毕模型19d学习每个身体部位的各别动作与动态图像19a中所含的每个身体部位的动作的对应关系。

[0096] (b)学习部14将动态图像19a的图像(动态图像)急遽变化的变化点提取为开始或结束各别动作的候选点。负责人一边通过目视来确认动态图像19a，一边针对所提取的每个候选点，对相当于各别动作的动作的开始时间或结束时间与进行此动作的身体部位进行定义，由此来制作教学数据。学习部14除了动作信息19b及动态图像19a以外，还将教学数据输入至学习完毕模型19d，由此，使学习完毕模型19d学习每个身体部位的各别动作与动态图像19a中所含的每个身体部位的动作的对应关系。

[0097] 动作识别部12将动作信息19b及动态图像19a输入至以此方式经学习的学习完毕模型19d，并基于从学习完毕模型19d输出的、表示相当于各别动作的任一个的作业者A的动作的信息，针对作业者A的每个身体部位来识别相当于各别动作的任一个的作业者A的动作。

[0098] 动作识别部12在基于动态图像19a来识别作业者A的每个身体部位的动作时，例如能够使用以下的(1)或(2)的方法来进行识别。

[0099] (1)从动态图像19a的图像中提取表示作业者A的骨架的动向的骨架数据，基于所述提取的骨架数据来识别作业者A的每个身体部位的动作。作为基于从图像中提取的骨架数据来识别动作的方法，例如能够使用时空图卷积网络(Spatial Temporal Graph Convolutional Networks，ST-GCN)等公知的动作识别方法。

[0100] (2)从动态图像19a的图像中提取作业者A的动向的特征量，基于所述提取的动向的特征量来识别作业者A的每个身体部位的动作。作为从图像中提取动向的特征量的方法，例如能够使用尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)、加速稳健特征(Speeded Up Robust Feature，SURF)等公知的特征量提取方法。

[0101] 动作识别部12识别动作的间隔能够任意设定，例如既能以动态图像的帧率为单位来识别，也能每隔规定时间例如每隔一秒等进行识别。

[0102] ＜显示部＞

[0103] 显示部13基于动作识别结果信息19c，将按照身体部位的动作识别结果依时间序列排列显示。图5例示将按照身体部位的动作识别结果依时间序列排列显示的图表。本图中，右手及左手的动作被识别为身体部位的动作，所述识别结果依时间序列受到排列显示。横轴表示时间的经过，上段表示右手的动作状态，下段表示左手的动作状态。

[0104] 图5中，抓持、搬运、调整及收纳的各动作被识别为各别动作。可知的是，抓持及搬运主要用右手进行，调整及收纳主要用双手进行。

[0105] 图6的(A)及图6的(B)例示分别以图表来表示初学者与熟练者的双手的动作状态的图。图6的(A)是将初学者的右手及左手的动作状态依时间序列排列显示的图。图6的(B)是将熟练者的右手及左手的动作状态依时间序列排列显示的图。图6的(A)、图6的(B)中，抓持、搬运、调整及收纳的各动作被识别为各别动作。

[0106] 可知的是，与图6的(B)的熟练者相比，图6的(A)的初学者的作业节奏散乱，存在双手均未进行作业的时间。进而，若查看将图6的(A)的图表的一部分放大的放大图EA，则可知的是，初学者尽管在使用右手与左手来进行作业，但如放大图EA中的两箭头所示的区间那样，产生了右手与左手均未进行动作的时间即浪费的时间。

[0107] 另一方面，可知的是，与图6的(A)的初学者相比，图6的(B)的熟练者的作业节奏固定，始终以右手进行着作业。进而，若查看将图6的(B)的图表的一部分放大的放大图EB，则可知的是，熟练者使用双手进行作业的时间多，且如放大图EB中两箭头所示的区间那样，以右手与左手进行各自的动作，作业时间得以缩短。

[0108] [硬件结构]

[0109] 接下来，使用图7，对于本实施方式的动作识别装置10的硬件结构来说明其一例。动作识别装置10具有相当于运算装置的中央处理器(Central Processing Unit，CPU)10a、相当于存储部19的随机存取存储器(Random Access Memory，RAM)10b、相当于存储部19的只读存储器(Read only Memory，ROM)10c、通信装置10d、输入装置10e及相当于显示部13的显示装置10f。所述各结构经由总线以能够相互收发数据的方式而连接。另外，本实施方式中，对动作识别装置10包含一台计算机的情况进行说明，但动作识别装置10也可使用多个计算机而实现。

[0110] CPU 10a执行存储在RAM 10b或ROM 10c中的程序，作为进行数据的运算或加工的控制部发挥功能。CPU 10a从输入装置10e或通信装置10d接收各种输入数据，将对输入数据进行运算的结果显示于显示装置10f，或者保存至RAM 10b或ROM 10c中。本实施方式中的CPU 10a执行下述程序(动作识别程序)，即，基于动态图像来识别作业者的每个身体部位的动作，将识别出的结果对应于每个身体部位而依时间序列排列显示。

[0111] RAM 10b例如包含半导体存储元件，存储可重写的数据。ROM 10c例如包含半导体存储元件，存储可读出且不可重写的数据。

[0112] 通信装置10d是将动作识别装置10连接于外部设备的接口。通信装置10d例如通过局域网(Local Area Network，LAN)或国际互联网(Internet)等通信网络而与图像传感器20连接，从图像传感器20接收动态图像。

[0113] 输入装置10e是从用户受理数据的输入的接口，例如能够包含键盘、鼠标及触控面板。

[0114] 显示装置10f是以视觉方式显示由CPU 10a得出的运算结果等的接口，例如能够包含液晶显示器(Liquid Crystal Display，LCD)。

[0115] 动作识别程序既可存储在RAM 10b或ROM 10c等可由计算机读取的存储介质中而提供，也可经由通过通信装置10d而连接的通信网络来提供。动作识别装置10通过CPU 10a执行动作识别程序，从而实现图2所示的获取部11、动作识别部12、显示部13及学习部14的动作。另外，这些物理结构是例示，也可未必为独立的结构。例如，动作识别装置10也可包括CPU 10a与RAM 10b或ROM 10c一体化的大规模集成电路(Large-Scale Integration，LSI)。

[0116] §3动作例

[0117] 图8是表示由本实施方式的动作识别装置10所执行的动作识别处理的一例的流程图。

[0118] 首先，动作识别装置10的获取部11从图像传感器20获取与作业者A所进行的动作相关的时间序列信息即动态图像(步骤S101)。所述获取的动态图像作为动态图像19a而存储在存储部19中。

[0119] 继而，动作识别装置10的动作识别部12将动作信息19b及动态图像19a输入至学习完毕模型19d，并基于从学习完毕模型19d输出的表示相当于各别动作的作业者A的动作的信息，来识别相当于各别动作的作业者A的动作，针对每个身体部位而生成与所识别的作业者A的动作对应的动作识别结果(步骤S102)。所述生成的动作识别结果作为动作识别结果信息19c而存储在存储部19中。

[0120] 继而，动作识别装置10的显示部13基于动作识别结果信息19c，将按照身体部位的动作识别结果依时间序列排列显示，以便能够进行比较(步骤S103)。并且，结束动作识别处理。

[0121] 如前所述，根据本实施方式的动作识别装置10，能够基于动作信息19b及动态图像19a，针对每个身体部位来识别相当于各别动作的任一个的作业者的动作，并按照身体部位而生成与所述识别的动作对应的动作识别结果信息19c。进而，根据本实施方式的动作识别装置10，能够基于所生成的动作识别结果信息19c，将按照身体部位的动作识别结果依时间序列排列显示，以便能够进行比较。

[0122] 本发明的实施方式也能如以下的附注那样记载。但是，本发明的实施方式并不限定于以下的附注中记载的形态。而且，本发明的实施方式也可为对附注间的记载进行置换或加以组合的形态。

[0123] [附注1]

[0124] 一种动作识别装置10，包括：

[0125] 获取部11，获取与作业者的动作相关的时间序列信息；

[0126] 动作识别部12，基于对各别动作进行规定的动作信息及所述时间序列信息，针对所述作业者的每个身体部位，识别相当于所述各别动作的任一个的所述作业者的动作，按照所述作业者的身体部位生成动作识别结果，所述动作识别结果包含与识别的所述作业者的动作对应的所述各别动作的开始时间及结束时间；以及

[0127] 显示部13，基于生成的所述动作识别结果，将按照所述身体部位的所述动作识别结果依时间序列排列显示。

[0128] [附注2]

[0129] 根据附注1所述的动作识别装置10，还包括：

[0130] 学习完毕模型19d，将所述动作信息及所述时间序列信息设为输入，将表示相当于所述各别动作的任一个的所述作业者的动作的信息设为输出，

[0131] 所述动作识别部12将所述动作信息及所述时间序列信息输入至所述学习完毕模型19d，基于从所述学习完毕模型19d输出的、表示相当于所述各别动作的任一个的所述作业者的动作的信息，针对所述作业者的每个身体部位，识别相当于所述各别动作的任一个的所述作业者的动作。

[0132] [附注3]

[0133] 根据附注1或2所述的动作识别装置10，其中

[0134] 所述动作识别部12估算针对所述作业者的每个身体部位而识别出的所述作业者的动作各自的所述开始时间及所述结束时间，将估算出的所述开始时间及所述结束时间关联于所述各别动作，由此来生成所述动作识别结果。

[0135] [附注4]

[0136] 根据附注1至3中任一项所述的动作识别装置10，其中

[0137] 所述时间序列信息是由图像传感器20a所输出的动态图像，

[0138] 所述动作识别部12基于所述动态图像来提取所述作业者的骨架，基于提取的所述骨架的动向，针对所述作业者的每个身体部位来识别相当于所述各别动作的任一个的所述作业者的动作。

[0139] [附注5]

[0140] 根据附注1至3中任一项所述的动作识别装置10，其中

[0141] 所述时间序列信息是由图像传感器20a所输出的动态图像，

[0142] 所述动作识别部12从所述动态图像的动态图像中提取所述作业者的动向的特征量，基于所述提取的所述特征量，针对所述作业者的每个身体部位来识别相当于所述各别动作的任一个的所述作业者的动作。

[0143] [附注6]

[0144] 根据附注1至5中任一项所述的动作识别装置10，其中

[0145] 所述作业者的身体部位包含所述作业者的右手、左手及眼睛。

[0146] [附注7]

[0147] 一种动作识别方法，包括：

[0148] 获取与作业者的动作相关的时间序列信息；

[0149] 基于对各别动作进行规定的动作信息及所述时间序列信息，针对所述作业者的每个身体部位，识别相当于所述各别动作的任一个的所述作业者的动作，按照所述作业者的身体部位生成动作识别结果，所述动作识别结果包含与识别的所述作业者的动作对应的所述各别动作的开始时间及结束时间；以及

[0150] 基于生成的所述动作识别结果，将按照所述身体部位的所述动作识别结果依时间序列排列显示。

[0151] [附注8]

[0152] 一种动作识别程序，使计算机作为下述部分发挥功能，即：

[0153] 获取部11，获取与作业者的动作相关的时间序列信息；

[0154] 动作识别部12，基于对各别动作进行规定的动作信息及所述时间序列信息，针对所述作业者的每个身体部位，识别相当于所述各别动作的任一个的所述作业者的动作，按照所述作业者的身体部位生成动作识别结果，所述动作识别结果包含与识别的所述作业者的动作对应的所述各别动作的开始时间及结束时间；以及

[0155] 显示部13，基于生成的所述动作识别结果，将按照所述身体部位的所述动作识别结果依时间序列排列显示。

[0156] [附注9]

[0157] 一种动作识别系统100，包括传感器(20a、20b、20c)与动作识别装置10，其中[0158] 所述传感器(20a、20b、20c)包括探测部，所述探测部探测作业者的动作，并输出与所述动作相关的时间序列信息，

[0159] 所述动作识别装置10包括：

[0160] 获取部11，获取所述时间序列信息；

[0161] 动作识别部12，基于对各别动作进行规定的动作信息及所述时间序列信息，针对所述作业者的每个身体部位，识别相当于所述各别动作的任一个的所述作业者的动作，按照所述作业者的身体部位生成动作识别结果，所述动作识别结果包含与识别的所述作业者的动作对应的所述各别动作的开始时间及结束时间；以及

[0162] 显示部13，基于生成的所述动作识别结果，将按照所述身体部位的所述动作识别结果依时间序列排列显示。