[0001] 本发明涉及机械学、机器人学、仪器科学、控制科学、计算机科学、传感器技术、人机交互技术、虚实结合技术等交叉领域，涉及一种基于虚实结合的装配操作数据集构建系统及方法。

[0002] 人工智能模型训练需要大量优质数据，若针对现场操作任务进行模型训练，特别是一些高危环境、失重等特殊环境下，针对危险目标、空间非合作目标等的操作任务，面临难以在真实环境中大量开展数据采集实验、难以保证操作人员安全的问题；若要搭建模拟平台获取真实数据，则会面临高额的实验成本，并且由于模拟平台一般根据不同目标任务搭建，存在非标定制的特点，兼容性差，不能重复使用。在虚拟装配场景中开展装配实验，可以大大降低危险性，极大程度地确保操作人员的人身安全；并且相比于实际场景实验，在虚拟装配场景中消耗的人力、物力更少，满足获取大量数据的训练需求，但是由于虚拟环境一般基于合理假设构建，并且可能引入额外的测量机构增加误差来源，数据采集的精度有一定限制。因此考虑采用一种虚实结合的方法进行数据采集和数据集构建。

[0003] 申请号为CN201911183292.6的发明专利申请公开“一种基于虚拟场景训练的机器人模仿学习方法”中，根据具体任务设计机器人模型和虚拟交互环境，并且通过人工示教或者训练好的机器从真实环境中采集大量的状态‑动作对和必要的参数，作为模仿学习的样本，构建专家数据集；根据具体任务确定状态取值空间S和动作取值空间A，根据状态取值空间S和动作取值空间A确定策略生成器网络和判别器网络的结构，最终得到由训练得到的策略生成器和判别器组成的网络模型，并进行测试。上述“一种基于虚拟场景训练的机器人模仿学习方法”虽然引入了虚拟环境，但是其目的是提供一个可视化的图形界面，帮助更快的训练模型和后期迁移，而不是用于数据集构建。

[0004] 申请号为CN201910353288.3的发明专利申请公开“示教数据生成系统及示教数据生成方法”中，针对多关节机器人在垂直方向间隔分布的多个盒之间搬运玻璃基板的作业任务，提出一种示教数据生成系统和示教数据生成方法。为防止机器人与其装载的玻璃基板在盒内移动时受盒内构造物干涉增加示教复杂度，使用具备探测机构的虚拟盒，基于探测机构测定生成机器人相对于虚拟盒的基准示教数据，并基于分布在垂直方向的多个实际盒相对于虚拟盒的相对位置数据生成机器人相对于各实际盒的示教数据。上述“示教数据生成系统及示教数据生成方法”中，专家操作数据集的生成只采用了虚拟盒操作生成，没有真实操作的数据集构建过程，并且使用两部分数据生成示教数据，引入了两组仪器误差和测量误差的叠加。

[0005] 本发明针对人工智能模型训练数据需求量大，装配操作存在潜在危险性且不适合大量开展等问题，提出一种基于虚实结合的装配操作手部数据集构建系统及方法，综合考虑实际装配操作和虚拟装配操作的优缺点，引入虚实结合的思想。对于获取大量装配数据，降低实验风险，拓展装配操作适用场景具有一定的帮助作用。

[0035] 下面结合附图与具体实施方式对本发明作进一步详细描述：

[0036] 实施例：

[0037] 参照图1，一种基于虚实结合的装配操作数据集构建系统由真实装配操作装置1、虚拟装配操作装置2、操作零件集3组成，真实装配操作装置1用于生成真实装配操作数据，虚拟装配操作装置2用于生成虚拟装配操作数据，操作零件集3为真实装配操作装置1、虚拟装配操作装置2提供操作对象；

[0038] 参照图1、图2和图3，所述的真实装配操作装置1包括六自由度机械臂1‑1、手柄1‑2、六维力传感器1‑3、机械手爪1‑4。所述六自由度机械臂1‑1包括底座1‑1‑1、机体1‑1‑2、末端法兰1‑1‑3，所述底座1‑1‑1固定在安装平台上，所述机体1‑1‑2通过一个旋转关节安装在底座1‑1‑1上端，旋转轴垂直于安装平台，具有三个平动自由度和三个转动自由度；所述末端法兰1‑1‑3同轴固定于机体1‑1‑2末端关节，能够与之随动；所述手柄1‑2固定安装在末端法兰1‑1‑3上，并与之同轴，用于为操作者4改变机械臂末端位姿提供着力点；所述六维力传感器1‑3，其固定端1‑3‑1固定安装在手柄1‑2末端，并与其同轴，用于记录装配过程中操作零件对机械手爪1‑4的作用力；所述机械手爪1‑4固定安装在加载端1‑3‑2，并与其同轴。

[0039] 参照图4、图5和图6，所述的真实装配操作装置工作原理如下：

[0040] 所述的典型装配操作包括拖拽操作A、拔插操作B、旋拧操作C，三者均包括操作开始s1和到达目标位置s2两个状态。真实装配操作过程中，六自由度机械臂1‑1工作在零力模式下，操作者4手握手柄1‑2改变机械臂末端位姿，到达目标位置后根据当前装配操作的类型改变机械手爪1‑4状态，最终使六自由度机械臂1‑1在操作者4的示范教学下完成装配操作。记录装配过程中机体1‑1‑2各关节的转角情况ωir(i＝1,2,…,6)、六维力传感器1‑3采样情况(Fxr,Fyr,Fzr,τxr,τyr,τzr)、机械手爪1‑4状态，并据此通过运动学建模计算六自由度机械臂1‑1末端位姿情况(xr,yr,zr,αr,βr,γr)。

[0041] 参照图1、图7和图8，所述的虚拟装配操作装置2包括七自由度力反馈手控器2‑1、曲面屏2‑2、虚拟机械臂2‑3、虚拟六维力传感器1‑3、虚拟机械手爪1‑4。所述七自由度力反馈手控器2‑1包括支撑架2‑1‑1、连接架2‑1‑2、三维平动机构2‑1‑3、操作端2‑1‑4、三维转动机构2‑1‑5、手控手柄2‑1‑6和开关量驱动电机2‑1‑7；所述支撑架2‑1‑1固定在安装平台上，对所述七自由度力反馈手控器2‑1起支撑作用；所述连接架2‑1‑2固定在支撑架2‑1‑1上方，用于连接三维平动机构2‑1‑3；所述三维平动机构2‑1‑3具有三个平动自由度，包括上下运动驱动电机2‑1‑3‑1、左右运动驱动电机2‑1‑3‑2、前后运动驱动电机2‑1‑3‑3，所述三维转动机构2‑1‑5具有三个转动自由度，包括横滚转动驱动电机2‑1‑5‑1、俯仰转动驱动电机2‑1‑5‑2、偏航转动驱动电机2‑1‑5‑3，可以用于改变操作端2‑1‑4位姿；所述操作端2‑1‑4位姿对应虚拟机械臂2‑3末端位姿，并装有一个手控手柄2‑1‑6，用于在装配过程中改变操作端
2‑1‑4位姿，所述的开关量驱动电机2‑1‑7用于手指运动的开关量的检测；所述曲面屏2‑2水平居中固定在连接架2‑1‑2上方，曲面凹侧正对操作者4，用于成像虚拟装配场景；在虚拟装配场景中，所述虚拟机械臂2‑3的运动学建模及动力学参数设置与六自由度机械臂1‑1保持一致，并且底部固定在虚拟安装平台上；所述虚拟六维力传感器1‑3和虚拟机械手爪1‑4依次固定在虚拟机械臂2‑3末端，并且三者同轴。

[0042] 参照图9，所述的虚拟装配操作装置工作原理如下：

[0043] 所述七自由度力反馈手控器2‑1操作端2‑1‑4在真实基坐标系ORxRyRzR下的位姿Pr(xr,yr,zrα, r,βr,γr)与虚拟装配场景中的虚拟机械臂2‑3在虚拟基坐标系OVxVyVzV下的末端位姿TCP(x,y,z,α,β,γ)存在空间映射关系，操作端2‑1‑4位姿改变后作为暂态位姿映射到虚拟装配场景，虚拟机械臂2‑3根据逆运动学解算结果，调整各关节角度，从而使末端虚拟机械手爪1‑4坐标系变化到当前暂态位姿；基于上述虚实映射方法，虚拟装配过程中，操作者4手握手控手柄2‑1‑6改变操作端2‑1‑4位姿，同时观察曲面屏2‑2成像的虚拟装配场景中虚拟机械臂2‑3的位姿改变情况，到达虚拟装配场景中的目标位置后，根据当前装配操作的类型改变虚拟机械手爪1‑4状态，最终使虚拟六自由度机械臂1‑1在操作者4的示范教学下完成装配操作。记录装配过程中虚拟六维力传感器1‑3采样情况(Fxv,Fyv,Fzv,τxv,τyv,τzv)、虚拟机械手爪1‑4状态、虚拟机械臂2‑3末端位姿情况(xv,yv,zv,αv,βv,γv)，并据此通过逆运动学求解虚拟机械臂2‑3各关节的转角情况ωiv(i＝1,2,…,6)。

[0044] 所述操作零件集3包括球体、立方体等几何体，以及油枪、螺丝、螺母等具体装配操作对象，可供开展拖拽、拔插、旋拧实验，分为真实操作零件集3‑1和虚拟操作零件集3‑2；所述真实操作零件集3‑1为真实装配操作装置1的操作对象，用于生成真实装配操作数据；所述虚拟操作零件集3‑2为虚拟装配操作装置2的操作对象，用于生成虚拟装配操作数据，并且与真实操作零件集3‑1形状保持一致；

[0045] 参照图10，所述的虚实结合装配操作数据集构建方法步骤如下：

[0046] S1：装配开始前，根据实际情况手动输入装配模式，输入真实装配模式则模式标记mode＝1，输入虚拟装配模式则模式标记mode＝0；

[0047] S2：根据所选装配模式判断是否进入真实装配流程；

[0048] S3‑1‑1：根据六自由度机械臂1‑1结构及力学信息通过拉格朗日方程进行动力学建模，得到六自由度机械臂1‑1的动力学模型；

[0049] S3‑1‑2：根据实验安排手动输入一种操作类型，三种操作类型拖拽、旋拧、拔插对应的操作类型标记operationr值分别为1、2、3；

[0050] S3‑1‑3：读取六维力传感器1‑3数据；

[0051] S3‑1‑4：对状态标记stater置1；

[0052] S3‑1‑5：根据受力波动判断装配操作是否开始，若波动超过设定阈值，则认为装配操作开始；

[0053] S3‑1‑6‑1：装配开始后，记录六维力传感器1‑3采样数据(Fxr,Fyr,Fzr,τxr,τyr,τzr)、机体1‑1‑2各关节角度数据ωir(i＝1,2,…,6)；

[0054] S3‑1‑6‑2：若装配未开始，对状态标记stater置0，并回到S3‑1‑3；

[0055] S3‑1‑7：根据当前机体1‑1‑2各关节角度数据ωir(i＝1,2,…,6)，通过正向运动学求解六自由度机械臂1‑1末端位姿(xr,yr,zr,αr,βr,γr)并记录；

[0056] S3‑1‑8：在操作者4控制下，六自由度机械臂1‑1末端位姿(xr,yr,zr,αr,βr,γr)继续随装配操作改变，由于六自由度机械臂1‑1工作在零力模式下，机体1‑1‑2关节无阻力随动；

[0057] S3‑1‑9：由于在示范教学下开展装配操作，由操作者4判断操作是否完成；

[0058] S3‑1‑10‑1：若装配操作完成，改变状态标记stater值为2；

[0059] S3‑1‑10‑2：若装配操作未完成，记录当前状态标记stater，并回到S3‑1‑6‑1准备进入下一周期的力、位数据采样和处理流程；

[0060] S3‑1‑11：记录状态标记stater、装配总时长Tr，并根据设定的采样率计算并建立采样时间序列tr；

[0061] S3‑2‑1：根据七自由度力反馈手控器2‑1结构，通过D‑H法则进行运动学建模，得到七自由度力反馈手控器2‑1的运动学模型，可以用于求解操作端2‑1‑4位姿；

[0062] S3‑2‑2：根据实验安排手动输入一种操作类型，三种操作类型拖拽、旋拧、拔插对应的操作类型标记operationv值分别为1、2、3；

[0063] S3‑2‑3：读取三维平动机构2‑1‑3的关节光电编码器数据；

[0064] S3‑2‑4：对状态标记statev置1；

[0065] S3‑2‑5：根据光电编码器数据所对应的关节角度偏移量判断装配操作是否开始，若偏移量超过设定阈值，则认为装配操作开始；

[0066] S3‑2‑6‑1：装配开始后，暂存光电编码器数据；

[0067] S3‑2‑6‑2：若装配未开始，对状态标记statev置0，并回到S3‑2‑3；

[0068] S3‑2‑7：根据七自由度力反馈手控器2‑1运动学模型求解操作端2‑1‑4位姿；

[0069] S3‑2‑8：根据虚拟机械臂2‑3结构及力学信息通过拉格朗日方程进行动力学建模，得到虚拟机械臂2‑3的动力学模型；

[0070] S3‑2‑9：根据虚拟装配场景交互情况，物理引擎求解虚拟机械臂2‑3末端力并反映到虚拟六维力传感器1‑3采样数据；通过设定的空间映射关系，将操作端2‑1‑4位姿作为暂态位姿映射到虚拟装配场景，虚拟机械臂2‑3根据逆运动学解算结果，调整各关节角度，从而使末端虚拟机械手爪1‑4坐标系变化到当前暂态位姿；

[0071] S3‑2‑10：记录当前虚拟机械臂2‑3末端位姿(xv,yv,zv,αv,βv,γv)，运动学逆求解虚拟机械臂2‑3关节角度及当前周期偏移量，曲面屏2‑2中可见虚拟机械臂2‑3末端虚拟机械手爪1‑4对七自由度力反馈手控器2‑1操作端2‑1‑4的随动情况；

[0072] S3‑2‑11：记录当前虚拟六维力传感器1‑3数据(Fxv,Fyv,Fzv,τxv,τyv,τzv)、虚拟机械臂2‑3各关节角度数据ωiv(i＝1,2,…,6)；

[0073] S3‑2‑12：由于在示范教学下开展装配操作，由操作者4判断操作是否完成；

[0074] S3‑2‑13‑1：若装配操作完成，改变状态标记statev值为2；

[0075] S3‑2‑13‑2：若装配操作未完成，记录当前状态标记statev，并回到S3‑2‑6‑1准备进入下一周期的力、位数据采样和处理流程；

[0076] S3‑2‑14：记录状态标记statev、装配总时长Tv，并根据设定的采样率计算并建立采样时间序列tv；

[0077] S4：结束装配，装配过程中的真实、虚拟两类装配模式下的装配操作数据均以列向量组形式存储，以模式标记模式标记序列mode值和下标r、v为区分。向量组顺序为采样时间序列t、六维力(Fx,Fy,Fz,τx,τy,τz)序列、末端位姿(x,y,z,α,β,γ)序列、各关节角度ωi(i＝1,2,…,6)序列、状态标记state序列、模式标记mode序列、操作类型标记operation序列。

[0078] 重复以上步骤，直到获得数据量满足需求的装配操作数据集。

[0079] 以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。