技术领域
[0001] 本发明是一种图像语义分析方法，涉及人工智能领域。
相关背景技术
[0002] 随着信息时代的来临，在人们日常的交流中，图像，音频，视频等作为主要的媒介，其中图像数据是人们信息沟通、情感表达的重要工具。图像数据从视觉上更加直观，情感表达上更加丰富。人们在互联网上进行上传、下载的图像数据日益增加，这些大量的图像数据需要进行妥善的管理和保存，而现有的比如基于深度学习的图像推荐系统，或图像自然语言描述，可依旧存在图像信号噪声大致使生成结果不准确和无法针对不同对象生成不同的个性化描述的问题。
具体实施方式
[0017] 为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
[0018] 本发明提供一种技术方案：一种图像语义分析方法，包括如下步骤：
[0019] S1、从提前采集的网络数据中提取图像数据与话题标签数据将其作为图像节点与标签节点，进而转化为高层抽象语义向量，形成图像数据模型；
[0020] S2、将图像数据模型通过安全通道上传图卷积神经网络模型中；
[0021] S3、图卷积神经网络模型根据移动终端的设置，加载特征化的模型，用于图像的标签节点识别、文字标签节点的识别，数据验集限定的语义风格因子范围内时，图卷积神经网络模型通过图像识别识别提取图像中的特征矩阵；
[0022] S4、图卷积神经网络模型将经过显著性检测跟用于图像识别提取的特征矩阵语加入到连接词，利用弱监督方法进行图像语义特征学习，并将学习到的图像特征进行分类连词造句，生成句子；
[0023] S5、图卷积神经网络模型将中间数据及最终的语义内容进行保存，用于图像语义模型的训练；图卷积神经网络模型利用用户个性档案数据基于通用模型进行训练强化，形成个性化的模型，进行多源融合的图像语义文字生成，再将图像语义模型的训练结果进行保存；
[0024] S6、将图卷积神经网络模型部署在云计算中心，而图卷积神经网络模型对移动终端进行安全认证，将移动终端采集的图像及传感数据进行存储，根据移动终端用户的不同需求，利用用户的个性档案数据基于通用模型进行训练强化，形成个性化的模型数据；图卷积神经网络模型进行多源融合的图像语义文字生成，将图像识别的语义标签反馈给移动终端，用户通过人工来进行评判以及修改，并将结果上传图卷积神经网络模型中，用于生成语义模型的持续优化。
[0025] 所述图卷积神经网络模型采用k8s和docker架构，其为每一个服务分配一个存储器，将个性化的模型存储为镜像，动态加载。
[0026] 所述移动终端是具备无线网络联网功能的移动设备，移动终端为手机、平板或物联网终端设备。
[0027] 所述图卷积神经网络模型结合图像及生成语义数据的历史信息库，同时图卷积神经网络模型将图像识别的语义内容发送给移动终端，用户通过人工来进行评判以及修改，并将结果上传图卷积神经网络模型中，用于生成语义模型的持续优化，通过聚集大量计算资源，形成图卷积神经网络模型，提供云基础能力、人工智能能力，综合移动端图像采集多源数据，充分考虑图像拍摄历史数据，补充图像语义数据，产生更加完整，符合用户喜好的图像语义内容；图卷积神经网络模型针对具体的用户训练个性化的模型，并在图卷积神经网络模型容器加载，使得识别率更高，生成的语义更符合客户需求。
[0028] 移动终端通过语音输入进行音频采集或者文字录入功能添加相关文字的数据，移动终端将获取的输入文字等数据上传图卷积神经网络模型中，图卷积神经网络模型通过语音识别服务对上传的语音进行识别，生成文字数据；图卷积神经网络模型将得到的文字数据采用LSTM进行文字生成，所述图像识别和目标检测采用yolo算法。
[0029] 实施例：首先从提前采集的网络数据中提取图像数据与话题标签数据将其作为图像节点与标签节点，进而转化为高层抽象语义向量，形成图像数据模型；然后将图像数据模型通过安全通道上传图卷积神经网络模型中；接下来图卷积神经网络模型根据移动终端的设置，加载特征化的模型，用于图像的标签节点识别、文字标签节点的识别，数据验集限定的语义风格因子范围内时，图卷积神经网络模型通过图像识别识别提取图像中的特征矩阵；然后图卷积神经网络模型将经过显著性检测跟用于图像识别提取的特征矩阵语加入到连接词，利用弱监督方法进行图像语义特征学习，并将学习到的图像特征进行分类连词造句，生成句子；紧接着图卷积神经网络模型将中间数据及最终的语义内容进行保存，用于图像语义模型的训练；图卷积神经网络模型利用用户个性档案数据基于通用模型进行训练强化，形成个性化的模型，进行多源融合的图像语义文字生成，再将图像语义模型的训练结果进行保存；最后将图卷积神经网络模型部署在云计算中心，而图卷积神经网络模型对移动终端进行安全认证，将移动终端采集的图像及传感数据进行存储，根据移动终端用户的不同需求，利用用户的个性档案数据基于通用模型进行训练强化，形成个性化的模型数据；图卷积神经网络模型进行多源融合的图像语义文字生成，将图像识别的语义标签反馈给移动终端，用户通过人工来进行评判以及修改，并将结果上传图卷积神经网络模型中，用于生成语义模型的持续优化。
[0030] 此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
