首页 / 一种基于大模型的知识库检索方法及系统

一种基于大模型的知识库检索方法及系统有效专利 发明

技术领域

[0001] 本发明涉及数据处理技术领域,具体涉及一种基于大模型的知识库检索方法及系统。

相关背景技术

[0002] 知识库问答(Knowledge Base Question Answering,KBQA)是指使用计算机程序回答用户提出的问题。为了在知识库中检索答案,往往需要通过实体及其相关属性来生成查询语句。
[0003] 现有方法中,响应于用户输入的查询语句,根据查询语句与知识库中存储内容之间实体的文本相似性进行检索,得到查询语句的检索结果。
[0004] 然而,现有方法未考虑到查询语句中实体位置的不同导致的查询语句文本表述的丰富性和多样性,从而导致检索的准确性较低。

具体实施方式

[0011] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于大模型的知识库检索方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
[0012] 除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0013] 需要说明的是,本发明技术方案中对数据的获取、存储、使用、处理等均符合法律法规的相关规定。
[0014] 需要说明的是,在本发明实施例中,可能提及某些软件、组件、模型等业界已有方案,应当将它们认为是示范性的,其目的仅仅是为了说明本发明技术方案实施中的可行性,但并不意味着申请人已经或者必然用到了该方案。
[0015] 现有方法中,响应于用户输入的查询语句,根据查询语句与知识库中存储内容之间实体的文本相似性进行检索,得到查询语句的检索结果。然而,现有方法未考虑到查询语句中实体位置的不同导致的查询语句文本表述的丰富性和多样性,从而导致检索的准确性较低。
[0016] 本发明的目的在于提供一种基于大模型的知识库检索方法及系统。本发明实施例提供的基于大模型的知识库检索方法中,先对用户输入的查询语句进行文本拆分,构建得到表征查询语句中各字符文本之间对应的语义关系的语义解析图。从而根据语义解析图,对查询语句进行拓展得到多个拓展语句。然后根据拓展语句中各实体字符文本的分布位置信息,计算拓展语句中各实体字符文本的检索注意度。从而根据拓展语句中各实体字符文本的检索注意度,即可对知识库进行检索得到查询语句对应的检索结果。如此,本发明实施例对查询语句进行拓展得到多个拓展语句,并根据拓展语句中各实体字符文本的分布位置信息,对各实体字符文本设置对应的检索注意度。充分考虑到查询语句中实体位置的不同导致的查询语句文本表述的丰富性和多样性,从而能够提高检索的准确性。
[0017] 下面介绍本发明实施例提供的一种基于大模型的知识库检索方法及系统的具体实施例。
[0018] 图1提供了一种基于大模型的知识库检索方法的流程示意图,该基于大模型的知识库检索方法可应用于服务端,该基于大模型的知识库检索方法可以包括如下S101至S104。
[0019] S101,对用户输入的查询语句进行文本拆分,构建得到与查询语句相对应的语义解析图,语义解析图用于表征查询语句中各字符文本之间对应的语义关系。
[0020] 在本实施例中,语义解析图用于表征查询语句中各字符文本之间对应的语义关系。具体地,语义解析图通常包括节点和边,其中节点代表查询语句的字符文本,边代表字符文本之间的语义关系。具体地,语义关系可以包括同义词关系、上下位词关系以及属性关系等。
[0021] 作为一个示例,服务端先对用户输入的查询语句进行分词处理,将其拆分成独立的字符文本。其中,字符文本可以为单词或者短语。具体地,可以使用自然语言处理中的分词算法对查询语句进行分词处理,例如基于规则的分词、基于统计的分词或深度学习模型。最后,利用分词后得到的各字符文本,构建语义解析图。
[0022] S102,根据语义解析图,对查询语句中的实体字符文本之间进行排序组合,得到查询语句对应的至少一个拓展语句。
[0023] 在本实施例中,实体字符文本用于表征查询语句中的语句主体,具体可以包括施动者、受动者、工具以及属性等。示例地,查询语句为“新能源构网系统中的能源系统柔直控制方法”,其对应的实体字符文本包括“新能源”、“能源”以及“控制”。具体地,实体字符文本可以通过抽象语义表示(Abstract Meaning Representation,AMR)工具进行自动识别。
[0024] 作为一个示例,服务端通过AMR工具从语义解析图中识别出实体字符文本,然后对实体字符文本之间进行排序和组合,得到查询语句对应的至少一个拓展语句。具体地,可以采用启发式搜索算法(例如深度优先搜索以及广度优先搜索等)来生成可能的组合,每种可能的组合都构成了一个拓展语句。
[0025] 例如,查询语句为“新能源构网系统中的能源系统柔直控制方法”,其对应的实体字符文本包括“新能源”、“能源”以及“控制”,分别编号为arg0、arg1以及arg2,其实体字符文本之间的先后顺序为[arg0,arg1,arg2]。其对应的拓展语句可以包括:“在能源构网系统中实施新能源柔直控制的方法”,其实体字符文本之间的先后顺序为[arg1,arg0,arg2];“适用于新能源构网系统的能源输出柔直控制方法”,其实体字符文本之间的先后顺序为[ arg0,arg1,arg2];“能源相关的柔直控制方法在新能源构网系统中的应用”,其实体字符文本之间的先后顺序为[arg1,arg2,arg0];“优化新能源构网系统中的基于柔直控制的能源系统分配方法”,其实体字符文本之间的先后顺序为[arg0,arg2,arg1]。
[0026] S103,针对各拓展语句,利用拓展语句中各实体字符文本的分布位置信息,计算得到拓展语句中各实体字符文本的检索注意度,检索注意度用于表征实体字符文本在检索过程中的重要程度。
[0027] 在本实施例中,分布位置信息用于表征实体字符文本在拓展语句中的分布位置,具体可以包括它们在句子中的位置以及他们周围的非实体字符文本等。其中,非实体字符文本用于表征除实体字符文本之外的其他字符文本。
[0028] 检索注意度是一个数值指标,用于表征实体字符文本在检索过程中的重要程度。通常,位置越重要以及与非实体字符文本关系越紧密的实体字符文本具有更高的检索注意度。
[0029] 作为一个示例,服务端利用机器学习算法(例如支持向量机、神经网络等)或基于规则的方法,根据实体字符文本的分布位置信息,计算每个实体字符文本的检索注意度。
[0030] S104,根据各拓展语句中各实体字符文本的检索注意度,对知识库进行检索得到查询语句对应的检索结果。
[0031] 在本实施例中,知识库是一个包含大量信息的数据库,可以是结构化数据(例如关系型数据库)或非结构化数据(例如文本文件)。
[0032] 作为一个示例,服务端根据拓展语句中各实体字符文本的检索注意度,对知识库进行检索。其中,检索时,优先以检索拓展语句中检索注意度较高的实体字符文本作为检索条件,以提高检索的准确性和效率。
[0033] 本实施例提供的基于大模型的知识库检索方法中,先对用户输入的查询语句进行文本拆分,构建得到表征查询语句中各字符文本之间对应的语义关系的语义解析图。从而根据语义解析图,对查询语句进行拓展得到多个拓展语句。然后根据拓展语句中各实体字符文本的分布位置信息,计算拓展语句中各实体字符文本的检索注意度。从而根据拓展语句中各实体字符文本的检索注意度,即可对知识库进行检索得到查询语句对应的检索结果。如此,本发明实施例对查询语句进行拓展得到多个拓展语句,并根据拓展语句中各实体字符文本的分布位置信息,对各实体字符文本设置对应的检索注意度。充分考虑到查询语句中实体位置的不同导致的查询语句文本表述的丰富性和多样性,从而能够提高检索的准确性。
[0034] 作为一个可选实施例,如图2所示,S101具体可以包括如下S201至S203。
[0035] S201,获取用户输入的查询语句;S202,通过长短记忆网络,对查询语句进行文本拆分,得到查询语句对应的各字符文本;
S203,根据查询语句对应的各字符文本之间的语义关系,构建得到与查询语句相
对应的语义解析图。
[0036] 在本实施例中,长短记忆网络(LSTM)属于一种循环神经网络,擅长处理序列数据(例如文本)。它能够捕捉序列中的长期依赖关系,适合用于文本拆分任务。
[0037] 作为一个示例,服务端先提供一个用户界面(例如搜索框、命令行界面等),允许用户输入查询语句。同时,服务端通过编程接口或事件监听机制捕获用户输入的查询语句,并将其存储在内存中以便后续处理。
[0038] 然后,服务端将自然语言文本的查询语句转换为一个字符序列,并将其输入至LSTM网络中。LSTM网络逐字符地处理查询语句,根据字符之间的上下文关系,判断每个字符是否属于一个独立的文本单元(例如单词、短语等),从而得到查询语句对应的各字符文本。
[0039] 最后,服务端在得到查询语句的各字符文本后,使用AMR工具构建得到查询语句对应的语义解析图。
[0040] 例如,如图3所示,提供了一种语义解析图的示意图。其中,查询语句为“新能源构网系统中的能源系统柔直控制方法”。arg用于表征属于实体字符文本,例如“控制”为“系统”的属性,则“控制”属于实体字符文本。domain用于表征属于定义域,例如“柔直”对“方法”的范围做了限制,即“柔直”属于“方法”的定义域。range用于表征属于值域,例如“柔直方法”属于“系统”中的一个值,即“柔直方法”属于“系统”的值域。
[0041] 通过本实施例,利用长短记忆网络对查询语句进行文本拆分,并利用语义分析技术构建语义解析图,从而实现对用户输入的查询语句的深入理解和处理,进而能够提高查询处理的准确性和效率。
[0042] 作为一个可选实施例,S202具体可以包括:将查询语句输入至长短记忆网络的编码器中进行编码,得到查询语句对应的语句
向量;
将语句向量输入至长短记忆网络的解码器中进行解码,得到查询语句对应的各字
符文本。
[0043] 在本实施例中,LSTM网络包括编码器和解码器两部分。
[0044] 服务端先将查询语句转换为机器可读的向量形式。具体地,将查询语句中的每个字符文本转换为对应的词向量。
[0045] 然后,LSTM编码器使用多层LSTM层来处理原始输入的词向量序列。LSTM编码器能够捕捉序列中的时序依赖关系,并将输入的词向量序列编码为一个固定长度的向量(即语句向量)。其中,每个LSTM层的输出会作为下一层的输入,最后一个LSTM层的输出将被用作解码器的初始状态。
[0046] 最后,LSTM解码器使用多层LSTM层来处理编码器的输出(即语句向量)。解码器的LSTM层从编码器的固定大小输出中读取信息,并将编码器输出的语句向量解码为各字符文本。其中,每个LSTM层的输出会作为下一层的输入,最后一个LSTM层的输出将用于预测下一个字符文本。
[0047] 通过本实施例,利用LSTM的编码器‑解码器架构。通过合理的输入处理、LSTM层的编码处理和解码处理,实现了将查询语句拆分为对应的各字符文本的功能,从而有助于后续生成查询语句对应的拓展语句以及计算拓展语句中各实体字符文本的检索注意度,进而能够提高检索的准确性。
[0048] 作为一个可选实施例,如图4所示,S103具体可以包括如下S401至S404。
[0049] S401,获取拓展语句的第一实体序列,第一实体序列用于表征拓展语句中各实体字符文本之间的先后顺序;S402,将第一实体序列中位于拓展语句相邻位置的实体字符文本进行合并,构成
拓展语句的第二实体序列;
S403,针对第二实体序列中的各实体字符文本,依次获取实体字符文本两侧的非
实体字符文本,直至到达其他的实体字符文本,得到实体字符文本的注意力窗口;
S404,根据拓展语句中各实体字符文本的注意力窗口,计算得到拓展语句中各实
体字符文本的检索注意度。
[0050] 在本实施例中,第一实体序列为表征拓展语句中各实体字符文本之间的先后顺序的序列。示例地,拓展语句为“在能源构网系统中实施新能源柔直控制的方法”,其实体字符文本之间的先后顺序为[arg1,arg0,arg2],即其对应的第一实体序列为[arg1,arg0,arg2]。
[0051] 第二实体序列用于表征将位于拓展语句相邻位置的实体字符文本进行合并后得到的新实体序列。示例地,拓展语句的第一实体序列为[arg1,arg0,arg2]。假设arg1与arg0位于拓展语句中的相邻位置,则将arg1与arg0合并为arg3,即拓展语句对应的第二实体序列为[arg3,arg2]。
[0052] 注意力窗口中包括实体字符文本以及实体字符文本两侧的非实体字符文本。示例地,拓展语句为“在能源构网系统中实施新能源柔直控制的方法”,其对应的第一实体序列为[arg1,arg0,arg2]。其中,arg1为“能源”,arg0为“新能源”,arg2为“控制”,则arg2对应的注意力窗口应为“柔直控制的方法”。
[0053] 作为一个示例,服务端使用AMR工具,识别出拓展语句中的实体字符文本。并将识别出的实体字符文本按其在语句中的位置顺序排列,形成一个有序列表,即第一实体序列。
[0054] 然后,遍历第一实体序列,判断是否存在位于拓展语句相邻位置的实体字符文本,将可以合并的相邻实体字符文本合并为一个新的实体单元,形成第二实体序列。
[0055] 然后,对于第二实体序列中的每个实体字符文本,从其在拓展语句中的位置开始,向两侧扩展,直到遇到另一个实体字符文本。收集该范围内所有的字符文本,形成该实体字符文本的注意力窗口。
[0056] 最后,使用注意力机制或算法(例如Transformer模型中的自注意力机制)来处理注意力窗口内的字符文本,得到注意力窗口对应的实体字符文本的检索注意度。其中,检索注意度的计算可以涉及多种因素,例如实体字符文本在注意力窗口中的位置、其与周围非实体字符文本的交互等。
[0057] 通过本实施例,分析和处理拓展语句中的实体字符文本,最终计算得到它们的检索注意度。从而有助于后续根据拓展语句中各实体字符文本的检索注意度,对知识库进行检索得到查询语句对应的检索结果,能够提高检索的准确性。
[0058] 作为一个可选实施例,如图5所示,S404具体可以包括如下S501至S503。
[0059] S501,将实体字符文本的注意力窗口按照实体字符文本在注意力窗口中的位置,划分为第一窗口与第二窗口;S502,根据第一窗口与第二窗口中非实体字符文本的数量,得到注意力窗口的非
实体字符文本比值;
S503,根据注意力窗口中各个非实体字符文本的目标相似性以及非实体字符文本
比值,计算得到实体字符文本的检索注意度,目标相似性用于表征非实体字符文本与各相似非实体字符文本之间相似性的最大值,相似非实体字符文本用于表征其他的各拓展语句中与实体字符文本对应的注意力窗口中包括的各非实体字符文本。
[0060] 在本实施例中,第一窗口与第二窗口分别包括在注意力窗口中位于实体字符文本一侧的所有非实体字符文本。示例地,第一窗口可以为在注意力窗口中位于实体字符文本前方的非实体字符文本,第二窗口可以为在注意力窗口中位于实体字符文本后方的非实体字符文本。
[0061] 目标相似性为第一窗口或第二窗口中的非实体字符文本,与其他的各拓展语句中与实体字符文本对应的注意力窗口中包括的各非实体字符文本之间相似性的最大值。示例地,共有a、b、c、d四条拓展语句,则拓展语句a对应的实体字符文本a1的注意力窗口中非实体字符文本x的目标相似性,即为非实体字符文本x与拓展语句b、c、d中实体字符文本a1的注意力窗口中各非实体字符文本y的相似性中的最大值。其中,可以通过词频‑逆文档频率统计方法、词嵌入向量的余弦相似度计算方法等计算文本之间的相似性。
[0062] 非实体字符文本比值用于表征第一窗口和第二窗口中非实体字符文本的分布情况,以评估实体字符文本周围非实体字符文本的分布稳定程度。
[0063] 作为一个示例,服务端先确定实体字符文本在注意力窗口中的具体位置,再根据这个位置,将注意力窗口划分为第一窗口和第二窗口两个部分。
[0064] 然后,分别统计第一窗口和第二窗口中非实体字符文本的数量。并根据第一窗口和第二窗口中非实体字符文本的数量,计算注意力窗口的非实体字符文本比值。具体地,可以通过以下公式1计算注意力窗口的非实体字符文本比值:公式1
式中, 用于表征实体字符文本j对应的注意力窗口的非实体字符文本比值,
用于表征位于实体字符文本j前方的非实体字符文本的数量, 用于表征位于
实体字符文本j后方的非实体字符文本的数量。
[0065] 其中,当实体字符文本j前方的非实体字符文本的数量 与实体字符文本j后方的非实体字符文本的数量 之间的差值越大的情况下,则实体字符文本j对应的注意力窗口的非实体字符文本比值 越大。
[0066] 然后,计算注意力窗口中各个非实体字符文本的目标相似性,并结合注意力窗口的非实体字符文本比值,使用预设算法或模型来计算实体字符文本的检索注意度。其中,预设算法或模型可以需要考虑多个因素,如非实体字符文本的分布情况(通过非实体字符文本比值反映)、非实体字符文本与相似非实体字符文本的相似性(通过目标相似性反映)等。其中,具体的计算方式可以包括加权求和、乘积运算以及指数运算等。
[0067] 通过本实施例,根据注意力窗口中各个非实体字符文本的目标相似性以及注意力窗口的非实体字符文本比值,精准计算拓展语句中各实体字符文本的检索注意度。从而有助于后续根据拓展语句中各实体字符文本的检索注意度,对知识库进行检索得到查询语句对应的检索结果,能够提高检索的准确性。
[0068] 作为一个可选实施例,S503具体可以包括:利用注意力窗口中各个非实体字符文本的目标相似性,确定相似性平均值以及相
似性标准差;
针对注意力窗口中各个非实体字符文本,将非实体字符文本的目标相似性与相似
性平均值的差值,除以相似性标准差后进行四次方计算,得到非实体字符文本的相似性计算值;
将各非实体字符文本的相似性计算值的累加值与非实体字符文本比值相乘后,除
以注意力窗口中非实体字符文本的数量,得到实体字符文本的检索注意度。
[0069] 在本实施例中,具体可以通过以下公式2计算实体字符文本的检索注意度:公式2
式中,用于表征实体字符文本j的检索注意度, 用于表征实体字符文本j对应的
注意力窗口的非实体字符文本比值, 用于表征实体字符文本j对应的注意力窗口Y的非实体字符文本总数量,用于表征实体字符文本j对应的注意力窗口中第r个非实体字符文本的目标相似性, 用于表征实体字符文本j对应的注意力窗口Y的相似性平均值, 用于表征实体字符文本j对应的注意力窗口Y的相似性标准差。
[0070] 其中, 用于表征从实体字符文本j对应的注意力窗口Y的第一个非实体字符文本,累加至实体字符文本j对应的注意力窗口Y的最后一个非实体字符文本。非实体字符文本比值越大,则表明非实体字符文本的分布越稳定,检索注意度越大;非实体字符文本的目标相似性越大,则说明非实体字符文本与其他的相似非实体字符文本之间越相似,检索注意度越大。
[0071] 通过本实施例,根据注意力窗口中各个非实体字符文本的目标相似性以及注意力窗口的非实体字符文本比值,精准计算拓展语句中各实体字符文本的检索注意度。从而有助于后续根据拓展语句中各实体字符文本的检索注意度,对知识库进行检索得到查询语句对应的检索结果,能够提高检索的准确性。
[0072] 作为一个可选实施例,如图6所示,S103之前,该基于大模型的知识库检索方法还可以包括如下S601至S603。
[0073] S601,利用各拓展语句对应的第一实体序列以及查询语句对应的第三实体序列,确定各拓展语句的语言歧义权重;S602,对各拓展语句的语言歧义权重进行线性归一化处理,得到各拓展语句的归
一化语言歧义权重;
S603,将归一化语言歧义权重大于预设权重阈值的各拓展语句进行筛除,得到优
化拓展语句;
S103具体可以包括:
针对各优化拓展语句,利用优化拓展语句中各实体字符文本的分布位置信息,计
算得到优化拓展语句中各实体字符文本的检索注意度。
[0074] 在本实施例中,第三实体序列为表征查询语句中各实体字符文本之间的先后顺序的序列,语言歧义权重用于表征拓展语句产生语义检索误差的可能性。
[0075] 优化拓展语句用于表征对容易产生语义检索误差的拓展语句去除后剩下的拓展语句。
[0076] 作为一个示例,服务端通过比较各拓展语句的第一实体序列与查询语句的第三实体序列之间的相似度、关联性或语义匹配程度,为每个拓展语句分配一个语言歧义权重。这个语言歧义权重反映了拓展语句在语义上与查询语句的匹配程度以及可能的歧义程度。
[0077] 然后,将所有拓展语句的语言歧义权重进行线性归一化处理,使所有权重值都落在0到1的范围内。这样做可以方便后续的比较和筛选操作。
[0078] 然后,根据应用场景的需求和数据的特性,设置一个预设权重阈值,例如可以设置预设权重阈值为0.85。将归一化后的语言歧义权重与预设权重阈值进行比较。如果某个拓展语句的归一化权重大于这个阈值,则认为其语言歧义较高,不符合优化要求,应被筛除。最终,保留那些归一化权重小于或等于预设权重阈值的拓展语句,作为优化后的拓展语句集合。
[0079] 通过本实施例,根据拓展语句对应的第一实体序列以及查询语句对应的第三实体序列,计算各拓展语句的语言歧义权重,从而通过语言歧义权重筛除掉可能产生语义检索误差的拓展语句。可以有效地减少语言歧义对查询结果的影响,提高信息检索和处理的效率和准确性。
[0080] 作为一个可选实施例,S601具体可以包括:将拓展语句对应的第一实体序列与查询语句对应的第三实体序列进行比较,得到
第一实体序列与第三实体序列中实体字符文本的位序不同的目标字符数;
将目标字符数除以拓展语句的实体字符文本总数量,得到第一数量比;
将拓展语句中的字符文本数量除以查询语句中的字符文本数量,得到第二数量
比;
将第一数量比乘以第二数量比,得到拓展语句的语言歧义权重。
[0081] 在本实施例中,具体可以通过以下公式3计算拓展语句的语言歧义权重:公式3
式中, 用于表征拓展语句p的语言歧义权重, 用于表征拓展语句p与查询语句
中相对应的实体字符文本处于不同位序 的数量, 用于表征拓展语句p中所有的实体字符文本的数量。 用于表征拓展语句p中所有的字符文本的数量, 用于表征查询语句Q中所有的字符文本的数量。
[0082] 其中, 用于表征拓展语句p与查询语句中相对应的实体字符文本处于不同位序的数量,与拓展语句p中实体字符文本的总数量的第一数量比。第一数量比越大,则说明拓展语句中的实体结构差异越明显,此时拓展语句更可能产生与用户输入的查询语句的语义信息相异的语义结果,即拓展语句的语言歧义权重越大。
[0083] 其中, 用于表征拓展语句p中字符文本的总数量与查询语句Q中字符文本的总数量的第二数量比。第二数量比越大,说明拓展语句p的实体字符文本顺序无法减少词汇的描述,此时更容易产生语义检索的误差,即拓展语句的语言歧义权重越大。
[0084] 通过本实施例,根据拓展语句对应的第一实体序列与查询语句对应的第三实体序列中实体字符文本的位序不同的目标字符数、拓展语句的实体字符文本总数量、拓展语句中的字符文本数量以及查询语句中的字符文本数量,计算各拓展语句的语言歧义权重,从而能够通过语言歧义权重筛除掉可能产生语义检索误差的拓展语句。可以有效地减少语言歧义对查询结果的影响,提高信息检索和处理的效率和准确性。
[0085] 作为一个可选实施例,S104具体可以包括:根据拓展语句中各实体字符文本的检索注意度,分别设置拓展语句中各实体字符
文本的字符权重;
根据拓展语句中各实体字符文本的字符权重,计算拓展语句对知识库进行检索得
到的各初始检索记录的相关性评分;
将各拓展语句中相关性评分大于预设相关性阈值的各所述初始检索记录,确定为
查询语句对应的检索结果。
[0086] 在本实施例中,服务端根据拓展语句中各实体字符文本的检索注意度,为每个实体字符文本分配一个字符权重。字符权重越大,表示该实体字符文本在检索过程中的重要性越高。
[0087] 然后,将带有字符权重的拓展语句输入到知识库中进行检索,得到一系列初始检索记录。对于每条初始检索记录,根据其包含的实体字符文本与拓展语句中实体字符文本的匹配情况,以及这些实体字符文本的字符权重,确定相关性评分。具体地,评分算法可以涉及加权求和、余弦相似度计算等。
[0088] 然后,预设一个相关性阈值,用于筛选高相关性的检索记录。将计算得到的初始检索记录按相关性评分从高到低排序,筛选出相关性评分大于预设相关性阈值的记录,作为最终查询语句对应的检索结果。将筛选出的检索结果以列表、摘要或其他形式展示给用户,提供查询结果的可视化和交互界面。
[0089] 同时,还可以进一步收集用户对检索结果的反馈,如点击率、停留时间、满意度评分等,用于评估检索效果和优化算法。根据用户反馈和新的数据,不断调整和优化注意力机制、权重分配策略、相关性评分算法等,以提高检索的准确性和用户满意度。
[0090] 通过本实施例,提供了一种基于实体字符文本检索注意度和字符权重的检索方法,能够更精准地捕捉用户查询意图,从而提高信息检索的准确性和效率。
[0091] 根据本发明提供的基于大模型的知识库检索方法。相应地,本发明还提供了一种基于大模型的知识库检索系统的具体实施例。
[0092] 图7示出了本发明实施例提供的基于大模型的知识库检索系统的结构示意图,该基于大模型的知识库检索系统700可以包括解析图构建模块710、语句拓展模块720、注意度计算模块730以及知识库检索模块740。
[0093] 解析图构建模块710,用于对用户输入的查询语句进行文本拆分,构建得到与查询语句相对应的语义解析图,语义解析图用于表征查询语句中各字符文本之间对应的语义关系;语句拓展模块720,用于根据语义解析图,对查询语句中的实体字符文本之间进行排序组合,得到查询语句对应的至少一个拓展语句;
注意度计算模块730,用于针对各拓展语句,利用拓展语句中各实体字符文本的分布位置信息,计算得到拓展语句中各实体字符文本的检索注意度,检索注意度用于表征实体字符文本在检索过程中的重要程度;
知识库检索模块740,用于根据各拓展语句中各实体字符文本的检索注意度,对知识库进行检索得到查询语句对应的检索结果。
[0094] 本发明实施例提供的基于大模型的知识库检索系统中,先对用户输入的查询语句进行文本拆分,构建得到表征查询语句中各字符文本之间对应的语义关系的语义解析图。从而根据语义解析图,对查询语句进行拓展得到多个拓展语句。然后根据拓展语句中各实体字符文本的分布位置信息,计算拓展语句中各实体字符文本的检索注意度。从而根据拓展语句中各实体字符文本的检索注意度,即可对知识库进行检索得到查询语句对应的检索结果。如此,本发明实施例对查询语句进行拓展得到多个拓展语句,并根据拓展语句中各实体字符文本的分布位置信息,对各实体字符文本设置对应的检索注意度。充分考虑到查询语句中实体位置的不同导致的查询语句文本表述的丰富性和多样性,从而能够提高检索的准确性。
[0095] 需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
[0096] 还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
[0097] 以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

当前第1页 第1页 第2页 第3页
相关技术
检索方法相关技术
模型知识库相关技术
李中豪发明人的其他相关专利技术