[0001] 本申请涉及数据处理技术领域，尤其涉及一种基于智能问答场景的回答标注方法、装置及相关产品。

[0002] 随着人工智能技术的研究与进步，人工智能技术在多个领域展开研究和应用，例如常见的大语言模型(LLM，Large Language Model)，大语言模型可以处理多种自然语言任务，如智能问答等。为了使大语言模型能够更好地进行智能问答，在预训练好的大语言模型基础上对大语言模型进行微调，微调过程主要分为三个步骤：1、监督学习；2、训练RM(Reward Model，奖励模型)；3、强化学习。其中RM的训练效果对微调后的大语言模型在表现上有显著影响，而RM的训练效果在很大程度上依赖于人工标注对于训练数据的质量。

[0003] 因此在相关技术中Anthropic(人工智能)公司的标注方案着重于关注RM的训练数据的人工标注质量，Anthropic公司的人工标注方案为：利用步骤1中的SFT(supervised fine tuning,有监督微调模型)为一个问题生成两个回答，然后在训练RM阶段，标注对象分别判断这两个回答的有用性与无害性，从而确定出最佳回答。但是相关技术中Anthropic公司的人工标注方案的标注规则不够细化，导致在实际标注过程不同标注对象的理念存在较大偏差，且标注出来的回答与正确回答相比一致性较低。

[0004] 由此，如何提高标注回答与正确回答相比的一致性，已经成为当前领域亟待解决的技术问题。

[0036] 下面结合附图，对本申请的实施例进行描述。

[0037] 随着人工智能技术的研究与进步，人工智能技术在多个领域展开研究和应用，例如常见的大语言模型(LLM，Large Language Model)，大语言模型可以处理多种自然语言任务，如智能问答等。为了使大语言模型能够更好地进行智能问答，在预训练好的大语言模型基础上对大语言模型进行微调，微调过程主要分为三个步骤：1、监督学习；2、训练RM(Reward Model，奖励模型)；3、强化学习。其中RM的训练效果对微调后的大语言模型在表现上有显著影响，而RM的训练效果在很大程度上依赖于人工标注对于训练数据的质量。

[0038] 因此在相关技术中Anthropic(人工智能)公司的标注方案着重于关注RM的训练数据的人工标注质量。图1为本申请实施例提供的一种相关技术中标注回答的示意图，如图1所示，图1展现了Anthropic公司的人工标注方案。其具体为：首先利用步骤1中的有监督微调模型为一个问题生成两个回答(回答1和回答2)，然后标注对象在微调过程的步骤2中根据问题和问题对应的正确回答，来分别判断这回答1和回答2的有用性与无害性，从而确定出最佳回答(最佳回答为回答1或回答2)。图2为本申请实施例提供的另一种相关技术中标注回答的示意图，如图2所示，标注对象根据提问对象的问题并结合问题的正确回答，选择回答1或是回答2更具备有用性，以及选择回答1或是回答2更具备无害性，最终根据选择结果由标注对象确定出最佳回答。

[0039] 从上述过程可以得出：相关技术中Anthropic公司的人工标注方案的标注规则不够细化，导致在实际标注过程不同标注对象的理念存在较大偏差，且标注出来的回答与正确回答相比一致性较低。由此，如何提高标注回答与正确回答相比的一致性，已经成为当前领域亟待解决的技术问题。

[0040] 鉴于以上问题，在本申请中提供了一种在本申请提供的技术方案中，旨在提高标注回答与正确回答相比的一致性。在本申请技术方案中首先获取目标问题的多个回答以及目标问题的正确回答；在此阶段，利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，来获得多个回答对应的标注得分；然后将对多个回答对应的标注得分进行比较，并从多个回答对应的标注得分中确定出得分最高的标注得分；最后将得分最高的标注得分对应的回答标注为目标问题的目标回答。可见，相较于相关技术中的人工标注方案，本申请想到采用更细化的标注规则来获得多个回答对应的标注得分，也即通过回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则来获得多个回答对应的标注得分，并通过比较得分的形式从多个回答对应的标注得分中确定出得分最高的标注得分，以及将得分最高的标注得分对应的回答标注为目标回答，如此提高了标注回答与正确回答相比的一致性。

[0041] 人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

[0042] 人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

[0043] 本申请提供的基于智能问答场景的回答标注方法主要涉及机器学习。其中，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

[0044] 本申请实施例提供的基于智能问答场景的回答标注方法的执行主体可以为终端设备。例如在终端设备上获取目标问题的多个回答以及目标问题的正确回答。作为示例，终端设备具体可以包括但不限于手机、台式电脑、平板电脑、笔记本电能、掌上电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本申请实施例提供的基于智能问答场景的回答标注方法的执行主体也可以是服务器，即可以在服务器上获取目标问题的多个回答以及目标问题的正确回答。本申请实施例提供的基于智能问答场景的回答标注方法也可以由终端设备和服务器协同执行。故本申请实施例中对于执行本申请技术方案的实现主体不做限定。

[0045] 图3示例性地展示了一种基于智能问答场景的回答标注方法的场景架构图。图中包括服务器以及多种形式的终端设备。图3所示的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。另外，服务器还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

[0046] 图4为本申请实施例提供的一种基于智能问答场景的回答标注方法的应用场景示意图，如图4所示。首先获取目标问题的多个回答(回答a、回答b、回答c、回答…和回答n)以及目标问题的正确回答；在此阶段，然后利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，获得回答a、回答b、回答c、回答…和回答n分别对应的回答a标注得分、回答b标注得分、回答c标注得分、回答…标注得分和回答n标注得分；最后将回答a标注得分、回答b标注得分、回答c标注得分、回答…标注得分和回答n标注得分进行比较，获得最高标注得分，其中最高标注得分为回答a标注得分、回答b标注得分、回答c标注得分、回答…标注得分和回答n标注得分中得分最高的一个；并将最高标注得分对应的回答作为目标问题的目标回答。如此，将经过本申请更细化的标注规则以及将标注得分比较之后标注获得的目标回答，与目标问题的正确回答相比，提高了标注回答与正确回答的一致性。

[0047] 参见图5，该图为本申请实施例提供的一种基于智能问答场景的回答标注方法的流程图。如图5所示的基于智能问答场景的回答标注方法中，包括以下步骤：

[0048] S501：获取目标问题的多个回答以及所述目标问题的正确回答。

[0049] 在本步骤中，该目标问题为智能问答场景中提问对象输入的问题，该多个回答为有监督微调模型基于目标问题输出的回答，该正确回答为智能问答场景中提问对象一并输入的回答，以便在后续过程中根据该正确回答并结合标注规则来确定出目标问题的目标回答。需要说明的是，在本申请中对预训练好的大语言模型仍旧采用步骤1‑监督学习；步骤2‑训练RM；步骤3‑强化学习的微调过程。进一步的，本申请中基于智能问答场景的回答标注方法用于标注上述微调过程的步骤2中奖励模型的训练数据，有监督微调模型为微调过程中步骤1中的模型。

[0050] 下面结合图6来说明本申请中对预训练好的大语言模型进行微调的步骤2——标注奖励模型的训练数据，图6为本申请实施例提供的一种对大语言模型微调过程中回答标注的示意图，如图6所示。在大语言模型的步骤2‑训练奖励模型中，首先获取有监督微调模型的输入与输出，也即问题与问题的多个回答(回答a、回答b、回答c和回答d)，然后对回答a、回答b、回答c和回答d进行标注，以获得标注确定后的回答(回答d)，并将回答d作为问题的最佳回答。如此，在该大语言模型微调过程的步骤2中，可以将回答d输入到奖励模型中，以作为奖励模型的训练数据进行训练。

[0051] S502：利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，获得所述多个回答对应的标注得分。

[0052] 在本步骤中，回答内容占比规则用于判断回答中正确内容的占比，回答内容显著性规则用于判断回答中正确内容是否具有显著性，回答内容引用占比规则用于判断回答中引用正确回答的片段占比，回答内容质量规则用于判断回答中是否存在编造内容，回答内容重复规则用于判断回答中是否存在重复内容，回答内容逻辑规则用于判断回答中内容逻辑是否正确。其中正确内容为正确回答中的内容，编造内容为在正确回答中未找到的内容。

[0053] 可以理解的是，回答内容显著性规则将多个回答分别与正确回答相比，以判断回答中正确内容占回答的占比；回答内容显著性规则将多个回答分别与正确回答相比，以判断回答中正确内容在回答中是否具有显著性；回答内容引用占比规则将多个回答分别与正确回答相比，以判断回答中引用正确回答的片段占比；回答内容质量规则将多个回答分别与正确回答相比，以判断回答中是否存在编造内容；回答内容重复规则将多个回答逐一进行遍历，以判断回答中是否存在重复内容；回答内容逻辑规则将多个回答逐一进行遍历，以判断回答中内容逻辑是否正确。如此，在本申请中利用六个维度更细化的标注规则，可以进一步提高标注回答与正确回答的一致性，以及提升标注后得到的回答对奖励模型的训练效果。

[0054] S503：对所述多个回答对应的标注得分进行比较，确定出所述多个回答对应的标注得分中得分最高的标注得分。

[0055] 在本步骤中，首先将多个回答对应的标注得分中的任意两个标注得分进行多次组合，直至多个回答对应的标注得分均被组合过，获得各个标注得分对；然后按照得分对将各个标注得分对中的标注得分分别进行得分比较，获得多个最高标注得分；最后将多个最高标注得分中最大值确定为多个回答对应的标注得分中得分最高的标注得分。可以理解的，其中最高标注得分为目标得分对下得分最高的标注得分，目标得分对为各个得分对下的任意一个得分对，多个最高标注得分中最大值为在多个最高标注得分中得分最高的标注得分。

[0056] 下面结合图7来说明的上述标注得分比较过程，图7为本申请实施例提供的一种基于智能问答场景的回答标注方法的得分比较示意图，如图7所示。在图7中，拟多个回答为回答a、回答b和回答c，多个回答对应的标注得分为回答a标注得分、回答b标注得分和回答c标注得分。在此阶段，将回答a标注得分和回答b标注得分进行组合，获得标注得分对1；回答a标注得分和回答c标注得分进行组合，获得标注得分对2；回答b标注得分和回答c标注得分进行组合，获得标注得分对3。然后将标注得分对1中的回答a标注得分和回答b标注得分进行得分比较，获得的标注得分对1下得分最高的最高标注得分1(最高标注得分1为回答a标注得分或者回答b标注得分)；将标注得分对2中的回答a标注得分和回答c标注得分进行得分比较，获得的标注得分对2下得分最高的最高标注得分2(最高标注得分2为回答a标注得分和回答c标注得分)；将标注得分对3中的回答b标注得分和回答c标注得分进行得分比较，获得的标注得分对3下得分最高的最高标注得分3(最高标注得分3为回答b标注得分和回答c标注得分)。最后将最高标注得分1、最高标注得分2和最高标注得分3中得分最高的标注得分确定为多个回答对应的标注得分中得分最高的标注得分。

[0057] 可见，在本申请中通过两两比较不同的标注得分，就可以从中判断出多个回答对应的标注得分中得分最高的标注得分。并且在本申请中，只需要标注n个回答的得分，就可以获得C(n,2)＝n*(n‑1)/2个标注得分对，比如有监督微调模型针对于一个问题输出了9个回答，那本申请就可以组合获得36个标注得分对。如此，相较于相关技术中只能两两回答进行比较，进一步提高了比较效率。

[0058] S504：将所述得分最高的标注得分对应的回答标注为所述目标问题的目标回答。

[0059] 可以理解的，在经过上述标注规则判断以及标注得分比较之后，可以标注出与正确回答相比一致性较高的回答，该回答对应的标注得分为多个回答对应的标注得分中得分最高的标注得分，并将该回答作为目标问题的目标回答。该目标回答可以作为大语言模型微调过程中奖励模型的训练数据。

[0060] 在一种可实现的实施方式中，将多个回答按照得分进行降序排列，并将多个回答对应的标注得分中标注得分小于预设标注得分对应的回答删除，获得目标问题的回答序列；其中预设标注得分可以是预先设定的，在此不做具体限定，还可在实际应用中根据需要进行设定。需要说明的是，回答序列可以用于输出给提问对象，回答序列还可以用于在大语言模型微调过程中输入到奖励模型中作为奖励模型的训练数据。

[0061] 图8为本申请实施例提供的另一种对大语言模型微调过程中回答标注的示意图，如图8所示。在大语言模型的步骤2‑训练奖励模型中，首先获取有监督微调模型的输入与输出，也即问题与问题的多个回答(回答a、回答b、回答c和回答d)，然后对回答a、回答b、回答c和回答d进行标注，以获得标注确定后的回答序列(回答d>回答c>回答b＝回答a)，并将回答序列输入到奖励模型中，以作为奖励模型的训练数据进行训练。如此，在利用该目标回答或者回答序列作为训练数据训练出来的奖励模型，可以大大提高奖励模型的训练效果。

[0062] 需要说明的是，利用本申请中回答标注方法微调后获得的大语言模型可以应用于newbing中，其中智能问答场景还可以为其他提供智能问答的场景，在此不做限定。如图9所示，图9为本申请实施例提供的另一种基于智能问答场景的回答标注方法的应用场景示意图，在图9中，接收提问对象提出问题“明朝四大才子是谁？”，然后根据问题大语言模型输出问题的回答“明朝四大才子是唐伯虎、祝枝山、文征明和徐祯卿”。需要说明的是，提问对象可以点击“了解详细信息”跳转到相关网页进一步查看该回答，并且提问对象还可以点击“了解其他回答”跳转到相关网页进一步查看问题的其他回答。

[0063] 在一种可实现的实施方式中，步骤S502(利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，获得多个回答对应的标注得分)包括以下步骤SA1‑SA2(需要说明的是，步骤SA1‑SA2未在附图中示出)：

[0064] SA1：利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，对同一回答逐一进行打分，获得同一回答针对于标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分。

[0065] 需要说明的是，在本申请中利用六个维度更细化的标注规则(回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则)，来进一步提高标注回答与正确回答的一致性。接下来对这六个维度更细化的标注规则进行展开说明。

[0066] ①利用标注规则集合中的回答内容占比规则判断同一回答中正确内容的占比，并根据回答内容占比规则的判断结果对同一回答进行打分，获得同一回答针对于回答内容占比规则的初始标注得分。

[0067] 该回答内容占比规则用于判断回答中正确回答的占比。可以理解的是，将同一回答与正确回答相比，若同一回答中完全没有正确回答，则可以判断同一回答中正确回答的占比为0％；若同一回答中包含正确回答的一部分内容，则可以判断同一回答中正确回答的占比为1％‑80％；若同一回答中包含正确回答的大部分内容，则可以判断回答中正确回答的占比为81％‑100％。相应的，占比为0％、占比为1％‑80％和占比为81％‑100％分别对应的打分分值可以为0、1和2。需要说明的是，在本申请中正确回答的占比的比值和打分分值可以在应用场景中根据需要设定的，在此不做具体限定。

[0068] 比如若回答内容占比规则对回答a的判断结果为0％，则可以对回答a打0分；若回答内容占比规则对回答a的判断结果为1％‑80％，则可以对回答a打1分；若回答内容占比规则对回答a的判断结果为81％‑100％，则可以对回答a打2分。进一步的，若回答内容占比规则对回答a的判断结果为1％‑80％，那么回答a针对于回答内容占比规则的初始标注得分可以为1分。

[0069] ②利用标注规则集合中的回答内容显著性规则判断同一回答中正确内容是否具有显著性，并根据回答内容显著性规则的判断结果对同一回答进行打分，获得同一回答针对于回答内容显著性规则的初始标注得分。

[0070] 该回答内容显著性规则用于判断回答中正确内容是否具有显著性。具体的，该回答内容显著性规则用于判断回答中正确内容是否处于回答的前端位置，且判断当正确内容处于回答的前端位置时正确内容的占比。可以理解的，将同一回答与正确回答相比，若同一回答中正确内容处于同一回答的前端位置，且当正确内容处于同一回答的前端位置时正确内容的占比为70％及以上，则可以说明同一回答中正确内容具有显著性，相应的可以为该同一回答打分为2分；若同一回答中正确内容未处于同一回答的前端位置，则可以说明同一回答中正确内容未具有显著性，相应的可以为该同一回答打分为0分。其中前端位置为同一回答的预设位置之前的位置，比如可以将同一回答中前30％的位置设定为前端位置，也可以将同一回答中前50％的位置设定为前端位置，该预设位置可以在应用场景中根据需要设定的，在此不做具体限定。

[0071] 在一种可实现的实施方式中，判断结果还可以包括同一回答中正确内容具有显著性但显著性不突出。具体的，同一回答中正确内容具有显著性但显著性不突出可以包括以下两种判断情况：情况1：非正确回答出现在前端位置中正确回答之后，且非正确回答占比未超过同一回答内容占比的50％，以及非正确回答中表达正确；情况2：非正确回答出现在前端位置中正确回答之后，且非正确回答占比未超过同一回答内容占比的70％，以及非正确回答与正确回答相关(比如非正确回答为正确回答的补充说明、特征描述、更详细的步骤、后续步骤等，或者非正确回答为问题的另一种解决方案)。若同一回答满足上述判断情况中的任意一个，则可以为该同一回答打分为1分。其中，本申请中的占比比值和打分分值可以在应用场景中根据需要设定的，在此不做具体限定。

[0072] ③利用标注规则集合中的回答内容引用占比规则判断同一回答中引用正确回答的片段占比，并根据回答内容引用占比规则的判断结果对同一回答进行打分，获得同一回答针对于回答内容引用占比规则的初始标注得分。

[0073] 该回答内容引用占比规则用于判断回答中引用正确回答的片段占比。首先需要说明的是，同一回答中引用正确回答的片段的引用片段规则包括，判断同一回答中句子内容与正确回答中句子内容是否相似，且当同一回答中句子内容与正确回答中句子内容相似时，判断同一回答与正确回答的句子内容之间的相同内容占比，是否占正确回答中句子内容的预设阈值及以上；其中同一回答的句子长度与正确回答的句子长度相同，预设阈值可以根据实际需要进行设置，在此不做具体限定。可以理解的，若同一回答中句子内容与正确回答中句子内容相似，且当同一回答中句子内容与正确回答中句子内容相似时，同一回答与正确回答的句子内容之间的相同内容占比，占正确回答中句子内容的预设阈值及以上，则认为同一回答中的该句子内容引用了正确回答中的句子内容。除了上述情况，均将其余情况认为同一回答中的该句子内容未引用正确回答中的句子内容。

[0074] 进一步的，在一种可实现的实施方式中，可以以符号为单位对回答中的内容进行切分，获得回答的句子，如切分为自然段落内的整句或者切分为表格中的一行。在另一种可实现的实施方式中，在句子过长时，可以按照字数对句子进行截断，以保证回答的句子长度与正确回答的句子长度相同。并且回答的句子内容不能引用正确回答中的两个以上句子内容，以及若正确回答的中出现重复的句子内容时选择第一个出现的句子内容进行引用。

[0075] 下面结合具体示例进行说明，在该示例中，拟问题为“A分辨率怎么调”。问题的正确回答为“A调整分辨率的方法：1、双击打开A软件并登陆到A主页面；2、进入主页面找到“设置”按钮，并点击进入；3、在设置中将分辨率调整为1280*1024(游戏玩家也可以自行调整相对需要的舒适分辩率哟)；4、设置完成后，将看到“窗口模式”按钮，将“窗口模式”勾选，再点击确认，即可进行调整。问题的回答为“更改A分辨率时，可以按照以下步骤进行操作：1、双击打开A软件并登录到A主页；2、进入主页找到“设置”按钮，并点击进入；3、在菜单中找到“根据具体情况设置游戏设置”并按下相应的按钮，或选择“辅助设置”；4、在查看的设置中进行选择合适的画面分辨率”。

[0076] 如此根据上述引用片段规则判断问题的回答中引用问题的正确回答的片段为：“1、双击打开A软件并登陆到A主页面；2、进入主页面找到“设置”按钮,并点击进入；3、在设置中将分辨率调整为1280*1024(游戏玩家也可以自行调整相对需要的舒适分辩率哟)，其中问题的正确回答中的“在设置中将分辨率调整为1280*1024(游戏玩家也可以自行调整相对需要的舒适分辩率哟)”对应于问题的回答中的“在查看的设置中进行选择合适的画面分辨率”。

[0077] 可以理解的，将同一回答与正确回答相比，若同一回答中引用正确回答的片段占比为0％，则可以为同一回答打分为0；若同一回答中引用正确回答的片段占比为1％‑80％，则可以为同一回答打分为1；若同一回答中引用正确回答的片段占比为81％‑100％，则可以为同一回答打分为2。需要说明的是，在本申请中片段占比的比值和打分分值可以在应用场景中根据需要设定的，在此不做具体限定。

[0078] ④利用标注规则集合中的回答内容质量规则判断同一回答中是否存在编造内容，并根据回答内容质量规则的判断结果对同一回答进行打分，获得同一回答针对于回答内容质量规则的初始标注得分。

[0079] 该回答内容质量规则用于判断回答中是否存在编造内容，该编造内容为在正确回答中未找到的内容。可以理解的，将同一回答与正确回答相比，若同一回答中未存在编造内容，则可以为同一回答打分为2；若同一回答中存在编造内容，则可以为同一回答打分为0‑1。具体的，若同一回答中存在编造内容，但该编造内容为编造了回答的步骤等等，以及该编造内容未超过30％，则可以为同一回答打分为1；若同一回答中存在编造内容，且该编造内容未为编造了回答的步骤等等，以及该编造内容篇幅超过70％，则可以为同一回答打分为
0。需要说明的是，在本申请中占比比值和打分分值可以在应用场景中根据需要设定的，在此不做具体限定。

[0080] ⑤利用标注规则集合中的回答内容重复规则判断同一回答中是否存在重复内容，并根据回答内容重复规则的判断结果对同一回答进行打分，获得同一回答针对于回答内容重复规则的初始标注得分。

[0081] 该回答内容重复规则用于判断回答中是否存在重复内容。可以理解的，对同一回答进行遍历，若同一回答中未存在重复内容，则可以为同一回答打分为2；若同一回答中存在重复内容，则可以为同一回答打分为0‑1。具体的，若同一回答中存在重复内容，且该重复内容占比未超过40％，则可以为同一回答打分为1；若同一回答中存在重复内容，且该重复内容占比超过40％，则可以为同一回答打分为0。需要说明的是，在本申请中占比比值和打分分值可以在应用场景中根据需要设定的，在此不做具体限定。

[0082] ⑥利用标注规则集合中的回答内容逻辑规则判断同一回答中内容逻辑是否正确，并根据回答内容逻辑规则的判断结果对同一回答进行打分，获得同一回答针对于回答内容逻辑规则的初始标注得分。

[0083] 该回答内容逻辑规则用于判断回答中内容逻辑是否正确。可以理解的，对同一回答进行遍历，若同一回答中内容逻辑正确，则可以为同一回答打分为2；若同一回答中内容逻辑未正确，则可以为同一回答打分为0‑1，逻辑正确可以理解为同一回答表达清晰，可以快速理解同一回答的内容。具体的，若同一回答中内容逻辑未正确，且该内容逻辑未正确的占比未超过40％，则可以为同一回答打分为1；若同一回答中内容逻辑未正确，且该内容逻辑未正确的占比超过40％，则可以为同一回答打分为0。需要说明的是，在本申请中占比比值和打分分值可以在应用场景中根据需要设定的，在此不做具体限定。

[0084] SA2：对同一回答针对于标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分进行处理，获得同一回答对应的标注得分。

[0085] 可以理解的，在本申请中对同一回答针对于标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分进行加权求和计算，获得同一回答对应的标注得分。

[0086] 参见图10，图10为本申请实施例提供的一种基于智能问答场景的回答标注方法的标注得分处理的示意图，如图10所示。在图10中，利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对回答a进行打分，获得回答a分别针对于标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则的，初始标注得分1、初始标注得分2、初始标注得分3、初始标注得分4、初始标注得分5和初始标注得分6。然后对初始标注得分1、初始标注得分2、初始标注得分3、初始标注得分4、初始标注得分5和初始标注得分6进行加权求和计算，获得回答a标注得分。

[0087] 需要说明的是，加权求和计算中的权重系数可以根据实际需要进行设置，并且回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对应的权重系数可以相同，也可以不相同。比如将回答内容占比规则对应的权重系数设置为10，回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对应的权重系数均设置为1。

[0088] 基于前文实施例提供的基于智能问答场景的回答标注方法，本申请中还相应提供了一种基于智能问答场景的回答标注装置。下面对本申请实施例提供的基于智能问答场景的回答标注装置进行具体介绍。

[0089] 参见图11，该图为本申请实施例提供的一种基于智能问答场景的回答标注装置的结构示意图。如图11所示，该基于智能问答场景的回答标注装置，具体包括：

[0090] 问题回答获取单元1101，用于获取目标问题的多个回答以及所述目标问题的正确回答；其中所述目标问题为智能问答场景中提问对象输入的问题，所述多个回答为有监督微调模型基于所述目标问题输出的回答；

[0091] 标注得分获得单元1102，用于利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，获得所述多个回答对应的标注得分；其中所述回答内容占比规则用于判断回答中正确内容的占比，所述回答内容显著性规则用于判断回答中正确内容是否具有显著性，所述回答内容引用占比规则用于判断回答中引用所述正确回答的片段占比，所述回答内容质量规则用于判断回答中是否存在编造内容，所述回答内容重复规则用于判断回答中是否存在重复内容，所述回答内容逻辑规则用于判断回答中内容逻辑是否正确；所述正确内容为所述正确回答中的内容，所述编造内容为在所述正确回答中未找到的内容；

[0092] 标注得分比较单元1103，用于对所述多个回答对应的标注得分进行比较，确定出所述多个回答对应的标注得分中得分最高的标注得分；

[0093] 目标回答标注单元1104，用于将所述得分最高的标注得分对应的回答标注为所述目标问题的目标回答。

[0094] 可选的，所述标注得分获得单元1102，包括：

[0095] 初始标注得分获得单元，用于利用所述标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，对同一回答逐一进行打分，获得同一回答针对于所述标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分；

[0096] 初始标注得分处理单元，用于对所述同一回答针对于所述标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分进行处理，获得所述同一回答对应的标注得分。

[0097] 可选的，所述初始标注得分获得单元1102，包括：

[0098] 回答内容占比规则判断单元，用于利用所述标注规则集合中的回答内容占比规则判断所述同一回答中正确内容的占比，并根据所述回答内容占比规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容占比规则的初始标注得分；

[0099] 回答内容显著性规则单元，用于利用所述标注规则集合中的回答内容显著性规则判断所述同一回答中正确内容是否具有显著性，并根据所述回答内容显著性规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容显著性规则的初始标注得分；

[0100] 回答内容引用占比规则单元，用于利用所述标注规则集合中的回答内容引用占比规则判断所述同一回答中引用所述正确回答的片段占比，并根据所述回答内容引用占比规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容引用占比规则的初始标注得分；

[0101] 回答内容质量规则单元，用于利用所述标注规则集合中的回答内容质量规则判断所述同一回答中是否存在编造内容，并根据所述回答内容质量规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容质量规则的初始标注得分；

[0102] 回答内容重复规则单元，用于利用所述标注规则集合中的回答内容重复规则判断所述同一回答中是否存在重复内容，并根据所述回答内容重复规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容重复规则的初始标注得分；

[0103] 回答内容逻辑规则单元，用于利用所述标注规则集合中的回答内容逻辑规则判断所述同一回答中内容逻辑是否正确，并根据所述回答内容逻辑规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容逻辑规则的初始标注得分。

[0104] 可选的，所述回答内容显著性规则单元，具体用于：

[0105] 利用所述标注规则集合中的回答内容显著性规则判断所述同一回答中正确内容是否处于所述同一回答的前端位置，且判断当所述正确内容处于所述同一回答的前端位置时正确内容的占比，并根据所述回答内容显著性规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容显著性规则的初始标注得分；其中所述前端位置为所述同一回答的预设位置之前的位置。

[0106] 可选的，所述同一回答中引用所述正确回答的片段的引用片段规则，用于判断所述同一回答中句子内容与所述正确回答中句子内容是否相似，且当所述同一回答中句子内容与所述正确回答中句子内容相似时，判断所述同一回答与所述正确回答的句子内容之间的相同内容占比，是否占所述正确回答中句子内容的预设阈值及以上；其中所述同一回答的句子长度与所述正确回答的句子长度相同。

[0107] 可选的，所述初始标注得分处理单元，具体用于：

[0108] 对所述同一回答针对于所述标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分进行加权求和计算，获得所述同一回答对应的标注得分。

[0109] 可选的，所述标注得分比较单元1103，具体用于：

[0110] 将所述多个回答对应的标注得分中的任意两个标注得分进行多次组合，直至所述多个回答对应的标注得分均被组合过，获得各个标注得分对；

[0111] 按照得分对将所述各个标注得分对中的标注得分分别进行得分比较，获得多个最高标注得分；其中最高标注得分为目标得分对下得分最高的标注得分，所述目标得分对为所述各个得分对下的任意一个得分对；

[0112] 将所述多个最高标注得分中最大值确定为所述多个回答对应的标注得分中得分最高的标注得分。

[0113] 可选的，所述装置还包括：

[0114] 回答序列获得单元，用于将所述多个回答按照得分进行降序排列，并将所述多个回答对应的标注得分中标注得分小于预设标注得分对应的回答删除，获得所述目标问题的回答序列；其中所述回答序列用于输出给所述提问对象。

[0115] 本申请实施例提供了一种计算机设备，该计算机设备可以为服务器。图12是本申请实施例提供的一种服务器结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器900上执行存储介质930中的一系列指令操作。

[0116] 服务器900还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作系统941，例如TM TM TM TM TMWindows Server ，Mac OS X ，Unix ,Linux ，FreeBSD 等等。

[0117] 其中，CPU 922用于执行如下步骤：

[0118] 获取目标问题的多个回答以及所述目标问题的正确回答；其中所述目标问题为智能问答场景中提问对象输入的问题，所述多个回答为有监督微调模型基于所述目标问题输出的回答；

[0119] 利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，获得所述多个回答对应的标注得分；其中所述回答内容占比规则用于判断回答中正确内容的占比，所述回答内容显著性规则用于判断回答中正确内容是否具有显著性，所述回答内容引用占比规则用于判断回答中引用所述正确回答的片段占比，所述回答内容质量规则用于判断回答中是否存在编造内容，所述回答内容重复规则用于判断回答中是否存在重复内容，所述回答内容逻辑规则用于判断回答中内容逻辑是否正确；所述正确内容为所述正确回答中的内容，所述编造内容为在所述正确回答中未找到的内容；

[0120] 对所述多个回答对应的标注得分进行比较，确定出所述多个回答对应的标注得分中得分最高的标注得分；

[0121] 将所述得分最高的标注得分对应的回答标注为所述目标问题的目标回答。

[0122] 本申请实施例还提供了另一种计算机设备，该计算机设备可以为终端设备。如图13所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。以该终端设备为手机为例：

[0123] 图13示出的是与本申请实施例提供的手机的部分结构的框图。参考图13，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(英文全称：wireless fidelity，英文缩写：WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0124] 下面结合图13对手机的各个构成部件进行具体的介绍：

[0125] RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：Low Noise Amplifier，英文缩写：LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，英文缩写：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，GPRS)、码分多址(英文全称：Code Division Multiple Access，英文缩写：CDMA)、宽带码分多址(英文全称：Wideband Code Division Multiple Access,英文缩写：WCDMA)、长期演进(英文全称：Long  Term Evolution，英文缩写：LTE)、电子邮件、短消息服务(英文全称：Short Messaging Service，SMS)等。

[0126] 存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

[0127] 输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

[0128] 显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文缩写：LCD)、有机发光二极管(英文全称：Organic Light‑Emitting Diode，英文缩写：OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器
1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图13中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

[0129] 手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板
1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

[0130] 音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

[0131] WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

[0132] 处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体数据及信息收集。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

[0133] 手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

[0134] 尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

[0135] 在本申请实施例中，该手机所包括的处理器1080还具有以下功能：

[0136] 获取目标问题的多个回答以及所述目标问题的正确回答；其中所述目标问题为智能问答场景中提问对象输入的问题，所述多个回答为有监督微调模型基于所述目标问题输出的回答；

[0137] 利用标注规则集合中的回答内容占比规则、回答内容显著性规则、回答内容引用占比规则、回答内容质量规则、回答内容重复规则和回答内容逻辑规则，获得所述多个回答对应的标注得分；其中所述回答内容占比规则用于判断回答中正确内容的占比，所述回答内容显著性规则用于判断回答中正确内容是否具有显著性，所述回答内容引用占比规则用于判断回答中引用所述正确回答的片段占比，所述回答内容质量规则用于判断回答中是否存在编造内容，所述回答内容重复规则用于判断回答中是否存在重复内容，所述回答内容逻辑规则用于判断回答中内容逻辑是否正确；所述正确内容为所述正确回答中的内容，所述编造内容为在所述正确回答中未找到的内容；

[0138] 对所述多个回答对应的标注得分进行比较，确定出所述多个回答对应的标注得分中得分最高的标注得分；

[0139] 将所述得分最高的标注得分对应的回答标注为所述目标问题的目标回答。

[0140] 本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序在计算机设备上运行时，使得该计算机设备执行前述各个实施例所述的一种基于智能问答场景的回答标注方法中的任意一种实施方式。

[0141] 本申请实施例还提供一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行前述各个实施例所述的一种基于智能问答场景的回答标注方法中的任意一种实施方式。

[0142] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0143] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述系统的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个系统可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0144] 所述作为分离部件说明的系统可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0145] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0146] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read‑Only Memory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。

[0147] 以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。