[0001] 本申请涉及自然语言处理技术领域，尤其涉及一种基于改进型NLP模型客户服务评价方法、装置、介质及设备。

[0002] 为了给客户提供较高的服务水平，通常需要对客服的服务质量进行评价。目前，客户服务评价主要依赖于人工评价或者基于关键词和模式匹配的自动化系统。人工评价需要大量的人力资源，而且因为个体差异，评价结果往往存在一定的主观性和不一致性，成本高，评价效率低下。而基于关键词和模式匹配的自动化系统，虽然减少了人力资源的需求，但是它们通常只能对简单的语言模式进行匹配，无法准确理解和判断复杂的语言交互和情感因素，导致评价的准确性和全面性受到限制。

[0018] 为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0019] 为了解决现有技术中存在的上述问题，本申请实施例提供了一种基于改进型NLP模型客户服务评价方法方法、介质及设备，下面分别进行详细说明。

[0020] 实施例一：如图1所示，图1为本申请实施例提供的一种基于改进型NLP模型客户服务评价方法的流程图，该方法包括以下步骤：
获取客服与用户之间的历史交互数据。

[0021] 从客服系统中导出客服与用户之间的历史交互数据，包括文字聊天记录、语音聊天记录（需转换为文本）、电话录音记录、邮件记录。

[0022] 对历史交互数据进行预处理，预处理包括数据清洗、标注和分词。

[0023] 对历史交互数据进行预处理，数据清洗可以去除无关信息、噪音等、标注处理可以为数据打上交互质量类别和情感类别的标签，分词操作可以将文本数据拆分成独立的词汇或短语。

[0024] 利用预处理后的历史交互数据训练基于Transformer架构的改进型NLP模型EUEM（Emotion Understanding and Evaluation Model，情感理解和评价模型），得到训练好的EUEM模型。

[0025] 收集预处理后的历史交互数据，确保数据已标注有交互质量类别（如优秀、良好、一般、差）和情感类别（如满意、中立、不满意、愤怒）。

[0026] 利用预处理后的历史交互数据对基于Transformer架构的改进型NLP模型EUEM进行迭代训练。在每次迭代中，模型会预测交互质量得分和情感得分，并与训练数据实际标注的交互质量类别和情感类别进行比较，计算误差。

[0027] 根据误差调整模型参数，优化模型性能。重复迭代训练，直到损失函数收敛，即模型性能不再显著提升，结束训练。

[0028] EUEM模型能够捕捉文本中的深层语义信息，准确识别客服与用户之间的交互质量和情感类别。通过迭代训练和优化，模型性能不断提升，直至损失函数收敛，从而确保了对交互数据评价的准确性和客观性。这种基于大数据和机器学习的评价方法，相比传统的人工评价，能够更快速、更准确地给出评价结果，为提升客户服务水平提供有力支持。

[0029] 将待评价交互数据输入到训练好的EUEM模型中，输出交互质量得分和情感得分，基于这两个得分计算综合评分。

[0030] 对于待评价的交互数据，将其输入到训练好的EUEM模型中，模型会输出交互质量得分和情感得分。

[0031] 交互质量得分反映了客服交互过程的流畅度、效率和准确性，情感得分则反映了客服人员的情感处理能力和用户的满意度。

[0032] 首先，模型将文本转换为词向量，然后通过一系列的Transformer层进行信息融合和抽象，最后通过全连接层和Softmax层输出每种交互质量类别的概率。交互质量得分的计算公式为：Q=∑PiSi，其中Pi是第i种交互质量类别的概率，Si是第i种交互质量类别的得分，可根据实际需求设定。

[0033] 模型同样将文本转换为词向量，然后通过另一系列的Transformer层进行信息融合和抽象，最后通过全连接层和Softmax层输出每种情感类别的概率。情感得分的计算公式为：E=∑PjSj，其中Pj是第j种情感类别的概率，Sj是第j种情感类别的得分，情感类别的得分同样可根据实际需求设定。

[0034] 基于交互质量得分和情感得分，计算综合评分。计算公式为：T=α×Q+β×E，其中T是综合评分，α和β是权重参数（可根据实际需求调整）。

[0035] 通过量化评价，可以消除主观因素对评价结果的影响，使得评价更加客观、公正。交互质量得分和情感得分的计算公式，考虑了不同交互质量类别和情感类别的概率和得分，能够更全面地反映客服与用户之间的交互情况。而综合评分计算公式，则通过调整权重参数，可以根据实际需求平衡交互质量和情感倾向在评价中的权重，使得评价结果更加符合实际需求。

[0036] 客户在不同交互阶段表达的相同情感可能因上下文不同而具有不同的影响力。例如，假设一位客户在购买了一台新款电视机后，与客服进行了多次交互。在第一次交互中，客户因为电视机的配送问题而表达了“不满意”的情感。具体来说，客户原本期待在周末前收到电视机，以便能够观看周末的体育赛事，但配送却出现了延误，导致客户无法在预期时间内收到电视机。在这种情况下，客户的“不满意”情感对客服交互质量的评价具有显著的负面影响，因为它直接关联到客户的购物体验和期待。

[0037] 然而，在第二次交互中，客户同样表达了“不满意”的情感，但这次的原因却与电视机的质量或配送无关。原来，客户在观看电视机的过程中发现了一些自己不太喜欢的功能设计，并在与客服沟通时表达了自己的不满。尽管客户再次使用了“不满意”这个词，但这次的情感表达对客服交互质量的评价影响却相对较小。因为这次的不满更多是基于个人偏好和主观感受，而非客服在提供服务过程中的失误或不足。

[0038] 更重要的是，当客服了解到客户第二次表达“不满意”的上下文后，采取了积极的沟通策略，向客户解释了电视机的功能设计原理，并提供了一些使用建议。通过有效的沟通，客服不仅缓解了客户的不满情绪，还增强了客户对品牌的信任感和忠诚度。

[0039] 这个例子证明了根据交互上下文动态调整情感权重的必要性。在第一次交互中，客户的“不满意”情感直接反映了配送服务的不足，对客服交互质量的评价具有较大的负面影响。而在第二次交互中，尽管客户同样表达了“不满意”的情感，但由于上下文的不同（即不满的原因与客服服务无关），这次情感表达的影响力相对较小。通过有效的沟通和解释，客服甚至能够转化客户的不满情绪为积极的品牌体验。

[0040] 因此，在客户服务评价中，我们需要综合考虑客户在不同交互阶段表达的相同情感所蕴含的不同含义和影响力，以确保评价结果的准确性和公正性。

[0041] 对此，本申请实施例在评估情感得分E时，引入动态情感影响评分机制。首先，针对多个情感类别（如满意、中立、不满意、愤怒），分别初始化情感权重。

[0042] 根据交互上下文（包括交互阶段、客户问题等级、客户历史反应等），确定情感权重调整的触发条件。例如，当客户在问题解决后的反馈阶段表达“不满意”情感，且问题等级较高时，可能触发权重调整。

[0043] 当满足触发条件时，动态调整情感权重，计算得到动态情感影响评分。

[0044] 计算公式为：St=Et×Ct，其中St表示动态情感影响评分，Et是在时间t的情感得分，Ct是基于上下文的权重因子，Ct是由交互阶段、问题严重性、客户历史反应决定的。

[0045] 对各时间t的动态情感影响评分进行加权平均计算，得到情感得分E。经过动态权重调整后计算得到的情感得分E更能真实反映客户的情感，提高客户服务评价的准确性。

[0046] 动态情感影响评分机制能够考虑客户在不同交互阶段和情感状态下的真实感受，使得情感得分的评估更加灵活和准确。通过根据交互阶段、客户问题等级、客户历史反应等因素确定情感权重调整的触发条件，并计算动态情感影响评分，可以更加全面地反映客户在交互过程中的情感变化。这种动态性和灵活性的评价方法，能够更好地适应不同客户和不同交互场景的需求，为提升客户服务体验提供有力保障。

[0047] 通过本申请实施例一提供的基于改进型NLP模型的客户服务评价方法，可以实现对客服与用户之间交互数据的智能分析，准确评估交互质量和情感倾向。该方法不仅提高了客户服务评价的准确性和客观性，还为提升客户服务水平提供了有力的数据支持。同时，动态情感影响评分机制的引入，使得情感得分的评估更加灵活和准确，能够更好地反映客户在不同交互阶段和情感状态下的真实感受。

[0048] 实施例二：如图2所示，图2为本申请实施例提供的一种基于改进型NLP模型客户服务评价装置的结构图，该装置包括：
获取模块，用于获取客服与用户之间的历史交互数据；
预处理模块，用于对历史交互数据进行预处理，预处理包括数据清洗、标注和分词；
训练模块，用于利用预处理后的历史交互数据训练基于Transformer架构的改进型NLP模型EUEM，得到训练好的EUEM模型；
计算模块，用于将待评价交互数据输入到训练好的EUEM模型中，输出交互质量得分和情感得分，基于这两个得分计算综合评分。

[0049] 具体的，训练模块包括：收集单元，用于收集预处理后的历史交互数据；预处理后的交互数据已标注有交互质量类别和情感类别；
迭代训练单元，用于利用预处理后的历史交互数据对EUEM模型进行迭代训练，在每次迭代中，计算模型预测的交互质量得分和情感得分与训练数据实际标注的交互质量类别和情感类别的误差，并根据误差调整模型参数；直到损失函数收敛，结束训练。

[0050] 具体的，交互质量得分的计算公式为：Q=∑PiSi；其中，Q是交互质量得分，Pi是第i种交互质量类别的概率，Si是第i种交互质量类别的得分；情感得分的计算公式为：E=∑PjSj；其中，E是情感得分，Pj是第j种情感类别的概率，Sj是第j种情感类别的得分；
基于交互质量得分和情感得分，计算综合评分，计算公式为：T=α×Q+β×E；其中，T是综合评分，α和β是权重参数。

[0051] 具体的，计算模块中还包括动态调整单元，用于：针对多个情感类别，分别初始化情感权重；
根据交互上下文，确定情感权重调整的触发条件，交互上下文包括交互阶段、客户问题等级、客户历史反应；
当满足触发条件时，动态调整情感权重，计算得到动态情感影响评分；
其中，计算公式为：St=Et×Ct；
St表示动态情感影响评分，Et是在时间t的情感得分，Ct是基于上下文的权重因子，Ct是由交互阶段、问题严重性、客户历史反应决定的；
对各时间t的动态情感影响评分进行加权平均计算，得到情感得分E。

[0052] 通过本申请实施例二提供的基于改进型NLP模型的客户服务评价方法，可以实现对客服与用户之间交互数据的智能分析，准确评估交互质量和情感倾向。该方法不仅提高了客户服务评价的准确性和客观性，还为提升客户服务水平提供了有力的数据支持。同时，动态情感影响评分机制的引入，使得情感得分的评估更加灵活和准确，能够更好地反映客户在不同交互阶段和情感状态下的真实感受。

[0053] 实施例三：根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

[0054] 图3示出了可以用来实施本申请的实施例的示例电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

[0055] 如图3所示，设备300包括计算单元301，其可以根据存储在只读存储器（ROM）302中的计算机程序或者从存储单元308加载到随机访问存储器（RAM）303中的计算机程序，来执行各种适当的动作和处理。在RAM 303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。

[0056] 设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

[0057] 计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如基于改进型NLP模型客户服务评价方法。例如，在一些实施例中，基于改进型NLP模型客户服务评价方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到RAM 303并由计算单元301执行时，可以执行上文描述的基于改进型NLP模型客户服务评价方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行基于改进型NLP模型客户服务评价方法。

[0058] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

[0059] 用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0060] 在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD‑ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0061] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

[0062] 可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

[0063] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

[0064] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

[0065] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

[0066] 以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。