[0001] 本发明属于人工智能技术领域，涉及一种客服服务态度检测检测方法、系统、装置及介质。

[0002] 在快递行业电话客服的工作中，如何服务好客户是日常工作中的重中之重。如何实时的监控客服是否服务态度异常并实时介入干预一直是一个重要且具有挑战的问题。在以往传统的客服服务态度问题上常见的检测方法是通话结束后录音上传至质检平台，ASR(语音转文本)后，根据关键词或者单句的语义进行判断是否存在服务态度问题。然而电话录音由于环境杂音被收集和ASR(语音转文本)转写存在不准等问题，质检结果会有很大误差。

[0043] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

[0044] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0045] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

[0046] 在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0047] 此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

[0048] 在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0049] 下面结合附图对本发明做进一步详细描述：

[0050] 参见图1，本发明公布了一种客服服务态度检测方法，包括：

[0051] S101：采集客户与客服之间的聊天文件，并将聊天文件转换成文本数据；

[0052] S102：从文本数据中随机选择一个单句文本，判断所选择的单句文本是否包含违禁词；若有，则进行S103；若无，则遍历所有文本数据，直至遍历结束；

[0053] 将所选择的单句文本输入至二分类模型中进行单句质检，输出单句文本是否含有违禁词的概率，若超过预设的阈值，则认为所选择的单句文本包含违禁词。

[0054] S103：选择当前单句文本的上下若干轮对话对客户与客服分别进行情绪值分析，分别判断客户与客服之间的情绪值是否超过各自的阈值，若均超过，则判定当前的单句文本属于不文明文本；

[0055] 将客户与客服的对话输入至预训练后的Bert模型中，识别得到客户与客服每句话的情绪，且客户的每句话的情绪在此轮对话的占比超过第一阈值，客服的每句话的情绪在此轮对话的占比超过第二阈值，两个条件同时成立，且客户与客服的情绪值一阶差分超过设定的第三阈值，则判定该通对话触发不文明用语的标签。

[0056] 单句文本中识别的情绪类型包括恐惧、愤怒、厌恶、恐惧、喜好、高兴和惊讶，每种类型的概率值在1％‑100％内。

[0057] 预训练后的Bert模型，具体为：

[0058] 选择原有的客户与客服对话的历史文本数据，将大型语言生成模型T5模型作为教师模型，通过prompt对历史文本数据进行情绪分类打标，批量生成文本对应的情绪标签，并用特殊关键词对大模型识别结果进行矫正；

[0059] 基于词级别Token的BERT模型作为学生模型，并将历史文本数据划分为训练集和测试集；

[0060] 基于训练集和测试集对教师模型和学生模型进行训练和测试，并定义包含软目标损失和硬目标损失的复合损失函数，微调Bert模型的超参数，当Bert模型的模型效果与大型语言生成模型的分类综合效果相当时，即F1‑score的误差在3％以内；且复合损失函数最小时，输出最优化的Bert模型。

[0061] 软目标损失使学生模型学习模仿教师模型的输出，硬目标损失利用真实标签优化学生模型的预测精度

[0062] 软目标损失为分别生成教师模型和学生模型在测试数据集上的输出概率分布，通过KL散度计算两个概率分布之间的距离，形成软目标损失；

[0063] 其中，KL散度的计算公式为：

[0064]

[0065] 其中，p(y)是教师模型的输出概率，而q(y)是学生模型的输出概率；KL散度即为软目标损失

[0066] 所述硬目标损失使用交叉熵损失函数确保学生模型准确预测真实标签；对于真实S标签y和学生模型的输出p(y|x)，硬目标损失为：

[0067]

[0068] 其中， 是指示函数，y为模型预测标签；y＝true为真实标签；当y等于真实S标签时,模型预测标签y的取值为1，否则为0。X代表样本的集合；p (y|x)代表当前样本特征预测为y的概率。

[0069] 复合损失函数通过权重因子λ调节软目标损失和硬目标损失的贡献，具体为：

[0070] LComposite＝λLsoft+(1‑λ)Lhard

[0071] 其中，权重因子λ是可调的超参数。

[0072] S104：重复S102至S103，遍历所有的文本数据，获取文本数据中的不文明文本数量，进而判断客户与客服的对话中客服的服务态度。

[0073] 基于文本数据中的不文明文本数量，得到不文明文本数量在文本数据中所占的百分比，根据百分比的大小，判断客户与客服的对话中客服的服务态度。

[0074] 参见图2，本发明公开了一种客服服务态度检测系统，包括：

[0075] 文本转换模块，所述文本转换模块采集客户与客服之间的聊天文件，并将聊天文件转换成文本数据；

[0076] 第一判断模块，所述第一判断模块从文本数据中随机选择一个单句文本，判断所选择的单句文本是否包含违禁词；若无，则遍历所有文本数据，直至遍历结束；

[0077] 第二判断模块，所述第二判断模块选择当前单句文本的上下若干轮对话对客户与客服分别进行情绪值分析，分别判断客户与客服之间的情绪值是否超过各自的阈值，若均超过，则判定当前的单句文本属于不文明文本；

[0078] 获取模块，所述获取模块遍历所有的文本数据，获取文本数据中的不文明文本数量，进而判断客户与客服的对话中客服的服务态度。

[0079] 实施例：

[0080] 本发明基于ASR后对话聊天记录，构建的一套数据模型。该模型分为：单句文本语义、客户情绪、客服情绪三个层次。例如：每一句聊天内容转文本后都会去识别该句的意图，该意图称之为单句文本语义。生成单句文本语义后，都会去做情绪识别并得到一个情绪值(1％‑100％)；最后看该句是由谁说的，区分客户情绪值跟客服情绪值。一段完整的对话内容中，会有客户跟客服所有单句情绪值。

[0081] 具体包括：

[0082] 采集客户与客服之间的聊天文件，并将聊天文件转换成文本数据；

[0083] 从文本数据中随机选择一个单句文本，判断所选择的单句文本是否包含违禁词；若无，则遍历所有文本数据，直至遍历结束；

[0084] 选择当前单句文本的上下若干轮对话对客户与客服分别进行情绪值分析，分别判断客户与客服之间的情绪值是否超过各自的阈值，若均超过，则判定当前的单句文本属于不文明文本；

[0085] 遍历所有的文本数据，获取文本数据中的不文明文本数量，进而判断客户与客服的对话中客服的服务态度。

[0086] 参见图3，本发明包含以下几部分内容：

[0087] (1)单句质检，单句质检是一个基于BERT的文本分类模型。通过客服人工标注单句文本，构建服务态度有问题的数据集。然后进行二分类模型训练得到一个单句质检的文本分类模型。通过该模型得到通话过程中每句话的是否有文明用语的概率值。

[0088] (2)情绪识别

[0089] 基于快递行业客服对话口语化和情绪粒度比较细腻的特点，本技术方案选取了词级别的Token来更好的表征口语化的句向量。同时通过大模型对客服对话文本进行打标，对如投诉，邮局升级，新闻媒体曝光等行业特有意图进行关键词过滤来构建数据集。获取CLS(单句话的开头)位置的句向量表征进行多分类微调。最终对文分类获得七分类的情绪概率值(1％‑100％)。具体步骤如下：

[0090] 步骤1、选择一个大型语言生成模型作为教师模型，构建prompt进行情绪分类打标，批量生成文本对应的情绪标签，并用特殊关键词对大模型识别结果进行矫正。

[0091] 步骤2、构建一个基于词级别token的BERT模型作为学生模型，步骤1生成的数据集格式调整成Bert的训练数据集。

[0092] 步骤3、通过定义包含软目标损失和硬目标损失的复合损失函数，软目标损失使学生模型学习模仿教师模型的输出，硬目标损失利用真实标签来优化学生模型的预测精度；

[0093] 软目标损失为分别生成教师模型和学生模型在测试数据集上的输出概率分布，通过KL散度计算两个概率分布之间的距离，形成软目标损失；

[0094] 其中，KL散度的计算公式为：

[0095]

[0096] 其中，p(y)是教师模型的输出概率，而q(y)是学生模型的输出概率；KL散度即为软目标损失

[0097] 所述硬目标损失使用交叉熵损失函数确保学生模型准确预测真实标签；对于真实S标签y和学生模型的输出p(y|x)，硬目标损失为：

[0098]

[0099] 其中， 是指示函数，y为模型预测标签；y＝true为真实标签；当y等于真实S标签时,模型预测标签y的取值为1，否则为0。X代表样本的集合；p (y|x)代表当前样本特征预测为y的概率；

[0100] 复合损失函数通过权重因子λ调节软目标损失和硬目标损失的贡献，具体为：

[0101] LComposite＝λLsoft+(1‑λ)Lhard

[0102] 其中，权重因子λ是可调的超参数，根据不同的训练需求可以调整其值来优化模型的性能。

[0103] 步骤4、微调Bert模型，同时调整学习率、优化器等超参数以优化模型性能；

[0104] 步骤5、评估Bert模型的命中率和召回率，当模型效果与大模型和特殊关键词综合效果相当时结束模型微调。

[0105] (3)设计判定标准

[0106] 在单句识别到客服不文明用语后，会拿到该句话在该轮对话中上下5轮的双方对话(10句话)的情绪值进行分析。情绪愤怒的阈值设为50％，当情绪值大于50％时判定为情绪愤怒。当该滑窗内的客户愤怒的情绪的句子占比大于等于50％，客服愤怒的情绪的句子占比大于10％(存在一句)，且情绪值一阶差分没有过大则判定该通对话触发不文明用语的标签。其中情绪阈值，上下轮次，愤怒情绪占比百分比，情绪一阶差分值为可配置的参数。

[0107] (4)参数调优

[0108] 通过定期对增量的线上样本通过GridSearch的方式调整情绪阈值，对话轮次，愤怒百分比占比，情绪一阶差分值进行优化。

[0109] 参见图4，本发明还公开了一种电话客服客户端，具体为：话务接待模块、话务质检模块和智能辅助模块；

[0110] 其中，话务接待模块包括：会话接待文本展示、推荐回复语展示和实体提取；

[0111] 会话接待文本展示为客服前端接待界面上，实时转写客户与客服当前语音通话，并按时间、按聊天对象有序展示在聊天框内。

[0112] 推荐回复语展示为对客户聊天的内容进行意图识别后，通过意图查询配置好的对应回复的话术，展示在聊天框内，供客服参考回复客户。

[0113] 实体提取为通过识别通话内容，获取提前配置好的实体如(运单号，客户姓氏，性别等)，抽取通话内容中是否包含以上信息，有则提取并填充到客服登记内容里面。

[0114] 话务质检模块包括：单句AI质检标注、完整通话AI质检评分和人工复检打分；

[0115] 单句AI质检标注为通过单句质检模型，对通话内容中每句话都进行质检标注，用于区分该句是否文明用语。

[0116] 完整通话AI质检评分为结合人工配置的质检打分项，每句被标注的不文明用语最后会得到一个质检分值，整通对话结束后汇总分值得到最终AI评分结果。

[0117] 人工复检打分为基于AI评分结果，人工可以对AI评分内容进行手动修改，得到最后分值。

[0118] 智能辅助模块包括：ASR语音转文字模块、单句质检模型和情绪辅助质检模型；

[0119] ASR语音转文字模块为将客户与客服之间的聊天转换成文本数据；

[0120] 单句质检模型为判断所选择的单句文本是否包含违禁词；

[0121] 情绪辅助质检模型为选择当前单句文本的上下若干轮对话对客户与客服分别进行情绪值分析，分别判断客户与客服之间的情绪值是否超过各自的阈值，若均超过，则判定当前的单句文本属于不文明文本。

[0122] 本发明一实施例提供的终端设备。该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

[0123] 所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。

[0124] 所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。

[0125] 所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field‑ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

[0126] 所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。

[0127] 所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read‑OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

[0128] 以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。