技术领域
[0001] 本发明涉及数据分析技术领域，特别涉及一种会话质量的评估方法、系统、设备及介质。
相关背景技术
[0002] 现有的会话管理平台可以集中管理多个会话，可以轻松跟踪和监控与客户的沟通记录，使得销售、营销和服务团队可以更好地协作和了解客户需求，以及更有效地管理客户资源和对话。有的会话管理平台还支持自动化任务，通过提供快速、个性化的服务来提高效率。但是，现有的会话管理平台虽然能够集中管理多个会话，跟踪和监控沟通记录，但很少关注对员工的监督和处理，会话管理过程中产生的大量数据使得管理员难以快速准确地对员工进行监督和考核，进而使得无法准确、有效地评估、监管会话质量。
具体实施方式
[0025] 下面结合附图对本申请实施例进行详细描述。
[0026] 以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027] 提供了一种会话质量的评估方法，通过自然语言处理技术对会话信息进行关键词提取，并通过对各关键词进行情感加权的方式，对会话质量进行评分，实现了准确、高效以及多维度地对会话质量进行评估的技术效果。
[0028] 如图1所示，本实施例提供的一种会话质量的评估方法具体包括以下步骤：
[0029] 步骤S100、获取当前会话的会话信息，根据多个评估维度确定所述会话信息的候选关键词，所述会话信息包括会话人员信息以及对应的会话内容；
[0030] 具体的，所述会话信息包括当前会话的会话人员、会话内容、会话响应时间、会话开始时间、会话结束时间和会话时长。
[0031] 步骤S200、对每个所述评估维度下的所述候选关键词构建无向图，基于所述无向图确定每个所述候选关键词的关键词权重，在每个所述评估维度下根据关键词权重数值的大小选择预设数量的所述候选关键词作为关键词，所述关键词权重的大小与所述候选关键词的重要性成正比；
[0032] 具体的，确定会话的评分维度，所述评分维度包括客户满意度、问题解决效率、沟通质量等评估维度等等。并分别根据各评分维度设置对应的关键词。举例而言，客户满意度：通过“满意”、“好”、“优秀”等正、负反馈关键词的出现频率和情感倾向来评估；问题解决效率：通过问题关键词的减少和解决方案关键词的出现来评估；专业知识：通过专业术语的使用频率和客户的认可程度来评估。并根据关键词的重要性，为各关键词设置初始权重。
[0033] 步骤S300、根据每个所述评估维度下的每个所述关键词对应的情感倾向及其对应的情感强度，确定各所述关键词的情感权重，所述情感倾向包括正向倾向、中性倾向和负面倾向；如果所述关键词对应的情感倾向为正面倾向，则所述关键词的情感权重与所述关键词对应的情感强度大小成正比；如果所述关键词对应的情感倾向为中性倾向，则确定所述关键词的情感权重为1；如果所述关键词对应的情感倾向为负面倾向，则所述关键词的情感权重与所述关键词对应的情感强度大小成反比；
[0034] 具体的，可以使用自然语言处理技术(NLP)分析当前对话的对话内容，自动识别对话中的关键词。识别出对应的关键词之后，可以基于情感分析模型对当前识别出的关键词进行情感分析，获得当前关键词的情感倾向及其对应的情感强度。
[0035] 步骤S400、根据每个所述关键词对应的情感倾向和/或情感强度在所述会话信息中的动态变化情况，动态调整每个所述关键词的情感权重；
[0036] 步骤S500、计算每个所述评估维度下的每个所述关键词在所述会话信息中的出现频率；
[0037] 步骤S600、针对每个所述评估维度，结合各所述关键词的出现频率、情感权重以及关键词权重，计算所述当前会话在每个所述评估维度下的得分，并对各所述评估维度的得分进行加权求和，获得所述当前会话的会话质量评分。
[0038] 进一步的，步骤S400中，为了进一步确保各个关键词的情感权重的准确性，提出了对各个关键词的情感权重进行动态修正的方法，例如，根据每个所述关键词对应的情感倾向和情感强度在所述会话信息中的动态变化情况，动态调整每个所述关键词的情感权重，包括：
[0039] 步骤S401：对每个所述关键词在每个时刻的情感倾向和情感强度添加时间戳，按照时间戳的时间顺序形成每个所述关键词对应的时间序列，在所述时间序列的每个时间点上记录所述关键词的情感强度的量化数值；
[0040] 步骤S402：基于时间序列分析方法，识别每个所述关键词对应的所述时间序列中情感强度的波动幅度和频率，根据所述波动幅度和所述频率获得每个所述关键词的情感强度的变化模式；
[0041] 步骤S403：根据所述情感强度的变化模式、波动幅度和频率，动态调整每个所述关键词的情感权重。
[0042] 具体的，收集当前会话进行过程中各关键词对应的情感数据，按时间顺序记录该关键词的情感倾向和强度形成时间序列。为每个关键词对应的情感分析结果(即情感倾向和强度)添加时间戳，确保可以追踪情感变化的时间轨迹，可以使用滑动时间窗口来观察时间序列中情感强度在特定时间段内的变化，窗口大小可以根据会话的长度和特性调整。获得该所述关键词对应的时间序列后，为每个时间点上的关键词情感强度分配一个量化值，如‑1到1之间的数值，使用时间序列分析方法，如移动平均或指数平滑，来识别时间序列中情感强度的趋势，根据情感强度的变化趋势识别情感强度变化模式，如：周期性变化/非周期性变化。例如，某些话题可能在特定时间段内引起更强烈的情感反应。分析情感强度波动的幅度和频率，了解情感变化的剧烈程度，根据情感强度的变化模式以及剧烈程度动态调整该关键词的情感权重(例如，按照周期性变化/非周期性变化的模式，根据波动的幅度和频率的大小来调整情感权重的大小)，以反映其在会话中的实时重要性。
[0043] 具体实施时，为了进一步确保各个关键词的情感权重的准确性，提出了对各个关键词的情感权重进行动态修正的方法，例如，
[0044] 步骤S400中，还包括：
[0045] 步骤S404、基于自然语言处理技术，对每个所述关键词进行上下文分析，获取每个所述关键词与对应的情感倾向的情感相关性；
[0046] 步骤S405、根据所述情感相关性对每个所述关键词的情感权重进行动态修正。
[0047] 具体的，基于情感分析模型对各关键词进行情感倾向分析，根据情感倾向以及情感强度获得关键词对应的情感倾向权重。情感倾向类型包括正向倾向、中性倾向和负面倾向，各情感倾向结果均对应有情感强度，可以通过情感分析模型输出所述关键词对应的情感倾向类型以及情感强度，所述情感分析模型基于深度学习算法进行分析。如果该关键词被识别为正面情感倾向，则对该关键词进行情感加权，其情感权重等于关键词权重乘以第一预设倍数，并且该关键词对应的情感强度越大，第一预设倍数越大；如果该关键词被识别为负面情感倾向，则对该关键词进行情感加权，其情感权重等于关键词权重乘以第二预设倍数，并且该关键词对应的情感强度越大，第二预设倍数越小，并且，第一预设倍数为大于1的值，第二预设倍数的值为大于0并且小于1的值；如果该关键词被识别为中性情感倾向，则该关键词的情感权重等于关键词权重乘以1。例如，正面倾向关键词的情感权重可以映射为1.25，负面倾向关键词的情感权重可以为0.75，中性倾向关键词的情感权重可以为1。基于情感倾向为关键词进行情感加权/减权后，所述关键词的当前权重＝情感权重×关键词权重。
[0048] 进一步的，通过根据情感倾向以及情感强度为各关键词进行情感加权或减权，能够使得对各关键词的情感分析更为准确，通过对负面倾向的关键词进行减权，以降低它们在情感分析中的正面贡献。
[0049] 进一步的，步骤S404还包括：
[0050] 步骤S4041：确定每个所述关键词在上下文句子中的词性和词义；
[0051] 步骤S4042：确定每个所述关键词与上下文句子的依存关系；
[0052] 步骤S4043：结合所述关键词的词性、词义和所述依存关系，确定所述关键词与对应的情感倾向的情感相关性。
[0053] 进一步的，基于自然语言处理分析关键词出现的上下文，确定其与情感倾向的相关性(即关键词与上下文的情感倾向的一致性)，综合根据情感倾向和上下文相关性调整所述关键词的权重。上下文分析包括语义标注、依存关系分析和模式匹配，获得上下文分析结果。其中，通过使用语义角色标注(Semantic Role Labeling,SRL)技术来识别关键词在句子中的作用，例如是否作为问题的原因或解决方案的一部分。通过依存关系分析来确定关键词与其他词汇之间的语法关系，这有助于理解关键词在句子中的功能。在文本中识别特定的模式或短语，这些模式可能表明关键词出现在解决方案的上下文中。例如，“这个问题可以通过...解决”或“针对这个问题，我们提出了...”。根据对关键词的上下文分析结果，动态调整关键词的权重，如果模型识别出关键词出现在解决方案的上下文中，可以在情感加权的基础上减少其负面权重或增加正面权重，获得当前关键词的最终情感加权。
[0054] 举例而言，如果会话记录中有这样一句话：“这个问题可以通过安装更新来解决”，情感分析模型可能会识别出“问题”一词的情感倾向为负面倾向，但通过上下文分析，模型会理解到它实际上是解决方案的一部分，其情感倾向应为正面倾向，因此调整“问题”一词的情感权重可能不会被减少，或者减少的幅度较小。
[0055] 进一步的，步骤S200中，为了更准确地确定每个关键词的关键词权重，提出了基于无向图来确定关键词权重，例如，
[0056] 根据每个所述评估维度下的所述候选关键词构建无向图，无向图中的每个节点对应一个所述候选关键词；
[0057] 根据无向图中各个节点的关联性确定不同所述候选关键词之间的关联性；
[0058] 根据不同所述候选关键词之间的关联性，计算每个所述候选关键词的关键词权重。
[0059] 通过以下公式计算每个节点的权重，将每个节点的权重确定为该节点对应的所述候选关键词的关键词权重：
[0060]
[0061] 其中，d为阻尼系数，In(Vj)表示所有指向节点Vj的节点的集合，Out(Vi)表示所有从节点Vi出发的边所连接的节点的集合，ωi，j表示节点Vi和节点Vj之间的权重，scorej表示节点Vj的权重，scorei表示节点Vi的权重，ωi,k表示节点Vi和节点Vk之间的权重，Vk是属于Out(Vi)节点集中的任意一个节点；具体的，d的取值区间可以为0.84至0.85。
[0062] 进一步的，结合各维度对应的各关键词出现的频率、上下文的情感倾向和关键词权重，分别计算所述当前会话在每个维度的质量得分，单一评分维度得分的计算方法包括：
[0063] 评估维度得分＝∑(出现频率×情感权重×关键词权重)。
[0064] 进一步的，对各所述评分维度下的得分进行标准化处理后，采用加权求和方法，综合各维度得分为所述当前会话的所述会话质量评分。
[0065] 进一步的，步骤S700中，获得所述当前会话的会话质量评分后，还包括：
[0066] 步骤S701、所述会话信息还包括会话时间戳信息，所述会话时间戳信息包括会话响应时间、会话开始时间、会话结束时间和会话时长，根据所述会话时间戳信息评估所述当前会话的响应情况；
[0067] 步骤S702、根据所述响应情况获得所述当前会话对应的会话响应评分；
[0068] 步骤S703：结合所述会话响应评分和所述会话质量评分获得所述当前会话的综合评分结果。
[0069] 具体的，对所述当前会话进行综合评分的指标包括会话响应时间、会话响应时间占单次会话时长比例和会话质量。会话响应评分指标可以进行预设。举例而言，管理员可在平台设置单次会话的过期时长和判断间隔，会话默认过期时长为一小时，默认判断间隔为五分钟。系统每经过一个判断间隔对进行中的会话进行一次判断，当会话中上一次的会话消息距离判断的当前时间间隔超过过期时长时，判断会话结束；并将该次会话的最后一条记录发出的时间设置为会话结束时间。会话时长计算为会话结束时间减去会话开始时间。系统还可以显示历史会话记录，防止缺少信息而不能对会话信息进行有效判断和评分。
[0070] 根据各会话的时间戳信息，自动获得该对话的响应评分后，结合所述会话响应评分和所述会话质量评分，获得所述当前会话的综合评分结果。
[0071] 进一步的，步骤S702中，结合所述会话响应评分和所述会话质量评分获得所述当前会话的综合评分结果后，包括：
[0072] 步骤S7021：判断所述综合评分结果是否低于评分阈值，若是，将所述当前会话发送至人工评分流程，获得人工评分结果；
[0073] 步骤S7022：将所述人工评分结果与所述综合评分结果按照预设的权重分配进行整合，确定所述当前会话的最终评分。
[0074] 具体的，为机器评分模型设定明确的评分标准和阈值，根据预设的阈值，由评分模型自动筛选出需要人工复核的会话记录，如低分或异常高分的情况。人工评分者根据标准和个人判断对会话进行评分，并可以对机器评分进行调整，将人工评分结果与机器评分结果按照预先分配的权重进行整合，确定最终评分。对于综合评分结果低于所述评分标准和阈值的会话进行人工复核，人工评分环节减少了自动评分可能带来的误评问题，提高了评分系统的认可度和准确性。
[0075] 优选的，评分人员也可以对普通会话信息进行重评。重评后可以改变会话记录中某项指标的得分，也可以直接修改总分，并且修改后会保留评分人信息和评分人的评论。自动评分后一段时间人工未重评则将自动评分内容作为最终评分并记录。人工重评直接修改总分后，将新的总分覆盖掉原会话记录的总分；人工重评修改某条指标记录后，平台根据修改后的数据重新按照原方法进行计算并得出新的会话记录总分。
[0076] 进一步的，获得最终评分后，提供直观的用户界面，展示会话评分和相关反馈；设计可视化工具，如图表和仪表盘，以展示评分结果和趋势，实现结果可视化。
[0077] 基于同一发明构思，本发明实施例中还提供了一种会话质量的评估系统，如下面的实施例所述。由于一种会话质量的评估系统解决问题的原理与一种会话质量的评估方法相似，因此一种会话质量的评估系统的实施可以参见一种会话质量的评估方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0078] 图2是本发明实施例的一种会话质量的评估系统200的一种结构框图，如图2所示，包括：
[0079] 会话信息获取模块201，用于获取当前会话的会话信息，根据多个评估维度确定所述会话信息的候选关键词，所述会话信息包括会话人员信息以及对应的会话内容；
[0080] 关键词获取模块202，用于对每个所述评估维度下的所述候选关键词构建无向图，基于所述无向图确定每个所述候选关键词的关键词权重，在每个所述评估维度下根据关键词权重数值的大小选择预设数量的所述候选关键词作为关键词，所述关键词权重的大小与所述候选关键词的重要性成正比；
[0081] 情感加权模块203，用于根据每个所述评估维度下的每个所述关键词对应的情感倾向及其对应的情感强度，确定各所述关键词的情感权重，所述情感倾向包括正向倾向、中性倾向和负面倾向；如果所述关键词对应的情感倾向为正面倾向，则所述关键词的情感权重与所述关键词对应的情感强度大小成正比；如果所述关键词对应的情感倾向为中性倾向，则确定所述关键词的情感权重为1；如果所述关键词对应的情感倾向为负面倾向，则所述关键词的情感权重与所述关键词对应的情感强度大小成反比；
[0082] 情感权重调整模块204，用于根据每个所述关键词对应的情感倾向和/或情感强度在所述会话信息中的动态变化情况，动态调整每个所述关键词的情感权重；
[0083] 出现频率计算模块205，用于计算每个所述评估维度下的每个所述关键词在所述会话信息中的出现频率；
[0084] 会话质量评估模块206，用于针对每个所述评估维度，结合各所述关键词的出现频率、情感权重以及关键词权重，计算所述当前会话在每个所述评估维度下的得分，并对各所述评估维度的得分进行加权求和，获得所述当前会话的会话质量评分。
[0085] 在本实施例中，提供了一种计算机设备，如图3所示，包括存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序，所述处理器302执行所述计算机程序时实现上述任意的一种会话质量的评估方法。
[0086] 具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
[0087] 在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的一种会话质量的评估方法的计算机程序。
[0088] 具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD‑ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0089] 本发明实施例实现了如下技术效果：
[0090] 1、通过自动化的会话记录和打分系统，减少了会话业务管理的难度，提升了监督效率；
[0091] 2、通过自然语言处理技术对会话信息进行处理和数据统计，提取有效信息，理解关键词出现的上下文环境，从而更准确地评估对话的情感倾向，根据关键词的情感倾向，NLP技术可以帮助为每个关键词分配不同的权重，提高了会话处理的自动化水平，还增强了评分的准确性和可靠性；
[0092] 3、结合多维度机器人评分和人工打分，实现了对会话质量的精准评估；
[0093] 4、最终评分结果的可视化展示，不仅提高了数据处理的效率，还增强了用户对平台的使用体验，有助于更好地实现业务目标和提升服务质量。
[0094] 显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
[0095] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
