技术领域
[0001] 本发明涉及自然语言处理技术领域,尤其涉及用于辅助语言学习的口语对话方法和装置、对话机器人。
相关背景技术
[0002] 对于语言学习者来说,语言学习离不开口语对话的练习。口语对话练习不仅可以帮助语言学习者灵活运用所学的语法与词汇知识,加深他们的理解与记忆,同时,口语对话练习可以全方面提升语言学习者的听说、阅读、理解和表达能力,提升语言学习者的沟通技术与表达流利度,提高语言学习者的积极性与自信心。
[0003] 传统的语言学习方法依赖于固定的教学材料和标准课程,难以根据语言学习者的语言熟练程度和语言学习目标提供个性化的语言教学服务。同时,大多数语言学习者很难有条件获得真实的对话体验,也无法拥有及时的反馈与纠正来帮助语言学习者迅速改善语言表达能力。可见,传统的语言学习方案学习效果较差、局限性强。
具体实施方式
[0039] 为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
[0040] 下面结合附图,通过具体的实施例及其应用场景对本发明实施例提供的用于辅助语言学习的口语对话方案进行详细地说明。
[0041] 如附图1所示,本发明实施例的一种用于辅助语言学习的口语对话方法包括以下步骤:
[0042] 步骤101:构建口语对话数据集。
[0043] 其中,口语对话数据集中的每一条数据包含适用于语言学习者的多轮对话文本。口语对话机器人与语言学习者进行的对话包括文本对话和口语对话。
[0044] 优选地,对话数据集中的每一条适用于语言学习者的多轮对话文本包含4‑6轮对话。当然一条数据包含的对话轮数并不局限于4‑6轮,可以为3轮、7轮等,具体包含的对话轮数可由本领域技术人员灵活设置,本发明实施例中对此不作具体限制。
[0045] 本发明实施例提供的用于辅助语言学习的口语对话方法可应用于对话机器人或者智能模块,对话机器人或智能模块的存储介质中存储有用于辅助语言学习的口语对话方法对应的计算机程序,处理器执行该计算机程序以进行辅助语言学习。智能模块可以为用于辅助语言学习的口语对话装置。
[0046] 一种可选地构建口语对话数据集的方式可以如下:
[0047] 通过大语言模型以教学课本为原始语料自动生成口语对话数据集中的每一条数据;其中,教学课本包括大学英语教学课本、小学英语教学课本。
[0048] 在实际实现过程中,口语对话数据集中针对于大学英语教学的原始语料基于《新编大学英语视听说3第四版》课本由大语言模型自动生成,针对于中小学英语教学的原始语料基于英语学习辅助报由大语言模型自动生成。
[0049] 在一种可选地实施例中,通过大语言模型以教学课本为原始语料自动生成口语对话数据集中的每一条数据的方式可以包括如下子步骤:
[0050] 子步骤1:从教学课本的各单元中抽取对话主题;
[0051] 教学课本包含的单元数量根据教学课本的具体内容确定,例如教学课本中可包含八个单元,则从教学课本的八个单元中抽取对话主题。
[0052] 子步骤2:将主题输入至第一大语言模型,通过第一预设提示使其生成与主题相关的符合课本难度的对话数据;
[0053] 子步骤3:将第一大语言模型生成的对话数据输入至第二大语言模型,通过第二预设提示使其进行对话,产生多轮对话文本。
[0054] 第一预设提示可设置为“Remember you are a Chinese college student, please give a one‑sentence greeting base the following topic”对应中文翻译为“请基于以下主题给一个一句话的问候”。
[0055] 第二预设提示可设置为“Remember you are a Chinese college student, please give a one‑sentence respond for the following sentences”对应中文翻译为“记住你是一名中国大学生,请对以下句子给出一句话的回应”。
[0056] 在实际实现过程中,大语言模型可以为ChatGPT,ChatGPT即Chat Generative Pre‑trained Transformer的缩写,是OpenAI研发的一款聊天机器人程序。
[0057] 步骤102:构建用于辅助语言学习的对话语言模型。
[0058] 对话语言模型可通过如下方式生成:
[0059] LLaMA2大语言模型被配置为基于自注意力(Self‑Attention)网络的解码器模型生成对话语言模型(transformer)。该对话语言模型是基于LLaMA2大语言模型构建的。LLaMA是由Meta开源的一个大语言模型,是一系列开源模型的基础模型,包括著名的vicuna系列、LongChat系列等都是基于该模型微调得到。LLaMA2大语言模型则是LLaMA1大语言模型的升级版本。
[0060] 一种可选地实施例中,使用口语对话数据集对所述对话语言模型进行指令微调,得到目标语言模型的方式可以如下:
[0061] 基于口语对话数据集,采用LoRA方法对LLaMA2大语言模型模型内部的权重矩阵进行低秩逼近,得到目标语言模型。
[0062] Llama2大语言模型采用LoRA(Low‑Rank Adaptation)方法进行微调,以提高参数调整的效率和模型在特定口语教学任务上的性能。LoRA方法通过对模型内部的权重矩阵进行低秩逼近,实现了在不显著增加计算负担的情况下,对模型进行有效的任务特定调整。
[0063] 步骤103:使用口语对话数据集对对话语言模型进行指令微调,得到目标语言模型。
[0064] 其中,目标语言模型用于生成辅助语言学习的对话文本。
[0065] 指令微调专门针对英语口语教学的场景,调整语言模型的参数,以优化对英语学习者的口语反应和指导。微调得到的目标语言模型可以理解并生成自然语言,以进行自然语言交流,同时,其适用于口语教学任务,在口语教学任务上表现良好。
[0066] 微调的参数包括但不限于:max_new_tokens: 1024 最长输入;temperature: 0.6 温度;top_p: 0.9 返回的答案概率大于0.9; top_k: 50 返回的答案前50。需要说明的是,后面三个参数都和随机度有关,在实际实现过程中,本领域技术人员可以根据实际需求灵活调整微调参数的具体数值。
[0067] 步骤104:构建用于口语教学任务的智能体框架。
[0068] 其中,智能体框架中包括至少两个智能体。适用于口语教学任务的智能体框架的结构示意图如图2所示。
[0069] 在智能体框架为双智能体框架时,智能体框架可以包括教练(Instructor)智能体和教师(Teacher)智能体,或者所述智能体框架包括教师(Teacher)智能体和学生(Student)智能体。
[0070] 教练智能体用于依据语言学习者的语言熟练程度和语言学习目标,进行教学设计;教师智能体用于进行对话练习模拟口语教学;学生智能体用于扮演语言学习者。
[0071] 各智能体之间通过信息同步,协作完成口语教学任务。具体地,Instructor智能体进行教学设计指导Teacher智能体实施口语教学,Student智能体与Teacher智能体进行对话练习,模拟口语教学场景,帮助Teacher智能体熟练教学过程。
[0072] 在智能体框架为多智能体框架时,智能体框架包括:课程设计模块、教学模块、反思模块以及测试模块,智能体框架中的每个模块对应一个智能体。其中,课程设计模块可以等同于教练(Instructor)智能体,教学模块可以等同于教师(Teacher)智能体。
[0073] 步骤105:为智能体框架中各智能体设置角色任务。
[0074] 本步骤中设计智能体框架中智能体扮演的各个角色的prompt(prompt亦可称为任务或者提示),使用各智能体对应的prompt构建智能体框架。
[0075] Teacher智能体所采用的prompt可以为“如上所示是一段学生和教师之间的对话,同时呈现了对话的主题以及你的教学助手的建议。 作为一名英语老师,你需要确保在与学生的互动中遵循你的教学助手的建议。 此外,鼓励教师提供积极的反馈,逐步引导学生,并以引人深思的问题结束。 请使用一段文字进行回答。不要强调你的身份。记住你是一名教师并只有一位学生”。
[0076] Student智能体所采用的prompt可以为“如上所示是一段学生和教师之间的对话。请记住,你的角色是一位正在学习英语的中国学生。你可能会犯一些语法错误,并只使用一些简单的句子”。
[0077] Teacher智能体所采用的prompt可以为“如上所示是一段学生和教师之间的对话。作为一名英语老师,你应该提供积极的反馈,逐步引导学生,并以引人深思的问题结束。
请使用一段文字进行回答。不要强调你的身份。记住你是一名教师并只有一位学生”。
[0078] 步骤106:在口语对话过程中,依据智能体框架中各智能体对应的角色任务和目标语言模型,生成口语对话文本。
[0079] 配置完成后的智能体框架包括需求分析、教学设计、教学实施,构成了一套目标明确、系统高效的口语教学流程,能够针对语言学习者的不同语言学习需求实现个性化口语教学服务。可有效解决现有技术在辅助语言学习时无法模拟自然真实对话、无法针对语言学习者的不同语言学习需求实现个性化口语教学服务的问题。
[0080] 以智能体框架中包括课程设计模块、教学模块、反思模块以及测试模块为例,在进行辅助语言学习时,可以预先在课程设计模块中为教师制定教学计划,教学模块则可按照制定的教学计划进行辅助教学与语言学习者进行对话互动,反思模块则对语言学习者与口语对话机器人在对话互动中的表现进行评价,并对对话机器人的不足之处进行反思,测试模块则根据语言学习者的水平给出测试题目,评估语言学习者是否掌握已经学习的知识。本发明实施例中以口语对话机器人辅助英文教学为例进行的说明,需要说明的是,口语对话机器人同样可适用于中文教学场景。
[0081] 本发明实施例提供的用于辅助语言学习的口语对话方法,构建口语对话数据集;构建用于辅助语言学习的对话语言模型;使用口语对话数据集对话语言模型进行指令微调,得到目标语言模型;构建用于口语教学任务的智能体框架;为智能体框架中各智能体设置角色任务;在口语对话过程中,依据智能体框架中各智能体对应的角色任务和目标语言模型,生成口语对话文本。该方案一方面,辅助语言学习的口语对话方法可以根据语言学习者的语言熟练程度、语言学习目标与学习风格,提供个性化的学习内容与反馈,使语言学习更适合语言学习者的水平、兴趣与学习需求,使得辅助语言学习灵活性更强;第二方面,目标语言模块模拟的真实自然的对话场景,为语言学习者提供了丰富的对话体验,能够提升语言学习者的语言交流能力;第三方面,目标语言模型凭借其强大的学习能力、语言理解能力和生成能力,能够生成自然、真实、流畅的文本,使得口语对话贴近真实场景,有助于语言学习者获取真实的对话体验,提升语言技能。
[0082] 图3为实现本发明实施例的一种用于辅助语言学习的口语对话装置的结构框图。
[0083] 本发明实施例提供的用于辅助语言学习的口语对话装置包括如下功能模块:
[0084] 第一构建模块301,用于构建口语对话数据集,其中,所述口语对话数据集中的每一条数据包含适用于语言学习者的多轮对话文本;
[0085] 第二构建模块302,用于构建用于辅助语言学习的对话语言模型;
[0086] 微调模块303,用于使用所述口语对话数据集对所述对话语言模型进行指令微调,得到目标语言模型,其中,所述目标语言模型用于生成辅助语言学习的对话文本;
[0087] 第三构建模块304,用于构建用于口语教学任务的智能体框架,其中,所述智能体框架中包括至少两个智能体;
[0088] 设置模块305,用于为所述智能体框架中各所述智能体设置角色任务;
[0089] 控制模块306,用于在口语对话过程中,依据所述智能体框架中各智能体对应的角色任务和所述目标语言模型,生成口语对话文本。
[0090] 可选地,第一构建模块具体用于:通过大语言模型以教学课本为原始语料自动生成口语对话数据集中的每一条数据;
[0091] 其中,所述教学课本包括大学英语教学课本、小学英语教学课本。
[0092] 可选地,所述第一构建模块包括:
[0093] 第一子模块,用于从教学课本的各单元中抽取对话主题;
[0094] 第二子模块,用于将主题输入至第一大语言模型,通过第一预设提示使其生成与主题相关的符合课本难度的对话数据;
[0095] 第三子模块,用于将所述第一大语言模型生成的对话数据输入至第二大语言模型,通过第二预设提示使其进行对话,产生多轮对话文本。
[0096] 可选地,所述对话语言模型通过如下方式生成:
[0097] LLaMA2大语言模型被配置为基于自注意力网络的解码器模型生成对话语言模型。
[0098] 可选地,所述微调模块具体用于基于所述口语对话数据集,采用LoRA方法对所述LLaMA2大语言模型内部的权重矩阵进行低秩逼近,得到目标语言模型。
[0099] 可选地,在所述智能体框架为双智能体框架时,所述智能体框架包括教练智能体和教师智能体,或者所述智能体框架包括教师智能体和学生智能体;
[0100] 所述教练智能体用于依据语言学习者的语言熟练程度和语言学习目标,进行教学设计;所述教师智能体用于进行对话练习模拟口语教学;所述学生智能体用于扮演语言学习者。
[0101] 可选地,在所述智能体框架为多智能体框架时,所述智能体框架包括:课程设计模块、教学模块、反思模块以及测试模块,所述智能体框架中的每个模块对应一个智能体。
[0102] 本发明实施例提供的用于辅助语言学习的口语对话装置,一方面,辅助语言学习的口语对话装置可以根据语言学习者的语言熟练程度、语言学习目标与学习风格,提供个性化的学习内容与反馈,使语言学习更适合语言学习者的水平、兴趣与学习需求,使得辅助语言学习灵活性更强;第二方面,目标语言模块模拟的真实自然的对话场景,为语言学习者提供了丰富的对话体验,能够提升语言学习者的语言交流能力;第三方面,目标语言模型凭借其强大的学习能力、语言理解能力和生成能力,能够生成自然、真实、流畅的文本,使得口语对话贴近真实场景,有助于语言学习者获取真实的对话体验,提升语言技能。
[0103] 本发明实施例提供的图3所示的用于辅助语言学习的口语对话装置能够实现图1的方法实施例实现的各个过程,为避免重复,这里不再赘述。
[0104] 可选地,本发明实施例还提供一种对话机器人,包括处理器,存储器,存储在存储器上并可在所述处理器上运行的程序或指令,该程序或指令被处理器执行时实现上述用于辅助语言学习的口语对话装置执行的各过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
[0105] 其中,所述处理器为上述实施例中所述的对话机器人中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random Access Memory, RAM)、磁碟或者光盘等。
[0106] 该对话机器人可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本发明实施例不作具体限定。
[0107] 需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0108] 以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。