技术领域
[0001] 本发明涉及互联网技术领域,尤其涉及一种翻译方法和翻译装置。
相关背景技术
[0002] 目前,对于用户的翻译请求,机器翻译系统通常会利用翻译知识以产生最佳译文,例如,统计翻译模型、双语例句库或翻译规则等。目前的翻译方法主要有两种:(1)在翻译过程中直接将原文翻译成译文,这样,一个原文可能会出现多个译文,例如,用户在翻译系统的输入框中输入“book”,翻译系统会直接将其翻译并陈列出多个译文,如“n.书;卷;课本;账簿;vt.&vi.预订;vt.登记;(向旅馆、饭店、戏院等)预约;立案(控告某人);订立演出契约;adj.书的;账簿上的;得之(或来自)书本的;按照(或依据)书本的;”,这时还需要用户去判断哪个译文是自己需要的;(2)通过利用用户提供的双语语料来训练用户自己的翻译模型,从而实现个性化翻译。
[0003] 但是,上述两种翻译方法存在的问题是:(1)直接将原文翻译成译文可能会出现多个译文,还需要用户去判断哪个译文是自己需要的,有时用户并不清楚哪个才是自己最需要的,因此会使得用户觉得翻译不智能化,翻译的译文质量差,用户体验差;(2)很多翻译系统的使用者是无法提供双语语料的,这时就不能利用双语语料来实现个性化翻译。
具体实施方式
[0018] 下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0019] 在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
[0020] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
[0021] 下面参考附图描述根据本发明实施例的翻译方法和翻译装置。
[0022] 一种翻译方法,包括:获取与用户相关的用户信息;根据用户信息建立用户模型;以及获取待翻译词汇,并根据用户模型和翻译模型对待翻译词汇进行翻译以生成对应的译文。
[0023] 图1是根据本发明一个实施例的翻译方法的流程图。
[0024] 如图1所示,该翻译方法可以包括:
[0025] S101,获取与用户相关的用户信息。
[0026] 优选地,在本发明的一个实施例中,用户信息可包括用户输入的内容信息、用户的地点信息、上下文信息、用户点击的内容信息等中的一种或多种。
[0027] 具体地,机器翻译系统可自动收集并获取用户的信息,如用户在翻译系统或搜索引擎等的输入框中输入的Query、用户点击的URL的内容、用户所在的地点等。
[0028] S102,根据用户信息建立用户模型。
[0029] 具体地,在获取与用户相关的用户信息之后,可根据该用户信息建立用户模型。具体而言,用户模型主要是为了描述用户当前的状态。优选地,在本发明的实施例中,用户模型可包括上下文模型和/或场景模型。
[0030] 其中,上下文模型可包括用户在最近一段时间内输入或浏览内容中的具有实际意义的词序列,该词序列可属于名词、动词、实体词等,这些信息可以帮助翻译系统进行词汇歧义消解。
[0031] 此外,场景模型是从当前的用户行为信息(如输入的内容信息、点击的内容信息等)中自动检测出来用户当前所处的场景(如聊天、购物、游戏等),这样,可以在特定的场景下指导机器翻译系统呈现给用户更精确的译文。其中,场景检测可以采用如最大熵方法、SVM(Support Vector Machine,支持向量机)方法、决策树等方法实现。
[0032] 举例而言,仅以常用的最大熵方法为例(其他方法类似),机器翻译系统可根据获取的用户信息通过最大熵方法建立用户模型,该用户模型可如下所示:
[0033]
[0034] 其中,S*是和当前用户行为最匹配的场景;pi(S,x)是最大熵模型所用的用户信息,这里使用了用户的地点信息、上下文信息、点击的内容信息等;αi是该用户信息的权重,该权重可以通过开发集自动学习得到。
[0035] 优选地,在本发明的实施例中,随着用户行为的变化,用户模型式(1)可以实时更新,即在特定时段内,更新用户的上下文模型,并重新检测用户场景。
[0036] S103,获取待翻译词汇,并根据用户模型和翻译模型对待翻译词汇进行翻译以生成对应的译文。
[0037] 优选地,在本发明的一个实施例中,翻译模型可为:
[0038]
[0039] 其中, 为包括翻译模型、语言模型和用户模型,λm为翻译模型、语言模型和用户模型对应的权重。
[0040] 优选地,在本发明的一个实施例中,可将用户模型添加至翻译模型之中,并可根据添加用户模型的翻译模型对待翻译词汇进行翻译。
[0041] 具体而言,通用的翻译方法采用了应用最广泛的基于短语的统计翻译方法:给定一个待翻译词汇,翻译系统通过使用多个统计模型(如翻译模型、语言模型等)对该待翻译词汇进行翻译,以生成多个译文,其中翻译得分最高的译文就是最终译文,该翻译方法主要采用了上述翻译模型式(2)。由于该翻译方法的最大好处是可以方便添加对译文质量有帮助的统计模型,所以,在该翻译方法的基础上,可将用户模型式(1)作为新特征直接添加到翻译模型之中,这样,可通过添加了上下文模型和场景模型这两个新特征的翻译模型对待翻译词汇进行翻译,从而可得到最符合用户需求的译文。
[0042] 本发明实施例的翻译方法,可先获取与用户相关的用户信息,如用户输入的Query、用户点击的URL的内容、用户所在地点等,之后可根据所获得的用户信息,建立并实时更新用户模型,然后在机器翻译过程中,获取待翻译词汇,并根据用户模型和翻译模型对该待翻译词汇进行翻译以生成对应的译文,至少具有以下优点:(1)通过在机器翻译过程中融入上下文模型和场景模型,有效地减少了翻译中的歧义,提高了译文的准确率,满足用户个性化翻译的需求,提升了用户体验;(2)本发明实施例中的翻译方法与语种无关,适用于任意语种的统计机器翻译方法。
[0043] 图2是根据本发明一个具体实施例的翻译方法的流程图。
[0044] 需要说明的是,在本发明的实施例中,可根据翻译模型先对待翻译词汇进行翻译,之后根据用户模型对该翻译结果进行筛选,以得到对应的译文。具体地,如图2所示,该翻译方法可以包括:
[0045] S201,获取与用户相关的用户信息。
[0046] 优选地,在本发明的一个实施例中,用户信息科包括用户输入的内容信息、用户的地点信息、上下文信息、用户点击的内容信息等中的一种或多种。
[0047] 具体地,机器翻译系统可自动收集并获取用户的信息,如用户在翻译系统或搜索引擎等的输入框中输入的Query、用户点击的URL的内容、用户所在的地点等。
[0048] S202,根据用户信息建立用户模型。
[0049] 具体地,在获取与用户相关的用户信息之后,可根据该用户信息建立用户模型。具体而言,用户模型主要是为了描述用户当前的状态。优选地,在本发明的实施例中,用户模型可包括上下文模型和/或场景模型。
[0050] 其中,上下文模型可包括用户在最近一段时间内输入或浏览内容中的具有实际意义的词序列,该词序列可属于名词、动词、实体词等,这些信息可以帮助翻译系统进行词汇歧义消解。
[0051] 此外,场景模型是从当前的用户行为信息(如输入的内容信息、点击的内容信息等)中自动检测出来用户当前所处的场景(如聊天、购物、游戏等),这样,可以在特定的场景下指导机器翻译系统呈现给用户更精确的译文。其中,场景检测可以采用如最大熵方法、SVM方法、决策树等方法实现。
[0052] 举例而言,仅以常用的最大熵方法为例(其他方法类似),机器翻译系统可根据获取的用户信息通过最大熵方法建立用户模型,该用户模型可如下所示:
[0053]
[0054] 其中,S*是和当前用户行为最匹配的场景;pi(S,x)是最大熵模型所用的用户信息,这里使用了用户的地点信息、上下文信息、点击的内容信息等;αi是该用户信息的权重,该权重可以通过开发集自动学习得到。
[0055] 优选地,在本发明的实施例中,随着用户行为的变化,用户模型式(1)可以实时更新,即在特定时段内,更新用户的上下文模型,并重新检测用户场景。
[0056] S203,获取待翻译词汇,并根据翻译模型对待翻译词汇进行翻译生成多个译文。
[0057] 具体地,可先获取用户输入的待翻译词汇,之后可通过使用多个统计模型对该待翻译词汇进行翻译,以生成多个译文。其中,统计模型可包括上述的翻译模型式(2)、语言模型等。
[0058] S204,根据用户模型对多个译文进行筛选以生成对应的译文。
[0059] 具体地,在根据翻译模型对待翻译词汇进行翻译以生成多个译文,以作为候选译文,之后可根据用户模型式(1)对这些候选译文进行筛选,以得到该待翻译词汇对应的译文,从而可生成最符合用户需求的译文。
[0060] 也就是说,在本发明的实施例中,由于用户模型可包括上下文模型和/或场景模型,因此,可分别根据上下文模型、场景模型对多个译文进行筛选。下面将详细介绍上下文模型、场景模型对多个译文的筛选过程。
[0061] 对于上下文模型来说,可通过计算候选译文和上下文的相关性以评价候选译文是否合适,如下面的公式所示:
[0062]
[0063] 其中,x是具有实际意义的词序列,其可属于名词、动词、实体词等;f(w,s)为上下文词汇和待翻译词汇s之间的相关程度,其中可以使用搭配强度表示;trans(w)为w的译文;p(t|trans(w))为候选译文t和上下文之间的相关程度。从该式(3)可以看出,如果p(x,s|t)的概率越高,那么该译文和上下文的关系越匹配,从而可得到待翻译词汇对应的译文。
[0064] 对于场景模型来说,可直接计算候选译文t在用户当前所处的场景下的概率:p(t|S),其中,t为候选译文,S是当前检测出来的场景,如果该概率越高,则该译文越适合该场景,从而可得到最符合用户需求的译文。
[0065] 本发明实施例的翻译方法,可根据翻译模型先对待翻译词汇进行翻译生成多个译文,之后可根据用户模型对这些多个译文进行筛选,以生成该待翻译词汇对应的译文,从而可得到最符合用户需求的译文,进一步提高了机器翻译系统的译文质量,提升用户体验。
[0066] 为了使得本领域的技术人员更加了解本发明,下面举例说明。
[0067] 图3是根据本发明一个实施例的翻译方法的示意图。如图3所示,当用户在翻译系统的输入框中输入待翻译Query时,首先,机器翻译系统可先自动收集用户的行为信息,如用户输入的Query、用户点击的URL的内容、用户所在的地点等,之后可根据所获得用户的行为信息,建立并实时更新用户模型,包括预测用户当前的场景等,然后,在机器翻译过程中,可获取用户在翻译系统的输入框中输入的待翻译Query,并根据用户模型和翻译模型对该待翻译Query进行翻译以生成对应的译文,从而得到该待翻译Query的最终译文。
[0068] 举例而言,用户在翻译系统的输入框中输入“book”,首先,机器翻译系统可先获取与该用户相关的用户信息,如,发现用户之前在搜索引擎中查询过“中国航空公司”,并且点击进入航空公司的网站,则可判断用户此时处于订飞机票的场景中,此时翻译系统输出的译文应该是“预定”。由此,可利用用户行为信息以提高机器翻译系统的译文质量,从而满足个性化翻译需求。
[0069] 为了实现上述实施例,本发明还提出一种翻译装置。
[0070] 一种翻译装置,包括:用户信息获取模块,用于获取与用户相关的用户信息;用户模型建立模块,用于根据用户信息建立用户模型;待翻译词汇获取模块,用于获取待翻译词汇;以及翻译模块,用于根据用户模型和翻译模型对待翻译词汇进行翻译以生成对应的译文。
[0071] 图4是根据本发明一个实施例的翻译装置的结构示意图。
[0072] 如图4所示,该翻译装置包括:用户信息获取模块100、用户模型建立模块200、待翻译词汇获取模块300和翻译模块400。
[0073] 具体地,用户信息获取模块100用于获取与用户相关的用户信息。优选地,在本发明的一个实施例中,用户信息可包括用户输入的内容信息、用户的地点信息、上下文信息、用户点击的内容信息等中的一种或多种。
[0074] 更具体地,用户信息获取模块100可自动收集并获取用户的信息,如用户在翻译系统或搜索引擎等的输入框中输入的Query、用户点击的URL的内容、用户所在的地点等。
[0075] 用户模型建立模块200用于根据用户信息建立用户模型。更具体地,在用户信息获取模块100获取与用户相关的用户信息之后,用户模型建立模块200可根据该用户信息建立用户模型。具体而言,用户模型主要是为了描述用户当前的状态。优选地,在本发明的实施例中,用户模型可包括上下文模型和/或场景模型。
[0076] 其中,上下文模型可包括用户在最近一段时间内输入或浏览内容中的具有实际意义的词序列,该词序列可属于名词、动词、实体词等,这些信息可以帮助翻译系统进行词汇歧义消解。
[0077] 此外,场景模型是从当前的用户行为信息(如输入的内容信息、点击的内容信息等)中自动检测出来用户当前所处的场景(如聊天、购物、游戏等),这样,可以在特定的场景下指导机器翻译系统呈现给用户更精确的译文。其中,场景检测可以采用如最大熵方法、SVM(Support Vector Machine,支持向量机)方法、决策树等方法实现。
[0078] 举例而言,仅以常用的最大熵方法为例(其他方法类似),机器翻译系统可根据获取的用户信息通过最大熵方法建立用户模型,该用户模型可如下所示:
[0079]
[0080] 其中,S*是和当前用户行为最匹配的场景;pi(S,x)是最大熵模型所用的用户信息,这里使用了用户的地点信息、上下文信息、点击的内容信息等;αi是该用户信息的权重,该权重可以通过开发集自动学习得到。
[0081] 优选地,在本发明的实施例中,随着用户行为的变化,用户模型式(1)可以实时更新,即在特定时段内,更新用户的上下文模型,并重新检测用户场景。
[0082] 待翻译词汇获取模块300用于获取待翻译词汇。翻译模块400用于根据用户模型和翻译模型对待翻译词汇进行翻译以生成对应的译文。优选地,在本发明的一个实施例中,翻译模型可为:
[0083]
[0084] 其中, 为包括翻译模型、语言模型和用户模型,λm为翻译模型、语言模型和用户模型对应的权重。
[0085] 优选地,在本发明的一个实施例中,翻译模块400可将用户模型添加至翻译模型之中,并可根据添加用户模型的翻译模型对待翻译词汇进行翻译。
[0086] 具体而言,通用的翻译方法采用了应用最广泛的基于短语的统计翻译方法:给定一个待翻译词汇,翻译系统通过使用多个统计模型(如翻译模型、语言模型等)对该待翻译词汇进行翻译,以生成多个译文,其中翻译得分最高的译文就是最终译文,该翻译方法主要采用了上述翻译模型式(2)。由于该翻译方法的最大好处是可以方便添加对译文质量有帮助的统计模型,所以,在该翻译方法的基础上,翻译模块400可将用户模型式(1)作为新特征直接添加到翻译模型之中,这样,翻译模块400可通过添加了上下文模型和场景模型这两个新特征的翻译模型对待翻译词汇进行翻译,从而可得到最符合用户需求的译文。
[0087] 本发明实施例的翻译装置,可通过用户信息获取模块获取与用户相关的用户信息,如用户输入的Query、用户点击的URL的内容、用户所在地点等,用户模型建立模块根据所获得的用户信息,建立并实时更新用户模型,在机器翻译过程中,翻译模块根据用户模型和翻译模型对待翻译词汇获取模块获取的待翻译词汇进行翻译以生成对应的译文,至少具有以下优点:(1)通过在机器翻译过程中融入上下文模型和场景模型,有效地减少了翻译中的歧义,提高了译文的准确率,满足用户个性化翻译的需求,提升了用户体验;(2)本发明实施例中的翻译装置的实施方式与语种无关,适用于任意语种的翻译。
[0088] 图5是根据本发明一个具体实施例的翻译装置的结构示意图。
[0089] 如图5所示,该翻译装置包括:用户信息获取模块100、用户模型建立模块200、待翻译词汇获取模块300、翻译模块400、翻译子模块410和筛选子模块420。其中,翻译模块400包括翻译子模块410和筛选子模块420。
[0090] 具体地,翻译子模块410用于根据翻译模型对待翻译词汇进行翻译生成多个译文。更具体地,在待翻译词汇获取模块300获取用户输入的待翻译词汇之后,翻译子模块410可通过使用多个统计模型对该待翻译词汇进行翻译,以生成多个译文。其中,统计模型可包括上述的翻译模型式(2)、语言模型等。
[0091] 筛选子模块420用于根据用户模型对多个译文进行筛选以生成对应的译文。更具体地,在翻译子模块410根据翻译模型对待翻译词汇进行翻译以生成多个译文,以作为候选译文,之后,筛选子模块420可根据用户模型式(1)对这些候选译文进行筛选,以得到该待翻译词汇对应的译文,从而可生成最符合用户需求的译文。
[0092] 也就是说,在本发明的实施例中,由于用户模型可包括上下文模型和/或场景模型,因此,筛选子模块420可分别根据上下文模型、场景模型对多个译文进行筛选。下面将详细介绍上下文模型、场景模型对多个译文的筛选过程。
[0093] 对于上下文模型来说,筛选子模块420可通过计算候选译文和上下文的相关性以评价候选译文是否合适,如下面的公式所示:
[0094]
[0095] 其中,x是具有实际意义的词序列,其可属于名词、动词、实体词等;f(w,s)为上下文词汇和待翻译词汇s之间的相关程度,其中可以使用搭配强度表示;trans(w)为w的译文;p(t|trans(w))为候选译文t和上下文之间的相关程度。从该式(3)可以看出,如果p(x,s|t)的概率越高,那么该译文和上下文的关系越匹配,从而可得到待翻译词汇对应的译文。
[0096] 对于场景模型来说,筛选子模块420可直接计算候选译文t在用户当前所处的场景下的概率:p(t|S),其中,t为候选译文,S是当前检测出来的场景,如果该概率越高,则该译文越适合该场景,从而可得到最符合用户需求的译文。
[0097] 本发明实施例的翻译装置,可通过翻译子模块根据翻译模型对待翻译词汇进行翻译生成多个译文,筛选子模块根据用户模型对这些多个译文进行筛选,以生成该待翻译词汇对应的译文,从而可得到最符合用户需求的译文,进一步提高了机器翻译系统的译文质量,提升用户体验。
[0098] 应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
[0099] 在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0100] 尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。