用于语言学习机的发音质量评价方法失效专利 发明

技术内容

技术领域 本发明属于计算机辅助语言学习和语音技术领域，尤其涉及采用16位及以上的数字 信号处理芯片实现的发音质量评价方法。 背景技术 近年来，嵌入式语言学习产品在国内外发展迅速。早期主要是复读机，它是在一台模 拟磁带录音机上附加一个可将一小段语音数字化存储的装置，这一小段语音可以多次重 复放音，利于学习者反复听音，跟读记忆。目前市场上主流的语言学习机是采用数字信 号处理芯片(DSP，Digital Signal Processing)技术的第二代产品。硬件系统一般包括微控 制器(Micro Control Unit，MCU)、数字信号处理芯片(DSP)、多媒体数字信号编解码 器(CODEC)、ROM、SRAM、快闪存储器(Flash Memory)、通用串行总线(USB)、键 盘和液晶显示器(Liquid Crystal Display，LCD)等；其中MCU作为主控芯片，执行设 备驱动和程序调度等系统控制程序，DSP执行应用算法程序。应用程序包括录音、放音、 语速调节等基本模块，有些产品还带有mp3模块。功能上具有复读，跟读，跟读对比， 文字同步显示，内容检索查询和语速可调节的放音等。这类学习机大多可以通过互联网 下载和更新学习材料。深圳好记星公司的好记星英语学习机是第二代数字式英语学习机 的典型代表。 学习语言尤其是学习口语关键在于互动的学习过程，即在学习过程中教师及时地有针 对性地评判和指导。然而在传统的以教师为中心的语言学习中，由于师资力量的缺乏， 这一任务无法完成。而现有的语言学习机又都不具备这种评价学习者发音的能力。 发明内容 本发明的目的是为克服已有技术的不足之处，提出一种用于语言学习机的发音质量评 价方法，可在嵌入式语言学习机上的实现高性能的文本和说话人无关的发音质量评价， 具有方法复杂度适中、评价准确度高和稳健性好的特点。特别是对汉语口音的人群的评 价准确性达到、甚至超过了当前的国际先进水平。 本发明提出的用于语言学习机的发音质量评价方法，包括用于训练的语音特征提取， 标准发音模型训练，标准发音网络的生成，语音端点检测，用于评价的语音特征提取， 最优路径搜索，以及发音质量分数的计算各部分；其特征在于，各部分的实现方法具体 包括以下步骤： A、用于训练的语音特征提取： (1)预先建立包含大量朗读语音的训练数据库； (2)对所说的训练数据库中的每个语音文件中的数字语音进行预加重和分帧加窗处 理，得到具有准平稳性的分帧语音； (3)对所说的分帧语音提取语音特征，该语音特征为倒谱系数； B、标准发音模型训练 (1)利用步骤A所说的语音特征训练得到基于音素的标准发音模型； (2)对所说的标准发音模型进行汉语人群口音的自适应作为最终的标准发音模型， 优化模型对汉语人群的评价性能； C、标准发音网络的生成 对给定的文本进行单词切分，查找发音字典得到音素标注，最后利用所说的基于音素 的标准发音模型得到以状态为节点的线性标准发音网络； D、语音端点检测： (1)模拟语音信号经过A/D变换，得到数字语音； (2)对所说的数字语音进行预加重和分帧加窗处理，得到具有准平稳性的分帧语音； (3)对所说的分帧语音计算得到时域对数能量； (4)采用滑动平均滤波(moving-average filter)的方法由所说的时域对数能量得到用 于端点检测的特征(以下简称为端检特征)； (5)采用上限和下限双阈值和有限状态机结合的方法，对所说的端检特征进行端点 检测，得到语音的起始和结束端点； E、用于评价的语音特征提取 对步骤D所说的分帧语音提取语音特征，过程与步骤A的第(3)步相同。 F、最优路径搜索： (1)将步骤E所说的语音特征与步骤C所说的标准发音网络进行强制匹配，得到网 络中所有可能的路径信息； (2)利用所说的路径信息，从网络允许的终止节点回溯出最优路径； G、发音质量分数的计算： (1)利用步骤F中所说的最优路径信息计算得到每帧语音特征的置信分数； (2)利用步骤F中所说的最优路径信息计算路径上每个状态的置信分数；对最优路 径上所有状态的置信分数取平均得到整句的置信分数； (3)利用映射函数将所说的整句置信分数映射到主观评价分数区间，得到最终的发 音质量分数。 所说的步骤A中的倒谱系数可以为美尔频标倒谱系数(MFCC，Mel-Frequency Cepstrum Coefficients)，它利用了人耳的频率分辨特性。 所说的步骤B(1)中的标准发音模型为基于音素的隐含马尔可夫模型(HMM，Hidden Markov Model)，该模型的具体训练过程为：采用所有语音特征初始化一个高斯模型，利 用这个模型复制出所有的音素模型，采用Baum-Welth的方法对模型进行多次训练。不断 增加每个音素模型的高斯成分的数量，重新进行Baum-Welth训练。 所说的步骤B(2)中的对标准发音模型进行汉语人群口音的自适应的实现方法为： 对得到的标准发音模型进行基于最大似然线性回归(Maximum Likelihood Linear Regression，MLLR)和最大后验概率(Maximum A Posteriori，MAP)方法的口音自适应， 得到最终的标准发音模型。 所说的步骤C的标准发音网络可为一个具有确定的起始节点和终止节点，当前节点只 与其前序节点相关的不考虑文法的以HMM的状态为节点的线性网络。 所说的步骤F的最优路径搜索的方法采用了帧同步维特比(Viterbi)束搜索的方法。 为能够在嵌入式系统的有限内存资源上实现本发明的发音质量评价方法，步骤D、E、 F和G都是以预先设定的固定帧数步长在时间上分段进行的，这样可大大降低对系统资 源的要求，使得嵌入式学习系统能够处理比较长的语音； 本发明的发音质量评价方法使得语言学习机具有了交互功能。利用该方法实现的嵌入 式英语学习系统在实际应用中取得了较好的性能。 本发明具有如下特点： (1)本发明具有评价准确性高、稳健性好、系统资源开销小等特点； (2)采用基于音素的标准发音模型，使得嵌入式学习系统可以方便的更改课件内 容，无需重新训练； (3)考虑到母语口音对英语发音的影响，对音素模型进行了口音自适应； (4)采用滑动平均滤波和有限状态机等技术进行实时的端点检测，提高了端点检测 对英语语音的准确性和稳健性； (5)可用于基于以DSP为核心的嵌入式语言学习系统，具有体积小、重量轻、耗电 省、成本低的突出特点； (6)本发明的发音质量评价方法，结合丰富的课件形式，可以改变传统的学习机工 作模式以及课堂教学模式。 附图说明 图1为本发明实施例的方法总体流程示意图。 图2为本发明实施例的标准发音模型训练流程图；图2(a)表示标准发音模型训练的 全过程，图2(b)表示一个特定隐含马尔可夫模型的训练过程。 图3为本发明实施例的标准发音模型的拓扑结构图；图3(a)表示停顿模型，图3(b) 表示音素和静音模型。 图4为本发明实施例的隐含马尔可夫模型口音自适应流程图。 图5为本发明实施例的标准发音网络的拓扑结构示意图；图5(a)表示整句以单词为 节点的线性网络结构，图5(b)表示每一个单词以音素为节点的线性网络结构。 图6为本发明实施例的标准发音网络的生成过程示意图。 图7为本发明实施例的在嵌入式平台上实现的发音质量评价方法的详细流程图。 具体实施方式 本发明提出的一种用于语言学习机的发音质量评价方法实施例结合各图详细说明如 下： 本发明方法的实施例总体流程如图1所示，分为：A、用于训练的语音特征提取；B、 标准发音模型的训练；C、标准发音网络的生成(以上各步骤可事先利用计算机完成)； D、语音端点检测；E、用于评价的语音特征提取；F、最优路径搜索；G、发音质量分数 的计算和输出(以上各步骤利用嵌入式平台完成)。每个步骤的实施例详细说明如下。 A、用于训练的语音特征提取： (1)预先建立包含大量英语朗读语音的训练数据库(要求包含的内容对每一个音素 都有一定数量的覆盖)； (2)对所说的训练数据库中的每个语音文件中的数字语音进行预加重处理，预加重 滤波器取为H(z)＝1-0.9375z-1；对预加重后的语音进行分帧加窗(采用哈明窗)处理， 帧长可为32ms，帧移可为16ms，得到具有准平稳性的分帧语音； (3)对所说的分帧语音提取美尔频标倒谱系数(MFCC)作为语音特征；语音的短 时频域特征能精确描述语音的变化，MFCC是根据人耳听觉的频率分辨特性计算出来的 一种特征矢量，建立在傅立叶频谱分析的基础上，MFCC的计算方法为：首先对分帧语 音进行快速傅立叶变换(Fast Fourier Transformation，FFT)得到信号的短时频谱，其次 根据MEL频标把短时频谱等分成若干个带通组，其带通的频率响应为三角形，再次计算 相应滤波器组的信号能量，最后通过离散余弦变换计算对应的倒谱系数； MFCC特征主要反映语音的静态特征，语音信号的动态特征可以用静态特征的一阶差 分谱和二阶差分谱来描述。整个语音特征由MFCC参数、MFCC一阶、二阶差分系数、 归一化能量系数及其一阶、二阶差分系数构成。每帧共包含39维特征； B、标准发音模型的训练： (1)利用步骤A所说的语音特征训练基于音素的标准发音模型的过程，如图2所示： a、根据语音特征的维数建立一个协方差矩阵为对角形式的单数据流的多维高斯分布 的原型，使用全部的语音数据估计该高斯分布的均值矢量和协方差矩阵。 b、确定发音字典和音标体系，完成对所有语音的音素级标注，本实施例的音标体系 包括40个音素以及1个静音标识、1个停顿标识。 c、本实施例采用基于音素的隐含马尔可夫模型(HMM)作为标准发音模型，HMM 是目前被广泛采用的统计语音识别模型。HMM从左向右的状态转移模型，能够很好地描 叙语音的发音特点。本发明采用的音素和静音模型为3状态的HMM，停顿模型为单状态 可跨越的HMM，其拓扑结构如图3所示。其中qi表示HMM的状态。aij表示HMM的 跳转概率。bj(Ot)为HMM模型的状态输出的多流混合高斯密度概率分布函数。如式(1) 所示。 $b_j\left(O_t\right)=\underset{s=1}{\overset{s}{\Pi }}{\left[\underset{m=1}{\overset{M_s}{\Sigma }}{C}_{\mathrm{jsm}}N(O_{\mathrm{st}};{\mu }_{\mathrm{jsm}};{\phi }_{\mathrm{jsm}})\right]}^{{\gamma }_s}---\left(1\right)$ 其中S是数据的流数，Ms是每一数据流中的混合高斯密度分布的个数；N为多维高 斯分布，如式(2)所示： $N(o;\mu ;\phi )=\frac{1}{\sqrt{{\left(2\pi \right)}^n\left|\phi \right|}}{e}^{-\frac{1}{2}(o-\mu ){\phi }^{-1}(o-\mu )}---\left(2\right)$ 本实施例的标准发音模型包括40个音素HMM模型以及一个静音HMM模型、一个 停顿HMM模型；将所说的高斯分布原型复制成各个HMM模型；然后利用Baum-Welch 算法对每个HMM模型进行多次估值，估值次数可为5； d、逐步增加HMM模型中高斯成分的数量，对得到的模型再次进行Baum-Welch训 练；高斯成分的数量增加依次为2、4、6、8；当高斯数量增长到8时，重复训练10次， 训练过程结束。 (2)对所说的标准发音模型进行汉语人群口音的自适应，本发明实施例采用了基于 全局MLLR和MAP串行的口音自适应方法，自适应次数设定为4，具体流程如图4所示。 a、MLLR是一种基于模型变换的自适应算法。这一类算法的基本假设是相近语音在 说话人无关语音模型空间与被适应人语音空间之间的变换关系也是相近的，因此可以利 用训练语音中出现过的语音统计出这一变换关系，对未出现的语音的模型用该变换实现 从说话人无关模型到被适应人语音空间的映射，从而实现自适应。语音模型空间根据一 定测度(如欧氏距离，似然度等)被划分为R类，各类的变换为Tr(*)，各类对应的训练语音 集为Xr，r＝1，2，...，R，模型参数为λr，r＝1，2，...，R，则自适应训练满足： $T_r=\underset{T}{\arg \max }\left(P\left(X_r\right|T_r)\right),r=\mathrm{1,2}...,R---\left(3\right)$ 自适应后的参数 ${\hat{\lambda }}_{r}r=\mathrm{1,2},...R$ 满足 ${\hat{\lambda }}_r=T_r\left({\lambda }_r\right),r=\mathrm{1,2}...,R---\left(4\right)$ 由于这一类算法充分利用了语音间的相互关系，多个模型共享一个变换，需要估计的 参数是各个变换的系数，较容易积累数据估计参数可以在较少自适应数据情况下生效， 因此具有较快的自适应速度。本发明实施例采用的是未分类的全局MLLR自适应。 b、MAP算法的基本准则是后验概率最大化，因此具有理论上的最优性： ${\hat{\theta }}_i=\underset{{\theta }_i}{\arg \max }P\left({\theta }_i\right|x)---\left(5\right)$ 标准MAP算法的均值矢量估值公式为： $\hat{\mu }=\frac{{\Sigma }_{t=1}^T{L}_t}{{\Sigma }_{t=1}^T{L}_t+\tau }\stackrel{\_}{\mu }+\frac{\tau }{{\Sigma }_{t=1}^T{L}_t+\tau }\mu ---\left(6\right)$ 其中Lt是t时刻观测矢量对该高斯混合分量的概率，τ是自适应语音数据基于先验知 识的权重， μ是自适应语音的均值矢量，μ是说话人无关模型的均值矢量。由此也可看 出，当自适应数据足够多时，自适应后的均值矢量 将趋向于说话人相关的均值矢量 μ。 本发明实施例在MLLR自适应之后又采用MAP自适应的目的是充分利用自适应的语音 数据，进一步提供口音自适应的效果。 将最终得到的标准发音模型存入嵌入式系统的外部存储器。 C、标准发音网络的生成： 本发明实施例的标准发音网络如图5所示，其中(a)为以单词为节点的线性网络示 例，起始节点为开始的“sil”，终止节点为最后的“sil”，(b)为每个单词内部的以音素 为节点的线性网络，每个音素内部为如图3所示的以状态为节点的网络。网络生成过程 如图6所示：首先对原始文本进行单词切分得到如图5(a)所示，其次对每一个单词查 找发音字典得到如图5(b)所示。考虑到单词的多发音情况，为节省存储空间和提高搜 索效率，本实施例在单词的多种发音之间进行了基于动态规划的音素字符串比对，将多 个音素序列融合成一个以音素为节点的网络，使得各个发音之间的相同音素得到共享。 最后利用音素HMM模型将网络最终展开成以状态为节点的网络，每个状态节点上记录 了当前节点的状态标识、音素标识、单词标识以及前序节点数目和前序节点标识信息。 至此，得到本实施例的具有确定的起始节点P和终止节点T，当前节点只与其前序节点 相关的不考虑文法的以HMM的状态为节点的标准发音网络。 将所说的标准发音网络存入嵌入式系统的外部存储器。 D、语音端点检测： (1)语音信号首先进行低通滤波，然后通过16bit线性A/D进行采样和量化，成为 数字语音。采样频率为8kHz； (2)对所说的数字语音进行预加重和分帧加窗处理，得到具有准平稳性的分帧语音； 方法与步骤A的第(2)步相同； (3)再对所说的分帧语音计算短时对数能量。 (4)采用滑动平均滤波的方法由所说的时域对数能量得到端检特征：端点检测是实 时进行的，实时端点检测方法需满足以下要求：a、对不同的背景噪声电平有一致的输出； b、能够检测到起始点和终止点；c、较短的延时；d、有限的响应区间；e、在端点处最 大化信噪比；f、准确定位检测的端点；g、最大限度地抑制检测错误；综合考虑以上要求 定义的目标函数，和图像处理中通常采用的图形边界检测函数(滑动平均滤波)非常相 似。所说的滑动平均滤波器如式(7)所示，其中g(·)是时域对数能量，t为当前帧数，h(·) 为滑动平均滤波器，如式(8)所示，可见h(·)是一个奇对称函数，W可取13，f(·)如 式(9)所示，其参数可为：A＝0.2208，s＝0.5383， [K1...K6]＝[1.583，1.468，-0.078，-0.036，-0.872，-0.56]。 $F\left(t\right)=\underset{i=-W}{\overset{W}{\Sigma }}h\left(i\right)g(t+i)---\left(7\right)$ $h\left(i\right)=\left\{\begin{array}{cc}-f(-i)& -W\le i<0\\ f\left(i\right)& 0\le i\le W\end{array}\right.---\left(8\right)$ f(x)＝eAx[K1sin(Ax)+K2cos(Ax)]+e-Ax[K3sin(Ax)+K4cos(Ax)]+K5+K6esx(9) (5)采用上限和下限双阈值和有限状态机结合的方法，对所说的端检特征进行端点 检测，得到语音的起始和结束端点：所说的端检特征F(t)在语音的起始端为正值，在结 束端为负值，在静音段则接近为零。根据预先设定的上限、下限阈值和语音最短持续时 间，控制每一帧语音在语音、静音和离开语音状态之间进行跳转。初始设定为静音状态， 当F(t)达到上限阈值时输出语音的起始端点，进入语音状态。处于语音状态，当F(t)达 到下限阈值时就进入了离开语音状态。处于离开语音状态的时间达到一个设定的阈值时 输出语音的结束端点，关闭录音通道，端点检测结束。 E、用于评价的语音特征提取： 对步骤D所说的分帧语音提取语音特征，过程与步骤A的第(3)步相同。 F、最优路径搜索： (1)将步骤E所说的语音特征与步骤C所说的标准发音网络进行强制匹配，得到网 络中所有可能的路径信息：本发明实施例的标准发音网络是自左向后的线性网络(如图5 所示)，可采用帧同步的维特比束搜索算法得到最优路径。给定HMM模型Φ和观察矢量 序列O＝{o1，…，oT}后，需要求取产生此观察矢量序列的最佳状态序列S＝{s1，…sT}，即 $\hat{S}=\underset{s}{\arg \max }\left\{P(S,O|\Phi )\right\}---\left(10\right)$ 在维特比算法中，定义t时刻的最佳路径似然度为 Vi(t)＝P(o1，…，ot，s1，…，st-1，st＝i |Φ)                           (11) 在线性网络中，任意时刻的最优路径仅和当前帧与上一帧的信息相关，即满足无后效 性的原则。因此，如果全局最优路径在t时刻通过节点i，那么，路径在0～t时刻之间的 部分，一定是在t时刻以节点i为最终节点的各条路径中是最优的。如果我们只想获得最 优路径，那么在t时刻，以节点i为最终节点的路径只需要保留一条就足够了。 根据上述原则，本实施例的搜索算法为： 定义：PreNode(i)为节点i的前序节点集合。BestPre(t，i)为t时刻节点i的最优前序节 点。L(t，i)为t时刻的语音帧对应节点i的似然分数。L_Path(-1，i)和L_Path(0，i)分别为 前一帧和当前帧以节点i为最终节点的最优路径似然分数。 步骤1：在t＝0时刻 $L\_\mathrm{Path}(-1,i)=\left\{\begin{array}{cc}L(0,i)& i\in \mathrm{Entry}\\ 0& i\notin \mathrm{Entry}\end{array}\right.----\left(12\right)$ 其中i∈Entry表示i为起始节点。 步骤2：在t时刻，对于任意的节点i已经得到当前帧的似然分数L(t，i)，则当前帧的 最优路径分数为： $L\_\mathrm{Path}(0,i)=\underset{j}{\max }(L\_\mathrm{Path}(-1,j))+L(t,i),\forall j\in \mathrm{PreNode}\left(i\right)---\left(13\right)$ 将最优前序节点记入BestPre(t，i)，将L_Path(-1，i)和L_Path(0，i)的数据进行交换为 下一帧的计算做准备。 步骤3：如果t＜T，转到步骤2；否则，结束。 (2)当语音结束时，可以从网络允许得终止节点回溯BestPre(t，i)获取到强制匹配的 最优状态路径； G、发音质量分数的计算 (1)利用步骤F中所说的最优路径信息计算每帧语音特征的置信分数，如式(14) 所示： $C_j=\log \left(p\left(O_j\right|s^i)\right)-\log \left(\underset{i}{\Sigma }p\left(O_j\right|s^i)\right)---\left(14\right)$ (2)利用步骤F中所说的最优路径信息计算路径上每个状态的置信分数；对最优路 径上所有状态的置信分数取平均得到整句的置信分数，如式(15)所示，其中N为最优 路径包含的状态数。 $C=\frac{\underset{i=1}{\overset{N}{\Sigma }}\left(\frac{\underset{j=\mathrm{js}}{\overset{\mathrm{je}}{\Sigma }}{C}_j}{\mathrm{je}-\mathrm{js}}\right)}{N}---\left(15\right)$ (3)利用映射函数将所说的整句置信分数映射到主观评价分数区间：直接计算得到 的置信分数的取值区间通常在(-∞，a]之间，其中a为一常数，与主观评价分数区间不一 致，本发明实施例利用分段线性函数将其映射到主观分数区间，如式(16)所示，其中a 和b由实验确定，a为一个调节因子： $S=\left\{\begin{array}{ccc}\mathrm{\alpha C}& \mathrm{if}& a\le C\le b\\ 100& \mathrm{if}& C>b\\ 0& \mathrm{if}& C<a\end{array}\right.---\left(16\right)$ 也可以将得到的S进一步量化为优、良、中、差的发音质量等级。 考虑到内存资源的限制，本发明实施例的步骤D、E、F和G都是以预先设定的固定 帧数步长在时间上分段进行的，每段大小可为40帧。 本实施例基于上述方法开发了基于发音质量评价的嵌入式英语学习系统。学习内容可 以根据教学要求随时自动地更新。采用发音质量评价技术可以使人机之间互动学习，大 大减轻了课堂口语教学的工作量，缓解了教师供需紧张的问题，实现了英语口语的自主 学习和自动测试。本发明可以评价汉语普通话人群的英语发音质量。该方法对汉语人群 的英语发音质量评价在评分等级为4级(优、良、中、差)时，与主观评价的相关性达 到了0.74。