[0001] 本发明涉及人工智能技术领域，尤其涉及一种基于噪声可控的歌声合成方法、装置、设备及介质。

[0002] 在医疗领域，音乐疗法是一种无创伤性的治疗方法，对治疗睡眠障碍、焦虑、注意力不集中由于没有副作用，因此深受广大患者欢迎。音乐疗法中一般通过歌声合成生成多样化的音乐，现有技术中歌声合成的方法大致分成两种：第一种是给定歌曲的歌词，以及旋律，音高等专业属性，由参数化的生成器去拟合，生成这些属性的歌声。第二种通过大量的带标注的训练数据，在给定歌词的情况下，由模型自己去学习旋律，音高等特征，根据学习后的模型合成对应歌声。但这两种方法或多或少均有着一些缺点，第一种方法中专业的音乐工作者非常稀少，很难做到满足给定歌曲的歌词，第二种方法中，由于依赖训练数据使合成的歌声的效果较差。因此，在医疗领域的音乐治疗过程中，如何提高歌声合成的效果成为亟需解决的问题。

[0010] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0011] 应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

[0012] 还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0013] 如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

[0014] 另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0015] 在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

[0016] 本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

[0017] 人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

[0018] 应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

[0019] 为了说明本发明的技术方案，下面通过具体实施例来进行说明。

[0020] 本发明一实施例提供的一种基于噪声可控的歌声合成方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机（ultra‑mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）等终端设备。服务端可以用独立的服务器或者是多个服务器生成的服务器集群来实现。

[0021] 参见图2，是本发明一实施例提供的一种基于噪声可控的歌声合成方法的流程示意图，上述基于噪声可控的歌声合成方法可以应用于图1中的服务端，上述服务端连接相应的客户端，如图2所示，该基于噪声可控的歌声合成方法可以包括以下步骤。

[0022] S201：获取预设情感信号，对预设情感信号进行情感特征编码，得到预设情感信号对应的情感编码特征，获取预设节奏信号，对预设节奏信号进行节奏特征编码，得到预设节奏信号对应的节奏编码特征。

[0023] 在步骤S201中，预设情感信号为包含情感信息的语音信号，预设节奏信号为歌曲对应的语音节奏信号，对预设情感信号进行情感特征编码，得到预设情感信号对应的情感编码特征，对预设节奏信号进行节奏特征编码，得到预设节奏信号对应的节奏编码特征，提取预设情感信号与预设节奏信号中的编码特征，以便于将编码特征与随机生成的噪声图进行融合。

[0024] 本实施例中，获取医疗领域中音乐疗法中常用到的情感信息对应的情感信号与节奏信息对应的节奏信号，以便于根据情感信号与节奏信号合成的歌声有助于对患者的治疗。首先将预设情感信号与预设节奏信号转化为对应的梅尔频谱，这种变换方式可以将信号的频谱特征缩放到类人耳感知特征的坐标系统下，便于更好的进行分析与处理。由于卷积神经网络模型对输入的频谱特征有特定的尺寸要求，因此需要将提取的变换梅尔频谱特征的尺寸进行缩放处理，得到人声音频对应的梅尔频谱特征。

[0025] 使用情感编码器提取预设情感信号对应梅尔频谱的情感编码特征，例如，情感编码器可以由两层卷积神经网络层和两层双向长短时记忆网络构成。其中，两层卷积神经网络层的卷积核大小分别为7×7和20×7、卷积层之后依次连接了批归一化层、ReLU非线性激活层和最大池化层，最大池化层的核尺寸分别为2×2和1×5。通过卷积操作将得到74×128维的中间情感表征序列M＝[m1,m2,...,mn,...,mN]，mn为特征第n个位置的特征向量，通过两层卷积神经网络层提取FBank声学特征中情感相关的特征，并将该特征作为长短时记忆网络层的输入特征，输出对应的情感特征。在情感编码器中，使用两层双向长短时记忆网络对输入的中间序列特征M进行时序关系建模。BiLSTM的隐向量表征分别来自正向和反向LSTM(使用和表示)，每层LSTM的隐藏层节点数为128，同时使用非线性激活可以得到最终的隐向量N个时间步的输出序列共同组成情感编码特征。

[0026] 使用节奏编码器提取预设节奏信号对应梅尔频谱的节奏编码特征，例如，节奏编码器可以包括一组5*1卷积层、群归一化层或组归一化层、BiLSTM层和下采样层。

[0027] 需要说明的是，对情感编码器与节奏编码器分别添加对应的信息瓶颈层(informationbottleneck)。信息瓶颈层迫使编码器只传递其他编码器不能提供的特征或信息并丢弃其他特征。每个编码器添加的信息瓶颈层的尺寸可能不同，而且会根据对应的规则设置调整。其中，信息瓶颈层中可以为包括多层感知器神经网络MLP(Multi‑layer 
Perceptron Neural Network)和两个与多层感知器神经网络MLP相连的线性模型，线性模型具有激活函数，线性模型中的隐含层可以包括K个节点，此处的节点为神经网络中的神经元。情感编码信号对应梅尔频谱处理后的表征向量经过一个多层感知器神经网络MLP之后，再经过两个线性模型，得到输出的均值及方差。信息瓶颈层还包括对应情感编码特征生成模块与节奏编码特征生成模块，期望值和方差进入对应生成模块之后，输出对应的表征特征，即情感编码特征与节奏编码特征。情感编码特征与节奏编码特征是一个K维高斯分布，其与线性模型的隐含层中的K个节点相对应。

[0028] 可选地，对预设情感信号进行情感特征编码，得到预设情感信号对应的情感编码特征，包括：将预设情感信号转化为对应傅里叶频谱，根据傅里叶频谱确定对应梅尔频谱；
使用预设情感编码器，对梅尔频谱进行情感特征编码，得到预设情感信号对应的情感编码特征。

[0029] 本实施例中，使用librosa库中的第一预设函数将预设情感信号转成对应的傅里叶变换频谱，然后再使用第二预设函数将其转换为更符合人耳听觉的梅尔频谱，这样便可以将一维的难以处理的时序信号转换成易于处理且信息更丰富的二维频域数据。然后使用预设情感编码器，对梅尔频谱进行情感特征编码，得到预设情感信号对应的情感编码特征。

[0030] S202：根据预设随机函数，生成随机噪声值，将随机噪声值添加至预先定义的二维图像的对应像素中，得到随机噪声图。

[0031] 在步骤S202中，随机噪声图像可以为满足某种特定分布的随机噪声图像，如可以为满足均匀分布的随机噪声图像，还可以为满足高斯分布的随机噪声图像等。

[0032] 本实施例中，使用预设随机函数生成随机噪声值，其中，预设随机函数可以为均值分布函数或者是高斯分布函数，使用均值分布函数得到的噪声图为满足均匀分布的随机噪声图像，使用高斯分布函数得到的噪声图为满足高斯分布的随机噪声图像。

[0033] S203：将情感编码特征与节奏编码特征添加至随机噪声图中，与随机噪声图中对应像素中的随机噪声值进行融合，得到融合噪声图。

[0034] 在步骤S203中，情感编码特征与节奏编码特征为二维特征向量，在二维坐标中，将情感编码特征与节奏编码特征添加至随机噪声图中可以与随机噪声图中对应像素中的随机噪声值进行融合，得到融合噪声图。

[0035] 本实施例中，将情感编码特征和节奏编码特征与随机噪声图进行对齐，根据随机噪声图中的大小对情感编码特征和节奏编码特征进行缩放，使缩放后的情感编码特征和节奏编码特征与随机噪声图的大小相等，以便于将情感编码特征与节奏编码特征添加至随机噪声图中，与随机噪声图中对应像素中的随机噪声值进行融合，得到融合噪声图。

[0036] 可选地，将情感编码特征与节奏编码特征添加至随机噪声图中，与随机噪声图中对应像素中的随机噪声值进行融合，得到融合噪声图，包括：根据情感编码特征和节奏编码特征，确定与随机噪声图中每个像素对应的情感编码特征值与节奏编码特征值；
将随机噪声图中每个像素对应的情感编码特征值、节奏编码特征值与随机噪声
值，进行相加融合，得到每个像素的融合值，根据每个像素的融合值，得到融合噪声图。
本实施例中，根据情感编码特征和节奏编码特征，确定情感编码特征和节奏编码特征中的特征向量，提取特征向量中的每个元素的特征值，将情感编码特征和节奏编码特征中的元素与随机噪声图中的像素进行对齐，根据随机噪声图中的大小对情感编码特征和节奏编码特征进行缩放，使缩放后的情感编码特征和节奏编码特征与随机噪声图的大小相等，以便于将情感编码特征、节奏编码特征与随机噪声图进行融合。将情感编码特征和节奏编码特征中的元素与随机噪声图中的像素对齐后，将在相同位置中的元素的特征值与像素的随机噪声值进行相加融合，得到每个像素的融合值，将每个像素的融合值作为随机噪声图中像素的新的随机噪声值，得到融合噪声图。

[0037] S204：使用训练好的神经网络对融合噪声图进行噪声预测，得到包含噪声点与噪声点对应的噪声值的预测噪声图。

[0038] 在步骤S204中，训练好的神经网络可以对融合噪声图进行噪声预测，预测出对应融合噪声图中的噪声点与噪声点对应的噪声值，以便于将预测出的噪声点位置处的噪声去除掉。

[0039] 本实施例中，训练好的神经网络可以包括2个4层的二维卷积结构，第一个4层的二维卷积结构中，每层之间使用基于最大池化的下采样，将隐序列下采样一倍，第二个4层的二维卷积结构中，每层之间使用基于最近邻插值的上采样，将隐序列上采样一倍，且在每层的上采样计算时会将当前结果与对应分辨率的下采样隐序列在时间维度上进行并联，最后使用线性层将输出维度映射为梅尔频谱的维度。

[0040] 可选地，使用训练好的神经网络对融合噪声图进行噪声预测，得到包含噪声点与噪声点对应的噪声值的预测噪声图之前，还包括：获取训练数据集与初始神经网络，训练数据集包括原始歌声、预定义的情感信号与预定义的节奏信号；
提取原始歌声的梅尔频谱，得到原始歌声对应的第一梅尔频谱，对第一梅尔频谱添加噪声数据，得到包含噪声数据的第二梅尔频谱，将第二梅尔频谱确定为第一噪声图；
对预定义的情感信号进行情感特征编码，得到原始情感编码特征，对预定义的节奏信号进行节奏特征编码，得到原始节奏编码特征，将原始情感编码特征与原始节奏编码特征添加至第一噪声图中，得到第二噪声图；
使用初始神经网络对第二噪声图进行噪声预测，得到包含噪声点与噪声点对应的噪声值的原始预测噪声图；
根据第一噪声图与原始预测噪声图对初始神经网络进行训练，计算第一噪声图与原始预测噪声图之间的损失值，当损失值满足预设条件时，停止训练，得到训练好的神经网络。

[0041] 本实施例中，在对初始神经网络进行训练时，获取原始歌声，提取原始歌声的梅尔频谱，提取原始歌声的梅尔频谱，得到原始歌声对应的第一梅尔频谱，对第一梅尔频谱添加噪声数据，得到包含噪声数据的第二梅尔频谱，将第二梅尔频谱确定为第一噪声图，其中，将原始歌声的梅尔频谱作为真实值，对第一梅尔频谱添加噪声数据，得到包含噪声数据的第二梅尔频谱，将第二梅尔频谱确定为第一噪声图，将第一噪声图作为添加真实噪声图，噪声数据可以是通过随机函数生成的随机值，添加到真实的梅尔频谱中，得到包含噪声数据的第二梅尔频谱。将预定义的情感信号与预定义的节奏信号添加至对应的第一噪声图，得到第二噪声图，使用初始神经网络对第二噪声图进行噪声预测，得到原始预测噪声图，原始预测噪声图为包含情感信号与节奏信号的噪声图，以便于初始神经网络在进行训练时，可以学习到情感信号与节奏信号对模型的贡献。

[0042] 根据初始神经网络预测出的原始预测噪声图与第二梅尔频谱对应的第一噪声图计算损失值，当损失值满足预设条件时，停止训练，得到训练好的神经网络。其中，预设条件可以是损失值小于预设阈值，或者是损失值收敛等。

[0043] 可选地，计算第一噪声图与原始预测噪声图之间的损失值，包括：计算第一噪声图与原始预测噪声图之间的均方差损失，得到第一损失值，计算第一噪声图与原始预测噪声图之间的交叉熵损失，得到第二损失值；
根据第一损失值与第二损失值构建目标损失函数，根据目标损失函数计算第一噪声图与原始预测噪声图之间的损失值。

[0044] 本实施例中，计算第一噪声图与第三梅尔频谱之间的损失值时，将第一噪声图与原始预测噪声图之间的均方差损失，和第一噪声图与原始预测噪声图之间的交叉熵损失之间的和作为目标损失值，以便训练初始神经网络时，提高模型训练的速度与精度。

[0045] S205：对预测噪声图进行去噪处理，得到去噪后的噪声图，将去噪后的噪声图确定为待合成梅尔频谱。

[0046] 在步骤S205中，其中，去噪后的噪声图中的横向坐标确定为待合成梅尔频谱中的帧数，去噪后的噪声图中的纵向坐标确定为待合成梅尔频谱中的频度。训练好的神经网络可以根据学习到的知识确定随机噪声图与预测噪声图之间的映射关系，根据映射关系，对预测噪声图进行映射，从而去除预测噪声图中的噪声。

[0047] 本实施例中，根据预测噪声图中噪声点的位置与噪声点的噪声值，通过去噪处理，去除噪声点处的噪声值，得到无噪声污染的去噪后的噪声图，将去噪后的噪声图确定为待合成梅尔频谱，其中，去噪后的噪声图中的横向坐标确定为待合成梅尔频谱中的帧数，去噪后的噪声图中的纵向坐标确定为待合成梅尔频谱中的频度。

[0048] 可选地，对预测噪声图进行去噪处理，得到去噪后的噪声图，包括：根据训练好的神经网络中的预设映射关系对预测噪声图中的噪声点对应的噪声
值进行映射处理，得到噪声点对应映射后的映射噪声值；
将映射噪声值填充至对应噪声点中，得到填充后的噪声图，将填充后的噪声图确定为去噪后的噪声图。

[0049] 本实施例中，根据训练好的神经网络中的预设映射关系，对预测噪声图进行映射处理，去掉对应噪声点处的噪声值。例如，随机噪声图与预测噪声图之间的映射关系为函数F(x)，则在预测噪声图中的像素点进行函数F(x)的映射，将预测噪声图中噪声点中的噪声值进行函数F(x)的映射，将映射后的映射噪声值填充至对应噪声点中，得到填充后的噪声图，其中函数F(x)可以为线性函数，也可以为非线性函数。

[0050] 另一实施例中，也可以对噪声点中噪声值进行多次逐步映射，例如，使用第一个映射函数对噪声值进行第一次映射处理，得到第一映射结果，使用第二个映射函数对第一映射进行第二次映射，得到第二映射结果，依此类推，可以进行多次映射，每一次映射的结果为下次映射的原始数据，其中每一次映射的映射函数可以相同，也可以不相同，可以是线性函数，也可以是非线性函数，本实施例中，使用线性函数与非线性函数进行交叉映射，以防止在噪声值较大的噪声点中进行单次映射时，不能完全去除对应噪声。

[0051] S206：使用预设声码器将待合成梅尔频谱合成对应歌声。

[0052] 在步骤S206中，使用预设声码器将待合成梅尔频谱合成对应歌声，其中，预设声码器可以为神经网络声码器，对应歌声为将情感信号与节奏信号加入至随机噪声图后得到的带有情感和节奏的歌声。

[0053] 本实施例中，进行歌声合成时可以使用预设声码器进行歌声合成，本申请实施例中的声码器可以为神经网络声码器，可以包括但不限于基于自回归的神经网络声码器(如waveRNN声码器)、基于Gan网络的神经网络声码器(如melGan声码器、hifiGan声码器)。

[0054] 根据预设随机函数，生成随机噪声值，将随机噪声值添加至预先定义的二维图像的对应像素中，得到随机噪声图，将情感编码特征与节奏编码特征添加至随机噪声图中，与随机噪声图中对应像素中的随机噪声值进行融合，得到融合噪声图，使用训练好的神经网络对融合噪声图进行噪声预测，得到包含噪声点与噪声点对应的噪声值的预测噪声图，并对预测噪声图进行去噪处理，得到去噪后的噪声图，将去噪后的噪声图确定为待合成歌声对应的待合成梅尔频谱，使用预设声码器将待合成梅尔频谱合成对应歌声。本申请中，通过将预定义的情感编码特征与预定义的节奏编码特征融合至噪声图中，实现对歌声合成中的情感与节奏的控制，实现可控的歌声合成，从而提高歌声合成的效果。在医疗领域的音乐治疗过程中，可以合成可控的效果较好的多样化音乐，有助于患者康复。

[0055] 参见图3，图3示出了本申请实施例提供的基于噪声可控的歌声合成装置的结构框图，上述基于噪声可控的歌声合成装置应用于上述服务端。为了便于说明，仅示出了与本申请实施例相关的部分。参见图3，该歌声合成装置30包括：获取模块31，生成模块32，添加模块33，预测模块34，去噪模块35，合成模块36。

[0056] 获取模块31，用于获取预设情感信号，对预设情感信号进行情感特征编码，得到预设情感信号对应的情感编码特征，获取预设节奏信号，对预设节奏信号进行节奏特征编码，得到预设节奏信号对应的节奏编码特征；生成模块32，用于根据预设随机函数，生成随机噪声值，将随机噪声值添加至预先定义的二维图像的对应像素中，得到随机噪声图。

[0057] 添加模块33，用于将情感编码特征与节奏编码特征添加至随机噪声图中，与随机噪声图中对应像素中的随机噪声值进行融合，得到融合噪声图。

[0058] 预测模块34，用于使用训练好的神经网络对融合噪声图进行噪声预测，得到包含噪声点与噪声点对应的噪声值的预测噪声图。

[0059] 去噪模块35，用于对预测噪声图进行去噪处理，得到去噪后的噪声图，将去噪后的噪声图确定为待合成梅尔频谱，其中，去噪后的噪声图中的横向坐标确定为待合成梅尔频谱中的帧数，去噪后的噪声图中的纵向坐标确定为待合成梅尔频谱中的频度。

[0060] 合成模块36，用于使用预设声码器将待合成梅尔频谱合成对应歌声。

[0061] 可选地，上述添加模块33包括：确定单元，用于根据情感编码特征和节奏编码特征，确定与随机噪声图中每个像素对应的情感编码特征值与节奏编码特征值。

[0062] 融合单元，用于将随机噪声图中每个像素对应的情感编码特征值、节奏编码特征值与随机噪声值，进行相加融合，得到每个像素的融合值，根据每个像素的融合值，得到融合噪声图。

[0063] 可选地，上述获取模块31包括：变换单元，用于将预设情感信号转化为对应傅里叶频谱，根据傅里叶频谱确定对应梅尔频谱。

[0064] 编码单元，用于使用预设情感编码器，对梅尔频谱进行情感特征编码，得到预设情感信号对应的情感编码特征。

[0065] 可选地，上述歌声合成装置30还包括：训练数据获取模块，用于获取训练数据集与初始神经网络，训练数据集包括原始歌声、预定义的情感信号与预定义的节奏信号。

[0066] 提取模块，用于提取原始歌声的梅尔频谱，得到原始歌声对应的第一梅尔频谱，对第一梅尔频谱添加噪声数据，得到包含噪声数据的第二梅尔频谱，将第二梅尔频谱确定为第一噪声图。

[0067] 得到模块，用于对预定义的情感信号进行情感特征编码，得到原始情感编码特征，对预定义的节奏信号进行节奏特征编码，得到原始节奏编码特征，将原始情感编码特征与原始节奏编码特征添加至第一噪声图中，得到第二噪声图。

[0068] 原始预测模块，用于使用初始神经网络对第二噪声图进行噪声预测，得到包含噪声点与噪声点对应的噪声值的原始预测噪声图。

[0069] 训练模块，用于根据第一噪声图与原始预测噪声图对初始神经网络进行训练，计算第一噪声图与原始预测噪声图之间的损失值，当损失值满足预设条件时，停止训练，得到训练好的神经网络。

[0070] 可选地，上述训练模块包括：计算单元，用于计算第一梅尔频谱与第三梅尔频谱之间的均方差损失，得到第一损失值，计算第一梅尔频谱与第三梅尔频谱之间的交叉熵损失，得到第二损失值。

[0071] 构建单元，用于根据第一损失值与第二损失值构建目标损失函数，根据目标损失函数计算第一梅尔频谱与第三梅尔频谱之间的损失值。

[0072] 需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

[0073] 图4为本申请实施例提供的一种终端设备的结构示意图。如图4所示，该实施例的终端设备包括：至少一个处理器（图4中仅示出一个）、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个基于噪声可控的歌声合成方法实施例中的步骤。

[0074] 该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图4仅仅是终端设备的举例，并不构成对终端设备的限定，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。

[0075] 所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field‑Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0076] 存储器包括可读存储介质、内存储器等，其中，内存储器可以是终端设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是终端设备的硬盘，在另一些实施例中也可以是终端设备的外部存储设备，例如，终端设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序（BootLoader）、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

[0077] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器（Read‑Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

[0078] 本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述方法实施例中的步骤。

[0079] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

[0080] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

[0081] 在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

[0082] 作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0083] 以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。