本发明涉及一种具有复杂情感表现力的语音识别模型设计方法，属于人工智能技术领域。利用表情符号表示语音体现的情感，将语音转化为对应的文字和一个符合其情感的表情符号。首先构建一个基于表情符号的具有复杂情感表现力的语音识别数据集；在此基础上，将语音的文字和情感识别作为一个整体，构建一个同时生成语音文字及其情感序列的模型，该模型以Conformer模块作为骨干模块，增加了特征提取模块和语音文本融合模块，并将表情符号的生成扩散到全部词汇的生成过程中，最后利用标签平滑正则化强化训练效果，具有参数量少、能表示语音复杂情感、准确率比现有语音识别和情感识别模型分别高了1%和3%左右等优点。