技术领域
[0001] 本发明涉及时间序列预测模型适用性量化评价指标体系。属于时间序列预测模型预测领域。
相关背景技术
[0002] 对于时间序列预测而言，预测结果的评价十分重要，是预测模型针对当前时间序列的适用性的一种量化描述方式。然而，现有的时间序列预测研究中，大多采用单一或少量的几个指标对预测模型输出的预测结果进行评价，评价角度较为单一，无法实现对预测模型性能的全面、综合的评价和描述。因此，需要构建一个时间序列预测模型适用性量化评价指标体系，涵盖不同的模型适用性评价角度、每个角度下涵盖若干不同指标，构建一个较为完备的指标体系，为全面的模型适用性评价奠定基础。该研究暂时处于空白状态，因此本发明创造主要为填补本空白而提出。
具体实施方式
[0009] 具体实施方式一：结合图1说明本实施方式，本实施方式所述的基于时间序列预测模型适用性量化的预测模型选择方法，所述方法是基于m个预测模型实现的，它包括以下步骤：
[0010] 步骤一：根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的误差和预测效率，其中，误差包括整体误差、局部误差、无量纲准则误差和多次试验性能误差，预测效率为对预测模型输入时间序列到预测模型输出结果所用的时间，所用的时间越短，则预测模型效率越高；
[0011] 步骤二：根据预测需求，在m个预测模型中，结合步骤一获得各预测模型的误差和预测效率，选取满足预测需求的最优预测模型，若满足预测需求的预测模型为一个预测模型，则该预测模型为最优预测模型，若满足预测需求的预测模型为多个预测模型，则将多个预测模型两两进行预测能力差异性检验，获得一个最优的预测模型。
[0012] 具体实施方式二：本实施方式是对具体实施方式一所述的基于时间序列预测模型适用性量化的预测模型选择方法作进一步说明，本实施方式中，步骤二中，将多个预测模型两两进行预测能力差异性检验的过程：
[0013] 采用差异性检验Diebold-Mariano对两个预测模型进行预测能力差异性检验，输出两个结果，分别为Diebold-Mariano统计量和假设机率p-value，
[0014] 设两个预测模型分别为第一预测模型和第二预测模型，当Diebold-Mariano统计量为负，则第一预测模型的预测能力比第二预测模型的预测能力强；当Diebold-Mariano统计量为为正，则第二预测模型的预测能力比第一预测模型的预测能力强；
[0015] 假设机率p-value小于0.05，则两个预测模型间差异明显，
[0016] 假设机率p-value小于0.01，则两个预测模型间差异非常明显。
[0017] 本实施方式中，通过整体误差和局部误差的计算结果，来评价预测模型的准确度，通过多次试验性能误差的计算结果，来评价预测模型的精确率，通过预测模型输出结果所用的时间，来评价预测模型的计算效率，通过无量纲准则误差的计算结果，来评价预测模型的准确度和建模的复杂度，通过预测模型预测能力的检验结果，来评价预测模型间的预测能力。
[0018] 具体实施方式三：本实施方式是对具体实施方式一所述的基于时间序列预测模型适用性量化的预测模型选择方法作进一步说明，本实施方式中，整体误差包括含符号绝对误差、无符号绝对误差、含符号相对误差和无符号相对误差，
[0019] 含符号绝对误差由平均误差ME组成，
[0020] 平均误差ME，用于预测预测模型的输出结果相对于真实值偏大或偏小的平均程度，
[0021] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的平均误差ME的过程为：
[0022] 根据公式：
[0023] (公式1)
[0024] 获得平均误差ME，
[0025] 式中，k表示预测时间序列的序号索引，取值范围从1到P，表示第1个到第P个预测点的序号，
[0026] 某个预测模型的平均误差ME的绝对值相对其他预测模型的平均误差ME的绝对值大，表示该预测模型残余的误差相对其他预测模型残余的误差多，即该预测模型的预测结果大于或者小于真实值；
[0027] 某个预测模型的平均误差ME的绝对值相对其他预测模型的平均误差ME的绝对值小，则该预测模型的预测结果大于真实值和小于真实值的几率相同，即没有系统性预测偏差；
[0028] 平均误差ME越接近0，即相应预测模型均衡性越好；
[0029] 无符号绝对误差包括均方误差MSE、均方根误差RMSE、对数均方误差MSEL和平均绝对误差MAE，
[0030] 均方误差MSE、均方根误差RMSE、对数均方误差MSEL和平均绝对误差MAE，均用于预测预测模型的输出结果与真实值之间的偏差距离的平均数值，
[0031] MSE用于预测预测模型的输出结果与真实值之间的偏差距离平方的平均数值，RMSE和MSE均用于预测预测模型的输出结果与真实值之间的偏差距离的平均数值，MSEL用于预测预测模型的输出结果与真实值对数尺度下偏差距离的平均数值；
[0032] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的均方误差MSE的过程为：
[0033] 根据公式：
[0034] (公式2)
[0035] 获得均方误差MSE；
[0036] 某个预测模型的均方误差MSE的计算结果相对其他预测模型的计算结果大，则该预测模型的预测结果与真实值的偏差大，即整体的偏差程度大，
[0037] 某个预测模型的均方误差MSE的计算结果相对其他预测模型的计算结果小，则该预测模型的预测结果与真实值的偏差小，即预测结果接近真实值，
[0038] 均方误差MSE的计算结果取值为0，表明预测模型能够给出完全准确的预测结果；
[0039] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的均方根误差RMSE的过程为：
[0040] 根据公式：
[0041] (公式3)
[0042] 获得均方根误差RMSE；
[0043] 某个预测模型的均方根误差RMSE的计算结果相对其他预测模型的计算结果大，则该预测模型的预测结果与真实值的偏差大，即整体的偏差程度大，
[0044] 某个预测模型的均方根误差RMSE的计算结果相对其他预测模型的计算结果小，则该预测模型的预测结果与真实值的偏差小，即预测结果接近真实值，
[0045] 均方根误差RMSE的计算结果取值为0，表明预测模型能够给出完全准确的预测结果；
[0046] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的对数均方误差MSEL的过程为：
[0047] 根据公式：
[0048] (公式4)
[0049] 获得对数均方误差MSEL；
[0050] 某个预测模型的对数均方误差MSEL的计算结果相对其他预测模型的计算结果大，则该预测模型的预测结果与真实值的偏差大，即整体的偏差程度大，[0051] 某个预测模型的对数均方误差MSEL的计算结果相对其他预测模型的计算结果小，则该预测模型的预测结果与真实值的偏差小，即预测结果接近真实值，[0052] 对数均方误差MSEL的计算结果取值为0，表明预测模型能够给出完全准确的预测结果；
[0053] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各相应预测模型的平均绝对误差MAE的过程为：
[0054] 根据公式：
[0055] (公式5)
[0056] 获得平均绝对误差MAE；
[0057] 某个预测模型的平均绝对误差MAE的计算结果相对其他预测模型的计算结果大，则该预测模型的预测结果与真实值的偏差大，即整体的偏差程度大，
[0058] 某个预测模型的平均绝对误差MAE的计算结果相对其他预测模型的计算结果小，则该预测模型的预测结果与真实值的偏差小，即预测结果接近真实值，
[0059] 平均绝对误差MAE的计算结果取值为0，表明预测模型能够给出完全准确的预测结果；
[0060] 含符号相对误差包括平均百分比误差MPE和相对容量误差RVE，
[0061] 相对容量误差RVE和平均百分比误差MPE，均用于计算每个预测点相对误差的总体平均水平，
[0062] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的平均百分比误差MPE的过程为：
[0063] 根据公式：
[0064] (公式6)
[0065] 获得平均百分比误差MPE；
[0066] 某个预测模型的平均百分比误差MPE的绝对值相对其他预测模型的平均百分比误差MPE的绝对值大，则该预测模型的预测结果大于真实值或者小于真实值；
[0067] 平均百分比误差MPE取值的绝对值接近0，则正负误差出现的几率和大小相同，系统偏差小；
[0068] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的相对容量误差RVE的过程为：
[0069] 根据公式：
[0070] (公式7)
[0071] 获得相对容量误差RVE；
[0072] 某个预测模型相对其他预测模型的相对容量误差RVE的绝对值大，则预测模型存在系统偏差大，则该预测模型预测结果大于真实值或者小于真实值；
[0073] 相对容量误差RVE取值的绝对值接近0的，则预测结果与真实值之间出现正负误差的几率和大小相同，系统偏差小；
[0074] 无符号相对误差包括均方相对误差MSRE、平均绝对百分比误差MAPE、平均绝对尺度误差MASE和归一化均方根误差NRMSE，
[0075] 均方相对误差MSRE，用于计算预测模型总体的平均相对预测偏差，[0076] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的均方相对误差MSRE的过程为：
[0077] 根据公式：
[0078] (公式8)
[0079] 获得均方相对误差MSRE；
[0080] 平均绝对百分比误差MAPE，计算每个预测点绝对误差相对于数据点的大小，再计算所有计算结果的平均值，用来预测预测结果相对于真实值的相对偏差的平均水平，[0081] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的平均绝对百分比误差MAPE的过程为：
[0082] 根据公式：
[0083] (公式9)
[0084] 获得平均绝对百分比误差MAPE；
[0085] 平均绝对尺度误差MASE，用于计算预测偏差相对于数据自身增幅的大小，[0086] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的平均绝对尺度误差MASE的过程为：
[0087] 根据公式：
[0088] (公式10)
[0089] 获得平均绝对尺度误差MASE；
[0090] 平均绝对尺度误差MASE超出数据自身的平均增长速度，则预测结果的偏差过大；
[0091] 归一化均方根误差NRMSE，是归一化后的RMSE指标，用来预测预测模型输出结果相对于输入时间序列的平均偏差水平，
[0092] 归一化均方根误差NRMSE的取值范围为0至正无穷，
[0093] 归一化均方根误差NRMSE为0，表示预测模型性能好，
[0094] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的归一化均方根误差NRMSE的过程为：
[0095] 根据公式：
[0096] (公式11)
[0097] 获得归一化均方根误差NRMSE。
[0098] 本实施方式中，ME指标评估所有预测点预测偏差的平均水平，由于含有正负符号，因此得到的是经过正负抵消后的结果，能够描述预测模型输出结果相对于真实数值偏大或偏小的平均程度。恰恰由于计算过程中存在正负符号相互抵消的情况，因此，即使ME取值较小也并不一定意味着模型的预测性能良好，需要借助其他类别的指标综合判断模型性能。
[0099] MSRE与MPE相似，刻画的是预测模型总体的平均相对预测误差，较大的相对误差将出现在相对本身取值较小的数据位置，而这里由于MSRE对误差进行了平方处理，在去掉符号影响的同时也增加了指标对于误差的敏感程度。MAPE是MPE的相对化指标，通过计算每个预测点绝对误差相对于数据点的大小，再计算所有计算结果的平均值，来刻画预测结果相对于真实数据的相对偏差的平均水平。由于MAPE的计算过程中没有对偏差进行平方处理，因此，其对于取值较大、相对误差较小的预测点的偏差的敏感程度要更低，但是MAPE与原始数据是同量纲的。NRMSE是归一化的RMSE结果，适合平稳数据的预测评价，评价误差的均方根与每个点和总体数据期望的均方根之比，消除了数据之间的差异性。但是，由于需要计算每个点与总体数据期望的均方根，就要求数据本身不存在趋势性，即要求数据平稳，避免趋势特性引入的较大偏差。
[0100] 具体实施方式四：本实施方式是对具体实施方式一所述的基于时间序列预测模型适用性量化的预测模型选择方法作进一步说明，本实施方式中，局部误差包括最大绝对误差AME、最大峰值误差PDIFF、相对最大峰值误差PEP和误差符号变化次数NSC，[0101] 误差符号变化次数NSC主要记录误差序列符号发生变化的次数，用来预测预测结果中是否存在系统误差，预测结果是否大于真实值或者小于真实值，
[0102] 误差符号每变化一次则NSC计数增加1，NSC取值为0则说明符号没有发生变化，表示预测模型大于真实值或者小于真实值，
[0103] 预测误差符号是一致的，整体预测结果在实际数据结果的上方或下方，存在系统偏差，
[0104] 误差符号变化次数NSC取值等于真实值，则表示误差符号在不断变化，预测结果中不存在恒定的系统偏差，
[0105] 最大绝对误差AME，用于计算最大预测偏差，最大绝对误差AME取值为0，模型最优，
[0106] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的最大绝对误差AME的过程为：
[0107] 根据公式：
[0108] (公式12)
[0109] 获得最大绝对误差AME；
[0110] 最大峰值误差PDIFF，用于判断在预测结果中是否存在系统偏差使得预测结果大于真实值或小于真实值，
[0111] 最大峰值误差PDIFF取值为正，则表明预测模型的预测结果小于真实值，[0112] 最大峰值误差PDIFF取值为负，则表明预测模型的预测结果大于真实值，[0113] 步骤一中，根据预测模型的预测步长、输入时间序列和预测模型输出结果，获得各预测模型的最大峰值误差PDIFF的过程为：
[0114] 根据公式：
[0115] (公式13)
[0116] 获得最大峰值误差PDIFF；
[0117] 相对最大峰值误差PEP，用于预测当前的峰值状态的误差，
[0118] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的相对最大峰值误差PEP的过程为：
[0119] 根据公式：
[0120] (公式14)
[0121] 获得相对最大峰值误差PEP。
[0122] 本实施方式中，ME指标评估所有预测点预测偏差的平均水平，由于含有正负符号，因此得到的是经过正负抵消后的结果，能够描述预测模型输出结果相对于真实数值偏大或偏小的平均程度。恰恰由于计算过程中存在正负符号相互抵消的情况，因此，即使ME取值较小也并不一定意味着模型的预测性能良好，需要借助其他类别的指标综合判断模型性能。
[0123] 无符号绝对误差指标，主要刻画预测结果与真实数据之间的整体匹配水平即预测结果与真是数值之间总体偏差的平均水平，预测误差协方差较大的点在指标计算中占有更大的权重，这就导致其取值主要由预测偏差最大的点所决定，而对于取值较小的误差点不再敏感。
[0124] 具体实施方式五：本实施方式是对具体实施方式一所述的基于时间序列预测模型适用性量化的预测模型选择方法作进一步说明，本实施方式中，无量纲准则误差包括最小信息准则AIC、贝叶斯信息准则BIC、确定系数、有效系数CE、匹配指数IoAd和持久系数PI，[0125] 最小信息准则AIC和贝叶斯信息准则BIC，均用于在含有N个数据点的时间序列集中，获得含有最少自由参数且能够对数据进行解释的最小模型，即最低阶次模型，N为正整数，
[0126] 某个预测模型相对其他预测模型的最小信息准则AIC和贝叶斯信息准则BIC的取值越小，表示模型越优，
[0127] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的最小信息准则AIC的过程为：
[0128] 根据公式：
[0129] AIC＝2·p+N·ln(RMSE)， (公式15)
[0130] 获得最小信息准则AIC；
[0131] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的贝叶斯信息准则BIC的过程为：
[0132] 根据公式：
[0133] BIC＝p·ln(N)+N·ln(RMSE)， (公式16)
[0134] 获得贝叶斯信息准则BIC；
[0135] 最小信息准则AIC和贝叶斯信息准则BIC的取值越小代表模型越优；
[0136] 确定系数RSqr，用于预测预测模型的数据统计特性的比例大小，取值区间为0到1，取值越大于0越优，最优模型取值为1，
[0137] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的确定系数的过程为：
[0138] 根据公式：
[0139] (公式17)
[0140] 获得确定系数RSqr；
[0141] 有效系数CE，用于预测预测模型整体的预测效果，通常CE取值在0到1之间，偶尔会出现负值情况，有效系数CE的取值为1，表示预测模型最优，
[0142] 有效系数CE的取值为0，表明预测模型的性能不优于均值模型，均值模型为以数据均值作为后续每个点的预测结果，
[0143] 有效系数CE的取值为负值，表明预测模型的性能劣于均值模型；
[0144] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的有效系数CE的过程为：
[0145] 根据公式：
[0146] (公式18)
[0147] 获得有效系数CE；
[0148] 匹配指数IoAd，用来量化预测模型输出结果与输入时间序列之间的匹配程度，IoAd取值范围在0到1之间，越接近1则表明模型性能越好，
[0149] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的匹配指数IoAd的过程为：
[0150] 根据公式：
[0151] (公式19)
[0152] 获得匹配指数IoAd；
[0153] 持久系数PI，用于预测预测模型对于整体的预测效果，取值范围是0到1，或者出现负值的情况，
[0154] 持久系数PI的取值为1，表示预测模型最优，
[0155] 持久系数PI的取值为0，表明预测模型的性能不优于均值模型，均值模型为以数据均值作为后续每个点的预测结果，
[0156] 持久系数PI的取值为负值，表明预测模型的性能劣于均值模型；
[0157] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的持久系数PI的过程为：
[0158] 根据公式：
[0159] (公式20)
[0160] 获得持久系数PI。
[0161] 本实施方式中，确定系数、CE、IoAd和PI主要刻画预测模型对于数据的解释能力。确定系数即为皮尔森积矩相关系数的平方值，为真实数据以及预测数据各自的离散程度的比值。确定系数刻画了预测模型所能够解释的数据统计特性的比例大小，取值区间为0到
1，对于最优模型取值为1。确定系数建立在线性系统假设之上，并由数据集的均值和方差对指标进行归一化处理。确定系数对于预测值和真实值之间固定的加性误差及比例误差并不敏感，因此可能造成性能并不是最优的模型也获得较高的分数。此外，确定系数对于离群点会异常敏感，可能使得即便整体预测效果很好、部分离群点造成指标计算结果较小，模型评价为劣。
[0162] 与CE相同，IoAd对于预测值和真实值之间均值和方差的差异十分敏感，对于峰值误差更为敏感而往往会忽略较小的误差值。PI与CE十分相近，取值范围是0到1，同样可能出现负值的情况，PI不同取值的情况与CE对应相同，最优模型对应1，而PI为0时表明模型与均值模型性能相近，如果出现负值则表明模型极端不匹配。
[0163] 具体实施方式六：本实施方式是对具体实施方式一所述的基于时间序列预测模型适用性量化的预测模型选择方法作进一步说明，本实施方式中，多次实验性能误差包括M次重复实验的平均误差水平特性Timeliness、离散特性Precision、参量重复特性Repeatability和模型准确性Accuracy，
[0164] M次重复实验的平均误差水平特性Timeliness，用于预测M次重复预测实验预测模型的输出结果相对于输入时间序列偏大或偏小的平均程度，
[0165] 离散特性Precision，用于预测M次重复预测实验预测模型的输出结果离散度的平均水平，即对预测结果是否存在较大波动性的预测，
[0166] 重复特性Repeatability，用于预测预测模型输出结果是否可重复的，用于预测预测模型的鲁棒性，
[0167] M次重复实验的平均误差水平特性Timeliness为0，表示M次重复预测实验中平均误差水平为0，
[0168] 离散特性Precision为0，表示预测误差离散程度小，
[0169] 重复特性Repeatability为0，表示重复性高，
[0170] 模型准确性Accuracy，用于综合预测M次重复实验中预测模型的预测性能，即包含了对预测模型多次重复实验下输出结果的平均偏大或偏小的程度的预测、每次实验预测误差序列离散度平均水平的预测和预测结果可重复性三个方面的综合预测，[0171] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的M次重复实验的平均误差的平均水平时间特性Timeliness的过程为：
[0172] 定义第i次实验的平均误差为：
[0173] (公式21)
[0174] 其中， 是第i次实验第k个点的预测值，
[0175] 然后，定义第i次实验的标准差参量：
[0176] (公式22)
[0177] 结合(公式21)和(公式22)，根据公式：
[0178] (公式23)
[0179] 获得M次重复实验的平均误差水平特性Timeliness；
[0180] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的精确特性Precision的过程为：
[0181] 根据公式：
[0182] (公式24)
[0183] 获得离散特性Precision；
[0184] 步骤一中，根据每个预测模型的预测步长P、真实值xk和预测模型输出结果 获得各预测模型的参量重复特性Repeatability的过程为：
[0185] 根据公式：
[0186] (公式25)
[0187] 获得参量重复特性Repeatability；
[0188] 其中，σ(std)和σ(E)分别为std和E的标准差，
[0189] 结合公式23、公式24和公式25，根据公式：
[0190] (公式26)
[0191] 获得模型准确性Accuracy。
[0192] 本实施方式中，参量重复特性Repeatability指标反映出多次预测实验误差的离散程度以及每次预测结果离散程度的离散程度，通过标准差的形式给出考虑了每次实验误差和离散度两个因素在内的重复性指标。
[0193] 模型准确性Accuracy是综合了多次预测实验的平均误差水平、离散度水平和可重复性水平在内给出的指标，其取值越大代表模型预测准确度和可重复性越高，离散程度越低，模型性能越好，模型准确性Accuracy取值没有上界。
