[0001] 本发明涉及网络安全技术领域，具体涉及一种深度对数神经网络。

[0002] 随着互联网技术的飞速的发展，在给人们带来了极大的便利的同时网络攻击变得越来越频繁，网络安全已成为人们必须面对的挑战，入侵检测作为抵抗网络恶意攻击的重要手段，承担着保护互联网安全的重要责任，与图片数据、语音文本数据、社交网络图结构数据不同，网络入侵数据间不存在固定的、稳定的、通用的先验知识，且随互联网技术的发展而不断变化，此外，受攻击者技术水平、攻击手法、主观意志等因素影响，获取入侵样本特征数据间的潜在联系极为困难，导致CNN、RNN、LSTM、GNN等主流神经网络在面对入侵检测时效果不佳，针对网络入侵数据特点设计对数神经元(Logarithm Neuron，LOGN)， LOGN具有强大的特征提取能力，无需数据预处理就能够实现对网络入侵数据的高效特征提取，由于消除了归一化、标准化等操作，可确保神经网络中的输入数据保留数据样本的原始特征，提升神经网络的精度；在此基础上，利用 LOGN设计了对数神经网络层(LOGL)，并使用LOGL与深度神经网络组合构建了对数神经网络(LOGNN)，为防止LOGNN出现梯度消失问题，提出了反梯度消失禁忌域损失函数(AGLF)，因此，设计出一种深度对数神经网络，对于目前网络安全技术领域来说是迫切需要的。

[0051] 以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0052] 本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

[0053] 本发明提供一种技术方案：

[0054] 一种深度对数神经网络，包括对数神经元LOGN和对数网络层LOGL，所述对数神经元LOGN的运算法则为：

[0055]

[0056] 式(1)中，xi为样本中第i个特征数据，xil为xi经由LOGN处理后的特征值，mi为对数神经元的底数，mi在神经网络训练过程中通过梯度下降算法进行优化，将式(1)视为对数函l数，其中xi为函数的自变量，xi为函数的因变量，对xi进行求导有：

[0057]

[0058] 导数的极限定义为：

[0059]

[0060] 结合式(2)与式(3)可得：

[0061]

[0062] 具体分析对数神经元对特征数据的处理能力如下：

[0063] 1)单神经元对单一特征数据的处理：

[0064] 由式(4)可知，在mi固定的情况下，随着xi值的增大， 将不断减小，导致xil增量相同时，xi将不断减小，由“指数爆炸”性质可知，作为指数函数反函数的对数函数，式l
(4)中的xi随着样本特征xi值的增大快速下降，且mi值越大效果越明显；

[0065] 2)多神经元对多个特征数据的处理：

[0066] 多神经元对多个特征数据的处理分为不同mi均大于1或均小于1，以及不属于以上情形的情形；

[0067] 不同mi均大于1或均小于1时，又存在以下两种情形：

[0068] A、 求解该不等式可得：

[0069]

[0070] 此时，可将式(4)改写为：

[0071]

[0072] 分析不等式(6)可知，经由LOGN运算后xi绝增量的对值将小于xil增量的绝对值，即lxi的増减幅度超过xi，当mi接近于1时，増减幅度将趋于无穷大；

[0073] D、 求解该不等式得：

[0074]

[0075] 此时，式(4)可改写为：

[0076]

[0077] 由不等式(8)可知，此时xi增量的绝对值将大于xil增量的绝对值，此时对数神经元会将原本绝对值极大的xi压缩为绝对值相对较小的数，且随着mi值的增大，压缩幅度将急剧增大，通过分析可知，LOGN在不同的底数mi作用下，可将数值不同的原始特征数据根据需要进行压缩或放大，具有改变不同特征数据值间相对大小的能力，部分mi大于1部分mi小于1时，此时LOGN不仅能够对输入至神经网络中的原始特征数据的绝对值进行压缩与放大，还可类似普通神经元改变特征数据的正负特性，为了便于优化底数mi，将式(1)改写为：

[0078]

[0079] 将lnmi视为一个数，令lnmi＝wi，可将式(9)改写为：

[0080]

[0081] wiL为处理第i个特征的LOGN权重，wiL在神经网络训练过程中利用梯度下降算法进行优化；

[0082] 输入层到所述对数网络层LOGL的信息前向传播过程可表示为：

[0083]

[0084] X为输入至神经网络中的样本，样本X的特征数据为[x1,x2,...,xi,...,xn]，X 经L L l l l l过LOGL层变换后为X ，X表示为[x1 ,x2 ,...,xi ,...,xn]，即将X中的各特征值通过式(11)L L L L L L
运算，W为LOGL内权重的向量表示，W＝[w1 ,w2 ,...,wi ,...,wn]，再考虑由LOGL层至第一层DNN中信息的前向传播过程：

[0085]

[0086] 其中XL为LOGL的输出，X1D为第一层DNN的输出，W1D为第一层DNN 的权重，B1D为第一层DNN的偏置，f1(*)为第一层DNN的激活函数，DNN中信息的前向传播过程如下：

[0087]

[0088] 其中Xi‑1D为第i‑1层DNN的输出，同时也是第i层DNN的输入，XiD为第i层DNN的输出，D DWi为第i层DNN的权重，Bi为第i层DNN的偏置， fi(*)为第i层DNN的激活函数。

[0089] 本发明中：所述对数网络层LOGL的信息反向传播过程可表示为：

[0090]

[0091]

[0092] 式(14)、(15)分别为LOGNN第i层DNN的权重(WiD)、偏置(BiD) 的梯度信息反向传播过程，由式(14)与(15)可知，在LOGNN中DNN部分梯度信息反向传播过程与普通DNN梯度信息反向传播过程一致，下面分析 LOGN中log权重梯度信息的反向传播过程，由式(11)、(12)、L(13)可知 W的梯度信息为：

[0093]

[0094] 由式(14)、(15)、(16)所示的梯度信息结合梯度下降算法可对神经网络中的各参数进行优化，LOGL对具有特征数据的压缩强度取决于底数mi，mi值越大，LOGL对特征数据的L压缩效果越明显，实际操作中，式(10)中wi越大，LOGL对特征数据的压缩效果会越好，神经L L
网络训练过程中wi值具有不确定性，wi值较小会导致LOGL对具有极大值的特征数据的压L
缩强度不足，使得 LOGL层输出的X过大，不利于神经网络梯度信息的传播。

[0095] 虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。