[0002] 本发明涉及神经系统，并且更为具体地涉及时空联合存储器(spatiotemporal associative memory)。

[0003] 生物系统对通过它们的感触输入提供的信息施加顺序。该信息通常以时空模式(spatiotemporal pattern)的形式出现，该时空模式包括具有区别性的空间和时间结构的本地化的事件。这些事件在宽广的各种空间和时间尺度上出现，并且诸如大脑之类的生物系统仍能够集成它们，并提取相关的各条信息。这样的生物系统能够快速地从嘈杂的时空输入提取信号。

[0004] 在生物系统中，神经元的轴突和另一神经元上的树突之间的接触点被称为突触(synapse)，并且相对于突触，这两个神经元分别被称为前突触(pre-synaptic)和后突触(post-synaptic)。我们个体经历的精髓被存储在突触的电导中。突触电导可以每尖峰定时依赖可塑性(STDP)地作为前突触和后突触神经元的相对尖峰次数的函数而随时间改变。如果在其前突触神经元激励(fire)之后其后突触神经元激励，STDP规则增加突触的电导，而如果两个激励的顺序颠倒，则降低突触的电导。

[0005] 神经形态系统(也被称为人工神经网络)是这样的计算系统，其允许电子系统在实质上以与生物脑的方式类似的方式工作。神经形态系统创建大致在功能上等同于生物脑的神经元的处理元件之间的连接。神经形态系统可以包括在生物神经元上建模的各种电子电路。

[0019] 本发明的实施例提供了这样的神经系统，其包括用于被配置为存储或获取时空模式的联合存储器的标准尖峰电路。

[0020] 在本文中使用的术语“电子神经元”表示被配置为仿真生物神经元的架构。电子神经元在功能上大致等同于生物脑的处理元件之间创建连接。这样，包括根据本发明实施例的电子神经元的神经系统可以包括在生物神经元上建模的各种电子电路。此外，包括根据本发明实施例的电子神经元的神经系统可以包括在生物神经元上建模的各种处理元件(包括计算机仿真)。尽管在下文中使用包括电子电路的电子神经元描述了本发明的特定示例性实施例，但本发明并不限于电子电路。根据本发明实施例的神经系统可以被实现为包括模拟电路或数字电路的神经形态架构，并且还被实现为计算机仿真。实际上，本发明的实施例可以采取完全硬件的实施例、完全软件的实施例或包含硬件和软件元件的实施例的形式。

[0021] 根据本发明的标准尖峰神经系统的示例架构包括分层的神经元、以及它们的突触连接和在它们之间的学习规则。可以以不同的方式实现这样的系统，例如在传统计算机系统上通过仿真实现，或通过各种不同的硬件方案实现，其中之一包括提供尖峰定时依赖可塑性的突触交错式阵列(如以下的示例所进一步描述的)。

[0022] 本发明的一个实施例包括尖峰电子神经元微电路，其实现联合存储器类型的未监督模式识别系统。联合存储器表示数据存储设备，其中基于其信息内容而非明确的地址来识别存储的存储器。可以通过顺序地或并行地访问存储器内容(与明确的地址相对)从联合存储器获取数据，其中将参考与存储器的信息内容进行比较，直到找到期望的一组的一个或多个匹配为止。

[0023] 根据本发明的一个实施例，模式识别系统包括存储器微电路中的相互作用的尖峰电子神经元的组合，所述存储器微电路被配置为存储和联合地召回(recall)时空模式。学习规则提供(描述)了作为要被存储的模式的函数的电子神经元之间的突触互连的强度。例如，学习规则提供了作为要被存储的模式的函数的电子神经元之间的突触互连的电导的级别。

[0024] 根据本发明的一个实施例，未监督的模式识别系统在无需任何明确的外部指示机构的情况下执行模式识别任务。系统并不需要对模式的任何明确的描述。这样，只要模式良好地定义了时空结构和统计，模式的语义内容是不重要的。给定包含时空模式的输入数据流，系统学习检测模式的存在，并在无需提前提供与要被检测的图像相关的任何信息的情况下提取和存储模式。系统以这样的方式存储模式，即，使得当被呈现有存储的模式的片段和/或噪声的版本时，系统能够从存储器获取适当的匹配模式。

[0025] 除了时空模式之外，输入数据流可以在整体上包含噪声级别。模式识别系统以实时或在线方式执行模式识别，并无需用于处理到来的信息的单独阶段。在数据流被馈入系统中时，系统实时处理到来的信息。在本发明的一个实施例中，系统架构是模量的和可伸缩的，适合于在使用单个流线型的架构的同时解决多个空间和时间尺度上的组合特性的问题。

[0026] 参见图1，示出了根据本发明实施例的神经系统10的网络架构的图示。系统10包括激发的尖峰电子神经元的两个层E1和E2、以及抑制的尖峰电子神经元的层I2。E1层用作输入层，而E2层用作处理层。层I2实现了如在下文中相关于图3描述的赢家通吃(winner-take-all，WTA)机制。

[0027] 通常而言，激发的尖峰电子神经元使得其目标神经元更有可能激励，而抑制尖峰电子神经元使得其目标为有较小的可能激励。可以使用尖峰电子神经元的各种实现。通常而言，这样的神经元包括计数器，所述计数器在接收到来自源激发神经元的输入时增加，并且在接收到来自源抑制神经元的输入时减小。增加或减小的量取决于从源神经元到目标神经元的连接(例如通过可变电阻器建模的突触连接)的强度。如果计数器到达特定阈值，神经元随后生成其自身的尖峰(即激励)，并且计数器被重置到基线值。术语尖峰电子神经元在下文中被称作为“电子神经元”。

[0028] 电子神经元以如下方式互连。图2示出了神经系统10的更详细的图示，说明了层E1中的电子神经元12(即NE1)的群(population)连接到层E2中的电子神经元14(即NE2)，并且电子神经元14连接到电子神经元12。此外，层E2中的电子神经元14还连接到层I2中的电子神经元16(即NI2)的群，并且电子神经元16连接到电子神经元14。神经元连接模型是一般性的，并且可以根据期望的联合数据存储/获取功能而被定制。通常，针对多个神经元进行连接，并且E1和E2层包括多个神经元。

[0029] 包括时空模式和噪声输入的输入流被馈入到E1层，在此处触发E1层中的电子神经元12的尖峰活动。该尖峰活动向前传播到E2层的电子神经元14。这样，输入数据流中的时空模式的存在产生了层E1中的电子神经元12中的活动的对应时空尖峰图像。印记的时空尖峰图像的影响的范围内的E2层的任何电子神经元14将通过来自E1层的连接接收特定的激发信号电平。

[0030] 图3是示出了根据本发明的该实施例的图1和2中所示的神经系统10的操作的方法20的流程图。图3中的过程步骤并非单纯线性的，而是E1层电子神经元持续接收输入，并且E2和I2层电子神经元可以取决于它们的输入而在任何时间激励。参见图3，在步骤21中，通过输入流来激活一个或多个E1层电子神经元12。在步骤22中，这样的活动能够触发E2层电子神经元14。如果E2层中的神经元活动在短时间段(例如大约50ms)内跟随E1层内的神经元活动，则在步骤23，自动增强这样的电子神经元12和14之间的连接(即，增加神经元12和14之间的突触连接的电导)。

[0031] 一旦(由一个或多个E1层电子神经元12)已经触发了E2层电子神经元14，在步骤24，触发的E2层电子神经元14触发一个或多个I2层电子神经元16的活动。在步骤25中，这继而将强壮的抑制信号发送回E2层，从而在步骤26中，在短暂的时间间隔(例如大约10ms)内抑制进一步的E2层活动。

[0032] 当通过电子神经元14连接到的E1层电子神经元12的活动在短暂的时间间隔(例如大约50ms)内跟随新近触发的E2层电子神经元14的活动时，自动减弱电子神经元12和14之间的连接(即，减小神经元12和14之间的突触连接的电导)。

[0033] 然而，在电子神经元14所连接到的E1层电子神经元12之后短时内(例如在大约50ms内)，如果E2层电子神经元14激励(即触发或成尖峰)，则系统10增强电子神经元
12和14之间的连接。

[0034] 因此，一旦电子神经元12有可能涉及到触发第一位置中的电子神经元14，从给定的E2层电子神经元到给定的E1层电子神经元12的连接被增强。刚刚描述的构造的结果为，系统10发展出了这样的设施，其增强了有因果关系的事件之间的联合性，并抑制了无因果关系的事件。

[0035] 在本发明的一个实施例中，通过实现强度的规格化来促进系统10的整体稳定性和噪声鲁棒性。通过调整电子神经元连接之间的强度来实现强度规格化。系统10被配置为使得一旦增加了连接强度，则代价为系统内的其他连接的减弱。这使得电子神经元能够将它们的影响力集中在其最有效的地方，并确保由于噪声产生的效果及时变弱。通过调整由神经元接收的所有激发突触(连接)的强度使得它们保持在恒定值，来实现连接的规格化。因此，如果到神经元的一个连接的强度增加，则到该神经元的所有其他连接的强度应当成比例地减小，以保持到该神经元的恒定总输入强度。通过在下文中进一步描述的关系(6)来对此进行描述。

[0036] 图4示出了根据本发明另一实施例的神经系统30的图示。系统30包括激发电子神经元的两个层E1和E2。系统10还包括抑制电子神经元的两个层I1和I2。参见图5，在本发明的一个实施例中，系统30包括带有有向连接性(前馈和后馈)的分层的架构35，实现了通过用于选择事件之间的有因果关系的联合性的尖峰驱动学习规则和侧抑制，来实现赢家通吃(WTA)过程的相互作用。

[0037] 在一个示例中，WTA过程总体上对激发神经元和抑制神经元的神经网络进行建模。活动的激发神经元激发抑制的神经元。抑制神经元抑制激发的神经元。抑制神经元的活动增加，直到大部分激发的神经元被抑制为止。

[0038] 架构35包括激发的电子神经元的所述两个层E1和E2，抑制的电子神经元的所述两个层I1和I2，提供了带有STDP和突触可塑性(轴突/树突)的前馈(FF)路径和带有反-STDP和突触可塑性(轴突/树突)的后馈路径(FB)。具体而言，架构35提供了神经元之间的有向连接(前馈和后馈)，通过用于选择事件之间的有因果关系的联合性的尖峰驱动学习规则和侧抑制来实现WTA。E1层接收时空输入(例如，显现为带有空间变量的圆圈或方块的图像)，其中向E1层呈现的输入模式导致E2层上的压缩的表示。

[0039] 先前遇到模式的部分或损坏的版本导致完成版本的无错获取。后馈路径(FB)连接显现出反-STDP(anti-STDP)(即，aSTDP)。如果毁坏或不完整的输出在E1层出现，正确的E2层神经元应当激励。基于E2神经元激励，能够重新构造完整的E1输入。如果E1层神经元在E2层神经元之前激励，则突触被减弱以移除假的活动。如果E2层神经元在E1层神经元之前激励，通过增强来自先前看到的输入的连接，来增强突触用于模式完成。

[0040] 尖峰信号创建了跨突触连接(元件)的电压偏置，导致电流流入到下游神经元中，从而通过对应的突触连接的电导来加权电流的幅度。在一个示例中，使用权重的随机分布，使得每个E2神经元需要来自10％的E1神经元的输入，以便成尖峰。前馈(FF)连接显现STDP，其中导致E1层神经活动中的重要的时空关联性的输入使得特定的E2层神经元激励。I2层确保E2层中的活动被限制为非常小的数量。如果E1层神经元在E2层神经元之前激励，这导致增强突触来形成联合性。如果E2层神经元在E1层神经元之前激励，这导致突触减弱，以导致清除噪声。

[0041] 图6示出了神经系统30的更为详细的图示，说明了E1和E3层分别包括激发的电子神经元12和14(即NE1和NE2)的群。此外，I1和I2层分别包括抑制的神经元16和18(即NI1和NI2)的群(网格)。E1层电子神经元用作输入神经元，而E2层电子神经元支持更高级别的处理。在图7中更为详细地示出了不同层中的神经元之间的连接11。从源层S中的每个神经元(An)向与源层中的源An的位置在地形上对应的目标层T中的点、目标神经元Bn进行层之间的连接。源神经元An连接到目标神经元Bn中的特定半径(从0到∞)内的目标层中的所有神经元。

[0042] 图8示 出了 在S.Song，K.D.Miller，and L.F.Abbott的 文 章“Competitive Hebbian learning through spike-timing-dependentsynaptic plasticity，”Nature Neuroscience，vol.3，Sep.2000，pp.919-926”中描述的系统30中采用的尖峰定时依赖可塑性学习规则。水平轴(x-轴)表示后突触神经尖峰的时间减去前突触神经元尖峰的时间。垂直轴(y-轴)表示根据具有不同定时的前-后对得到的突触权重ΔW中的变化。根据如下公式获得曲线13：

[0043]

[0044]

[0045] 其中，A+和A-可以为正数或负数，并确定给定定时差期间的权重变化的大小，并且τ是时间恒量(如下所进一步描述)。

[0046] 电子神经元以如下方式互连。每个电子神经元与其他电子神经元进行固定数量M的出发连接。每个E1层电子神经元连接到I1层和E2层电子神经元。每个I1层电子神经元排他地连接到E1层电子神经元。类似地，每个E2层电子神经元连接到I2层和E1层电子神经元。每个I2层电子神经元排他地连接到E2层电子神经元。连接任何一对神经元的每个路径也被分配有电导延迟。可以随机地(例如，根据分布抽取)或以取决于期望的应用的预定的地形方式来分配连接和延迟。不允许群连接回其自身。

[0047] 总体而言，系统构造无关于使用的尖峰生成机制的细节。为了完整性，可以使用Izhikevich/Brette-Gerstner模型的变化，在所述模型中，通过如下的公式(1)来以其去偏极(depolarization)变量v确定每个尖峰神经元的动态：

[0048]

[0049] 变量μ表示神经元的适应/恢复变量，而b和τμ是恒定参数。F通常是凸函数，选择所述凸函数来确保当面临给定时间间隔内的足够大的输入I时快速“放大的(blow-up)”的公式(1)中的解V(t)的存在。这些“爆炸性”的事件随后被解释为尖峰。一旦已经登记了尖峰，变量V被重置为重置状态，同时适当地调整适应性变量以构成恢复阶段的初始化。在操作上，通过引入阈值Vthr来捕获尖峰，从而如果V(t)＞Vthr，则使得神经元在时间t已经激励。通过如下关系式(2)来以二进制值活动变量ξ(t)的形式表示每个尖峰：

[0050]

[0051] 通过公式(1)来控制该构造中的所有神经元，因此所述所有神经元如果面临相同的输入，则具有相同的行为。因此，动态行为中的任何变量仅根据输入I(t)中的变量上升。通过这样的输入条件，群E1、E2、I1和I2相互交互。为了描述的清晰起见，按照它们的输入来区分神经元的群，并且使用来自序列{j，k，...}的指数来标记E1和I 1神经元。使用来自序列{α，β，...}的指数来标记E2和I2矩阵。对E1神经元的输入从三个源发起。如上所述，除了(通过传感路径)接收外部刺激之外，E1神经元还从I1和E2神经元两者接收输入。这些源集中地向公式(1)贡献如下的关系式(3)的形式的输入条件I(t)：

[0052]

[0053] 其中， 是指外部刺激，Wjα和Wjk分别是表示 和 突触的强度的非负量，而Δjα表示源α和目标神经元j之间的(轴突)电导延迟。

[0054] 到E2神经元的输入采用了与关系式(3)相同的形式，其中明显的变化在于，在关系式(3)的右手侧处，将E2指数替换E1指数，并将I1指数替换I2指数。由于E2神经元ext不接收外部刺激，因此设置I ＝0。对I1和I2神经元的输入也采用关系式(3)的形式，ext
区别在于除了设置I ＝0之外，还省略抑制输入，这是因为如上所述，I1和I2神经元仅与激发神经元进行交互。

[0055] 和 突触的强度是时间相关的(即服从可塑性)，而所有其他的突触权重在时间上保持固定。这样的构造施加了两种形式的可塑性机制：来自的权重演化常规的STDP规则，而来自 的权重演化反-STDP。在规则的
常规形式中，在(这里通过pre和post标记的)给定一对神经元之间的突触的强度中，每个登记的一对前和后突触尖峰事件在tpre和tpost导致变化ΔWpre，post。这种变化采用如下关系式(4)的形式：

[0056]

[0057] 其中，A+、A-和τ是正常量。根据本发明的构造中采用的反-STDP规则采用如下关系式(5)的形式：

[0058]

[0059] 其中B+、B-和τ是正常量。

[0060] 使用权重的“规格化”的版本来实现动态的竞争的方面。令t+表示在仿真的过程中紧跟随任何基本的更新时间t的时间。通过下述来约束与任何给定神经元(假设为α)相关联的权重：

[0061]

[0062] 保证 针对所有的t和α保持恒定。利用命令(fiat)通过严格的规则来补充该约束，针对所有指数α、j和预定的恒量Wmax确保0≤Wαj≤Wmax。通过在输入中引入对比增强的过程来进一步促进竞争动态，这涉及利用如下的关系式(7)在关系式(3)中替换Ij(t)：

[0063]

[0064] 通过适当的指数交换来获取到E1、I1和I2的输入的类似表达式。

[0065] 下面概述输入的呈现的协议。该协议涉及将输入电子神经元阵列E1任意地划分为p簇(通过μ＝1，...，p索引)，其中每个簇包含大致相同数量的输入神经元。在该示例中，特定输入模式的呈现将其自身显示为固定时间间隔上的(主要被限制到特定的簇的)一系列的活动。限制无需严格，允许部分重叠，以及在神经元阵列上的任何位置处的零星的事件。这允许特定“时间输入模式”与特定输入簇的关联.

[0066] 在以下的一个示例性场景中，在长度T的整个间隔上每次一个地向E1呈现模式，并且每个呈现跟随有长度Ts的静默期。假定Δt作为时间的基本单位，令T，TS＞＞Δt1，设T÷＝T+Ts，并且令Ttrain＞＞T1Ts为“训练”阶段的持续时间。输入(刺激)的呈现的协议如下中的表1中所示。

[0067] 表1

[0068]

[0069]

[0070] 下面的表2说明了上述输入呈现协议的在线实现，其中例程Choose(n，E1μ)返回将被触发的n个E1神经元的列表。

[0071] 表2

[0072]

[0073] 在不影响根据本发明实施例的结果的情况下，不同级别复杂度的刺激(输入)协议的变化是可能的。示例性的变化包括引入刺激(输入)中的噪声的级别，以及允许重叠模式，针对μ≠v，例如E1μ的活动可以与E1v的活动部分重叠。

[0074] 根据上面概括的输入/刺激呈现协议，在训练阶段期间，在如下时间间隔中的第n个时间，模式E1μ的活动被呈现给神经系统(网络)：

[0075] T(n，μ)≡[(np+μ-1)T+，(np+μ)T+). (8)

[0076] 选择在每次步骤 处的活动的模式μ中的E1单元的特定子集，其中selectE1(t)表示这样的子集，并且firedE1(t)表示被观察到在时间t已经激励的E1神经元的集合，针对所有的t＜0采用 现在定义E1′(n，μ；
t)≡firedE1(t)\selectE1(t-Δt)，以及

[0077]

[0078] 因此，E1′(n，μ)包括E1神经元的集合，所述E1神经元能够仅通过回归性(后馈)活动而激励。这样，对于每个n和μ，关系式(9)提供如下度量：

[0079]

[0080]

[0081] 其中，||S||表示集合S的势(cardinality)，并且0≤R(n，μ)，P(n，μ)≤1，使得由于E1′(n，μ)是在E1中登记的输入(前馈)活动的往复图像，因此R(n，μ)测量“与实际输入一致的往复图像”的量，即针对往复图像和实际输入之间的高级别的一致性，R(n，μ)为大，否则R(n，μ)为小。因此R(n，μ)是“召回”的测量，使得在被呈现有时空模式的版本时，系统获取所存储的时空模式。类似地，P(n，μ)测量“精准度”，利用该“精准度”，实现实际和引起的活动之间的关联。

[0082] 所述测量的平均版本为：

[0083]

[0084]

[0085]

[0086] 表3说明了根据本发明的示例仿真，其中符号 表示具有结构的对象，其中指数E1、E2、I1和I2用作群E1、E2、I1和I2中的多指数标记数量。

[0087] 此外，ME1，E2是指矩阵M，其中E1为行指数，E2为列指数，给定任意两个矩阵M和Δ，通过进行如下设置来定义运算符＊：

[0088]

[0089] 其中利用缩放到适当单元中的基本事件步骤，使得：

[0090] 表3

[0091]

[0092]

[0093] 在本发明的一个实施例中，尽管随机并且可变，输入模式的时间跨度落入给定的上下限，例如在大约10ms和大约100ms之间。然而，假定噪声持续出现在输入模式中。在合理的长时间间隔上重复出现模式。在一个实施例中，空间尺度确定特定系列的时空事件是否构成模式。

[0094] 根据本发明一个实施例的神经方法和系统实现了皮层网络的特征，包括尖峰神经元、尖峰时间驱动的学习规则和神经元之间的返回的连接。系统仅需要每神经元单个的尖峰，以执行输入模式识别和后续的模式召回，跟随未监督的训练会话。系统可以用作更大系统的中间处理阶段，其中功能上重要的处理量可以在与通过神经生物学实验建议的时间约束类似的时间约束下出现。

[0095] 根据本发明的一个实施例，神经系统实现了这样的架构，所述架构被配置为容纳具有竞争动态性和未监督学习性的尖峰神经元。神经元系统实现了瞬态的神经元组合，所述神经元组合具有这样的活动，即只要已经执行了成功的获取并且一旦模式被解激活，活动就进行区分。这样的瞬态组合允许有效快速地连续激活并获取存储器。神经系统包括用于模式完成的专用神经电路，其具有对准需要注意和后续分析的事件的能力。神经系统易于被集成到模块化的框架中，其中每个模块具有在此公开的基本的两层电子神经元实现。

[0096] 作为示例，模块化框架构造包括以层级方式来堆栈基本的两层模块，其中层级中的每一级别代表不同程度抽象的特征。可以将额外的神经元层(例如，E2a、E2b等)添加到基本的两层系统，其中每个神经元层并行地响应于相同输入流中的不同模式特征。这可以通过使用每个神经元层片的不同的可接受的领域概况来实现。备选地，系统可以包括具有全部馈入到单个E2层中的不同的输入流的多个E1层。通过不同的置换和这些备选的组合，系统可以将先前学习的模式合并为复杂的复合体。

[0097] 本发明的实施例可以采用完全硬件实施例、完全软件实施例、或包含硬件和软件元素的实施例的形式。如上所述的根据本发明的标准尖峰神经元系统的示例架构包括层E1、E2、I1和I2层中的神经元以及在它们之间的连接和学习规则。可以以不同的方式来实现这样的系统，例如在传统计算机上通过仿真实现或者通过各种不同的硬件方案实现，所述不同的硬件方案之一包括提供尖峰定时依赖可塑性的超密集突触交错式阵列。

[0098] 在这里使用的术语“超密集交错式阵列”是指间距的范围为大约0.1nm到10μm的交错式阵列。图9示出了包括具有多个神经元15、17、19和21的交错式阵列100的示例性神经系统。在这里这些神经元也被称作为“电子神经元”。神经元15和17是轴突神经元，而神经元19和21是树突神经元。轴突神经元15和17被示出为具有分别与轴突26和28连接的输出22和24。树突神经元19和21被示出为具有分别与树突34和36连接的输入30和32。轴突神经元15和17也包含输入并沿着树突接收信号，然而出于简化说明的原因，并未示出这些输入和树突。因此，当沿着树突连接接收输入时，神经元15和17将用作树突神经元。同样，当沿着它们的轴突连接发送信号时，树突神经元19和21将用作轴突神经元。当神经元15、17、19和21中的任何一个激励时，它们将脉冲发送到它们的轴突和它们的树突连接。

[0099] 通过可变状态电阻器38、40、42和44来实现轴突26、28和树突34、36之间的每一连接。在这里，可变状态电阻器所位于的接合点(junction)可以被称作为“交叉点接合点”。术语“可变状态电阻器”是指这样一类器件，在所述器件中，施加的电脉冲(电压或电流)将改变器件的电导特性。对于交错式阵列神经系统的总体论述以及在这样的交错式阵列中使用的可变状态变阻器，请参见如下文献：K.Likharev的“Hybrid CMOS/Nanoelectronic Circuits：Opportunities and Challenges”，J.Nanoelcctronics and Optoelectronics，2008，Vol.3，p.203-230，2008。在本发明的一个实施例中，可变状态电阻器可以包括相位改变存储器(PCM)。除了相位改变存储器之外，在本发明实施例中可以使用的其他可变状态电阻器器件包括：使用金属氧化物、硫化物、氧化硅和无定形硅、磁性隧道结、浮栅FET晶体管、和有机薄膜层的器件，如通过K.Likharev在上面引用的文献中所具体描述的那样。还可以使用静态随机存取存储器器件来构造可变状态存储器。还可以将存取器件39附接到可变状态电阻器，所述存取器件39可以包括PN二极管、FET有线二极管、或具有非线性电压-电流响应的一些其他元件。

[0100] 神经元15、17、19和21的每个包括一对RC电路48。总体而言，根据本发明的实施例，在轴突神经元15和17从树突输入连接(未示出)接收到的输入超过阈值时，轴突神经元15和17将“激励”(发送脉冲)。当轴向神经元15和17激励时，它们保持这样的A-STDP变量，所述A-STDP变量随通过其RC电路48之一中的电阻器和电容器的值确定的相对长的预定的时间常量而衰退。例如，在一个实施例中，该时间常量可以为50ms。可以通过使用电流镜或等效电路确定电容器两端的电压来对A-STDP变量进行采样。该变量可以被用于通过对在相关联的神经元的最后一次激励时起的时间进行编码来实现轴突STDP。轴突STDP用于控制“增强”，所述“增强”在本上下文中被定义为增加突触电导。

[0101] 当树突神经元19和21激励时，它们基于在其RC电路48之一中的电阻器和电容器的值，保持这样的D-STDP变量，所述D-STDP变量随相对长的预定的时间常量而衰退。例如，在一个实施例中，该时间常量可以是50ms。在其他实施例中，该变量可以作为时间为函数而衰退。例如，该变量可以按照线性、多项式或二次函数而衰退。在本发明的另一个实施例中，该变量可以随时间增加而不是降低。在任何事件中，该变量可以被用于通过对在相关联的神经元的最后一次激励时起的时间进行编码来实现树突STDP。树突STDP被用于控制“阻抑”，所述“阻抑”在本上下文中被定义为降低突触电导。

[0102] 本发明的实施例可以采用计算机仿真或从计算机可使用或计算机可读取介质访问的程序产品的形式，所述计算机可使用或计算机可读取介质提供由计算机、处理设备或任何指令执行系统使用的程序代码，或关联于计算机、处理设备或任何指令执行系统使用的程序代码。如本领域技术人员将理解的是，本发明的各个方面可以被体现为系统、方法或计算机程序产品。相应地，本发明的各个方面可以采用完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例(它们在这里被统称为“电路”、“模块”或“系统”)的形式。此外，本发明的各个方面可以采用在一个或多个计算机可读介质中体现的计算机程序产品的形式，所述一个或多个计算机可读介质在其上体现有计算机可读程序代码。

[0103] 可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质例如是(但不限于)电、磁、光、电磁、红外、或半导体的系统、装置或设备，或上述的任意适当的组合。计算机可读存储介质的更为具体的示例(非穷尽的列表)将包括以下各项：具有一个或多个接线的电连接、便携式计算机盘片、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪速存储器)、光纤、便携式密制盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或上述的任何适当的组合。在本文献的上下文中，计算机可读存储介质可以是任何实体介质，所述实体介质可以包含或存储由或关联于执行执行系统、装置或设备使用的程序。

[0104] 计算机可读信号介质可以包括在其中(例如，在基带中或作为载波的一部分)体现有计算机可读程序代码的传播的数据信号。这样的传播信号可以采用各种形式，包括(但不限于)电磁、光、或它们的任何适当的组合。计算机可读信号介质可以是并非计算机可读存储介质并能够传送、传播、发送可以由或关联于指令执行系统、装置、或设备使用的程序的任何计算机可读介质。

[0105] 可以使用任何适当的介质来发送在计算机可读介质上体现的程序代码，所述任何适当的介质可以包括(但不限于)无线、有线、光纤电缆、RF等，或上述的任何适当的组合。可以以一种或多种编程语言来编写用于执行本发明各个方面的操作的计算机程序。所述编程语言包括面向对象的编程语言(例如Java、Smalltalk、或C++等)、常规的过程编程语言(例如“C”编程语言)或类似的编程语言。可以整体在用户计算机上、部分在用户计算机上作为独立软件包、部分在用户计算机上并部分在远程计算机上、或者整体在远程计算机或服务器上执行程序代码。在后者的场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者使得连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。

[0106] 下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各个方面。将理解的是，可以通过计算机程序指令来实现流程图和/或框图中的每个块和/或流程图和/或框图中的块的任意组合。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以严生机器，使得通过计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现在流程图和/或框图的一个或多个块中指明的功能/动作的模块。

[0107] 这些计算机程序指令可以被存储在计算机可读介质中，所述计算机程序指令指引计算机、其他可编程数据处理装置、或其他设备以特定的方式进行工作，使得被存储在计算机可读介质中的指令产生包括指令的制品，所述指令实现了在流程图和/或框图的一个或多个块中指明的功能/动作。

[0108] 还可以将计算机程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列的操作步骤，以产生计算机实现的过程，从而在计算机或其他可编程装置上执行的指令提供了用于实现在流程图和/或框图的一个或多个块中指明的功能/动作的过程。

[0109] 图10是示出了用于实现本发明一个实施例的信息处理系统的高级框图。计算机系统包括一个或多个处理器(例如处理器102)。处理器102连接到通信基础设施104(例如通信总线、交错式连接或网络)。

[0110] 计算机系统可以包括这样的显示接口106，其将图形、文本和其他数据从通信基础设施104(或从未示出的帧缓冲器)进行转发以显示在显示单元108上。计算机系统还包括主存储器110(优选随机存取存储器(RAM))，并且还可以包括辅存储器112。辅存储器112例如可以包括硬盘驱动器114和/或可移除式存储驱动器116，所述可移除式存储驱动器116表示例如软盘驱动器、磁带驱动器或光盘驱动器。可移除式存储驱动器116以本领域普通技术人员公知的方式对可移除式存储单元118进行读取或写入。可移除式存储单元118表示例如通过可移除式存储驱动器116进行读取和写入的软盘、压缩盘、磁带或光盘等。如本领域技术人员将理解的，可移除式存储单元118包括在其上存储有计算机软件和/或数据的计算机可读介质。

[0111] 在备选实施例中，辅存储器112可以包括允许计算机程序或其他指令被加载到计算机系统中的其他类似的模块。这样的模块例如包括可移除式存储单元120和接口112。这样的模块的示例可以包括(例如在视频游戏装置中能够找到的)程序包和包接口、可移除式存储器芯片(例如EPROM或PROM)和相关联的插座、以及其他的可移除式存储单元120和122，它们允许将软件和数据从可移除式存储单元120传输到计算机系统中。

[0112] 计算机系统还可以包括通信接口124。通信接口124允许在计算机系统和外部装置之间传输软件和数据。通信接口124的示例可以包括调制解调器、网络接口(例如以太网卡)、通信端口、PCMCIA槽和卡等。通过通信接口124传输的软件和数据是例如可以为能够通过通信接口124接收的电、电磁、光和其他信号的信号的形式。这些信号被经由通信路径(例如信道)126被提供给通信接口124。该通信路径126携带信号，并可以使用接线或线缆、光线、电话线、蜂窝电话链路、射频(RF)链路和/或其他通信通道来实现所述通信路径126。

[0113] 在本文中，术语“计算机程序介质”、“计算机可用介质，，和“计算机可读介质”用于总体指代诸如主存储器110和辅存储器112、可移除式存储驱动器116和在硬盘驱动器114中安装的硬盘之类的介质。

[0114] 计算机程序(也被称为计算机控制逻辑)被存储在主存储器110和/或辅存储器112中。还可以经由通信接口124接收计算机程序。当运行时，这样的计算机程序使得计算机系统执行在本文中论述的本发明的特征。特别是，当运行时，计算机程序使得处理器102执行计算机系统的特征。相应地，这样的计算机程序表示计算机系统的控制器。

[0115] 图中的流程和框图说明了根据本发明各个实施例的系统、方法和计算机程序产品的可能的实现的架构、功能和操作。在这一方面，流程图或框图中的每个块可以表示包括用于实现特定的逻辑功能的一个或多个可执行指令的模块、分段或代码部分。还应当注意的是，在一些其他的实现中，块中注释的功能可以不同于图中注释的顺序地出现。例如，取决于所涉及的功能，被示出为连续的两个块在实际上可以基本并行地被执行，或块有时可以以逆向顺序被执行。还应当注意的是，可以通过执行特定功能或动作的专用的基于硬件的系统或专用硬件和计算机指令的组合来实现框图和/或流程图中的每个块、和框图和/或流程图中的块的组合。

[0116] 另外，在此公开如下：

[0117] 1.一种神经系统，包括：

[0118] 具有分层的神经网关系的多个电子神经元，所述分层的神经网关系具有有向突触连接性，包括：

[0119] 第一激发尖峰电子神经元层，包括一个或多个第一激发尖峰电子神经元；

[0120] 第二激发尖峰电子神经元层，包括一个或多个第二激发尖峰电子神经元；以及[0121] 第一抑制尖峰电子神经元层，包括一个或多个第一抑制尖峰电子神经元；以及[0122] 其中，所述第一激发尖峰电子神经元层接收输入数据流，并且其中所述第一激发尖峰电子神经元层、第二激发尖峰电子神经元层和所述第一抑制尖峰电子神经元层基于学习规则，组合地处理所接收到的输入，所述学习规则作为所述输入数据流中的时空模式的函数提供在所述电子神经元之间的突触互连的电导的级别。

[0123] 2.如上文条款1所述的系统，其中：

[0124] 每个第一激发尖峰电子神经元连接到第二激发尖峰电子神经元；

[0125] 每个第二激发尖峰电子神经元连接到第一激发尖峰电子神经元和第一抑制尖峰电子神经元；

[0126] 每个第一抑制尖峰电子神经元连接到第二激发尖峰电子神经元；以及[0127] 每个第一抑制尖峰电子神经元经由侧抑制提供赢家通吃过程。

[0128] 3.如上文条款2所述的系统，其中：

[0129] 基于所述学习规则，当通过所述输入数据流激活第一激发尖峰电子神经元时，所述第一激发尖峰电子神经元触发连接的第二激发尖峰电子神经元，其中所述第一激发尖峰电子神经元和所述第二激发尖峰电子神经元之间的连接的电导被增强。

[0130] 4.如上文条款3所述的系统，其中：

[0131] 基于所述学习规则，当通过一个或多个第一激发尖峰电子神经元触发第二激发尖峰电子神经元时，所述第二激发尖峰电子神经元触发连接的第一抑制尖峰电子神经元，使得抑制信号返回到所述第二激发尖峰电子神经元，从而在一时间间隔内抑制所述第二激发尖峰电子神经元的进一步的活动。

[0132] 5.如上文条款4所述的系统，其中：

[0133] 基于所述学习规则，当新近触发的第二激发尖峰电子神经元的活动跟随有连接的第一激发尖峰电子神经元的活动时，在连接的所述第一激发尖峰电子神经元和所述第二激发尖峰电子神经元之间的连接的电导被减弱。

[0134] 6.如上文条款5所述的系统，其中：

[0135] 基于所述学习规则，当第二激发尖峰电子神经元在连接的第一激发尖峰电子神经元之后在短暂的间隔内激励时，连接的所述第一激发尖峰电子神经元和所述第二激发尖峰电子神经元之间的连接的电导被增强。

[0136] 7.如上文条款6所述的系统，其中所述多个电子神经元：

[0137] 检测实时输入数据流中的时空模式的存在；

[0138] 提取所述时空模式；以及

[0139] 基于所述学习规则，在所述多个电子神经元中存储所述时空模式，并且在被呈现有所述时空模式的版本时，获取所存储的时空模式，其中所述学习规则作为所述时空模式的函数提供在所述电子神经元之间的突触互连的电导的级别。