脉冲神经网络研究现状与应用进展.docx

《脉冲神经网络研究现状与应用进展.docx》由会员分享，可在线阅读，更多相关《脉冲神经网络研究现状与应用进展.docx（31页珍藏版）》请在优知文库上搜索。

1、一、前言人工神经网络(ANN)作为人工智能技术发展的重要推动力，经过几代进化，己成为分析和解决问题的重要工具。第一代ANN被称为感知机,代表性的是1958年美国构建的两层神经元网络，可以模拟人类可感觉、可识别、可记忆和可反应的感知能力。第二代ANN是20世纪80年代中期出现的基于联结主义的多层人工神经网络，特别是2006年以来以卷积神经网络(CNN)为基础的深度学习方案引领了人工智能发展。尽管ANN的发展取得了显著进步，但深度神经网络在功耗效率、安全性、可解释性和在线学习能力等方面仍面临诸多挑战，制约了ANN的进一步应用。作为自然界最卓越的智能体，生物大脑成为人工智能研究最重要的参考对象。近年

2、来，脑科学与人工智能的研究在相互促进中快速发展，尤其是类脑计算研窕受到广泛关注。类脑计算是一种模仿神经生理学和生理心理学机制、以计算建模为依托、通过软硬件协同实现的机器智能计算，兼具生物合理性和计算高效性，未来有望成为人工智能新的计算范式。类脑计算不是对人脑神经元进行简单模拟,而是对人脑的信息处理机制、复杂工作方式、学习、思考、推理、决策的本质性机理进行深层次的探索和模拟。各国纷纷部署类脑计算发展研究，以期在新一轮世界科技革命竞争中掌握主导权。美国、欧盟、日本等国家和地区组织了以类脑计算为核心的脑科学计划。美国在2013年提出了人脑计划，将神经信息学、高性能计算、脑机接口、类脑相关理论建模等列

3、为研究重点。欧盟在2013年推出”人类脑计划，在大脑模拟、神经形态计算、医学信息学和神经机器人等领域开展联合攻关。日本在2008年启动脑科学战略研究项目，重点布局神经信息基础技术、脑科学与教育社会、脑科学与信息产业、脑科学与健康等领域的研究。我国在2016年发布十三五国家科技创新规划，将脑科学与类脑研究纳入科技创新2030重大项目。在类脑计算研究中，脉冲神经网络（SNN）占据核心地位，是最具有生物意义、最类似大脑运行机制的神经网络模型，被认为是新一代的神经网络。SNN以脉冲神经元为计算单元，模仿人类大脑的信息编码和处理过程。SNN和ANN具有显著差异。在处理数据方式方面，SNN采用离散事件（脉

4、冲）对数据进行编码处理，与ANN相比，能耗显著降低、计算能力更加突出。在神经元模型方面，ANN通常采用大量简单的计算单元，如修正线性单元（Re1.U）、Sigmoid函数、tanh函数等，将这些单元相互连接形成复杂神经网络；SNN则采用具有记忆的非差分神经元模型构造神经网络，如霍奇金-赫胥黎（H-H）模型、泄漏积分发射（1.lF）模型等，具备可提取数据时空特征、功耗更低、更适合并行计算的优势，已被广泛应用于语音识别、视觉处理、医疗诊断等领域。在存算分离的冯诺依曼计算架构上，大规模的SNN模型处理需要较多时间和功耗，因而，SNN硬件实现技术的相关研究成为当今研究的热点。神经形态硬件设计模式主要包

5、括模拟电路、数字电路和数模混合电路。模拟电路设计模式的功耗较低，数字电路设计模式对于处理大规模SNN模型更为灵活、成本更低。现场可编程逻辑门阵列（FPGA）在软硬件协同设计时，在实现模型量化和稀疏化方面具有独特优势，被认为是实现数字神经形态平台的核心技术方案之一；目前在单个FPGA设备上已尝试处理SNN模型，相比于中央处理器（CPU）和图形处理器（GPU）实现方式，其速度更快、功耗更低。此外，研究人员结合数字电路技术和模拟电路设计方法，开发数模混合电路设计模式，克服了传统模拟电路抗干扰能力较弱、保密性较差等缺陷。文章首先介绍SNN的基本要素及学习算法，包括神经元模型、突触可塑性机制、信息编码方

6、式和SNN训练算法；其次，细致梳理SNN相关软、硬件的研究进展，从计算机视觉、自然语言处理、推理决策等方面详细阐述SNN的最新应用情况。相关研究内容可为人工智能领域技术发展、产业应用等提供全面、客观、科学的评价和建议，以期促进技术创新和产业发展。二、脉冲神经网络的基本要素及学习算法SNN的基本要素及其相关生物学理论基础主要包括具有动力学特性的神经元模型、突触可塑性机制、基于脉冲序列的信息编码方式，进而形成低能耗、高鲁棒性、高认知能力的新一代人工智能模型。SNN领域的核心训练算法和技术主要包括：有监督学习、无监督学习、ANN向SNN转化和其他进化算法。（一）神经元模型脉冲神经元与传统ANN神经元

7、的结构相似，但工作行为具有较大差异。经过多年发展，已建立了多种脉冲神经元模型，如HH模型、1.IF模型、Izhikevich模型和脉冲响应模型(SRM)等。这些模型刻画了神经元的生物动力学特性，具有一定的计算复杂性。以下对4种具有代表性的神经元模型进行介绍。1. H-H模型1952年，Hodgkin和HUXIey研究了神经元中动作电位的启动与传播机制，提出了电流通过膜电位的数学模型，即H-H模型。H-H模型准确表述了神经元的真实动力学特性，是生物学意义上最合理的脉冲神经元模型。然而，H-H模型的微分方程需要连续计算,每模拟ImS约需要1200次浮点运算,计算复杂性较高。因此，此模型不太适合大规

8、模的SNN模拟计算。2. 1.eakylntegrate-and-Fire模型1907年，1.aPiCqUe提出了lntegrate-and-Fire(I&F)模型，输入脉冲可以集成到膜电位中，如果达到定义的阈值,则输出产生脉冲,膜电位回落至静息状态。1.lF模型是I&F神经元模型的重要类型之一，增加了膜电位的泄漏。1.IF模型简化了神经元动作电位过程，具有模拟神经元脉冲效率较高、计算成本较低等特性，成为大规模SNN中采用的主要神经元模型。此外，基于亚阈值晶体管和电容器电位表现，较容易对神经元集成和衰减动力学特性建模，因此，在SNN硬件实现研究中，也广泛运用1.lF神经元模型。在1.IF模型的

9、基础上还存在诸多变体，如指数1.lF模型、二阶1.IF模型以及自适应指数1.IF模型等。3. Izhikevich模型2003年，IZhikeViCh提出了一个兼具H-H模型动力学特性和1.IF模型计算效率的神经元模型，即IZhikeViCh模型。这是一个二维脉冲神经元模型，每ImS模拟需要约13次浮点运算，可应用于处理较为复杂的工程问题，如模拟海马体功能。4. 脉冲响应模型(SRM)SRM是基于1.IF模型提出的一种通用模型，更加精确地描述了输入脉冲对膜电位的影响。与1.IF模型不同，SRM包含了对于重置和不应期的模拟。此外，SRM模型采用滤波器的方法描述膜电位变化，而1.IF模型则采用微分

10、方程进行刻画。总体而言，目前已提出了多种在生物可信度和计算可行性方面存在一定差异的脉冲神经元模型(见图1),用户可以权衡二者利弊，根据自身需求选择合适的神经元模型。1.lF模型因其较低的实现代价，已广泛应用于神经元动力学特性的刻画；但与H-H等复杂神经元模型相比，1.IF模型在生物可信度方面仍存在不足。因此，建立一个计算效率高且生物学上更合理的神经元模型仍是当前亟待研究的问题。25205O5IZhikeViCh模型丁兵后神经元模型*9；FitZHUgh-Nagumo模型H-Hi二阶1.lF模型，自适应指数1.IF模型1.IF模型IIO200400600800100O1200实现代价/每秒浮点运

11、算次数图1不同神经元模型的生物可信度与实现代价（二）突触可塑性机制突触是神经元之间在功能上发生联系的部位，是信息传递的关键部位（见图2）o当上游神经元放电时，脉冲信号通过突触刺激下游神经元的膜电位。从功能来看，突触可以分为兴奋性突触和抑制性突触两类。突触前神经元脉冲通过突触传递，影响突触后神经元的活动，若输入的脉冲增加突触后神经元的膜电位，即为兴奋性突触；若输入的脉冲降低突触后神经元的膜电位，即为抑制性突触。突触连接强度决定了神经元膜电位变化的大小，可视为两个神经元连接的权重表征。研究发现，突触强度是可调节的，会随着突触连接的前后神经元发放脉冲的相对时间推移而增强或减弱,这种现象被称为脉冲时间

12、相关的突触可塑性（STDP）。STDP规则揭示了突触结构内权重变化的过程，已被引入SNN模型，用来增加生物可信度。轴突突触前膜突触间隙突触后膜图2突触结构线粒体突触小泡(三)信息编码在生物神经系统中，信息是被分散编码并通过动态神经来表达的。神经脉冲序列是信息在神经系统中的一种重要表达方式。为了描述这种神经活动，研究人员提出了多种编码方法，其中频率编码和时间编码是两种较为常见的神经信息编码方式。频率编码是通过神经元的脉冲发射频率来传递信息的，如图3（八）所示。频率编码机制较为简单，在复杂任务处理方面具有突出的表现。时间编码是通过神经元的脉冲时间序列来传递信息的，包括时滞编码、排序编码、相位编码等

13、，分别如图3(b)、图3(c)、图3(d)所示。在时滞编码中，神经脉冲的产生时间与刺激的强度呈负相关。排序编码是对脉冲到达的顺序进行特定编码，可以1Z2更好与1.lF神经元模型结合，实现高斯差分滤波效果，有利于特征提取。相位编码根据背景振荡对脉冲相位中的信息进行编码，己应用于机器人导航和嗅觉系统。频率编码和时间编码主要关注的是单个神经元的信息编码方式。除此之外，研窕人员还提出了群编码，即联合多个神经元对刺激产生的信息进行编码。在群编码中，每个神经元都可以生成具有精确时间的脉冲序列，同时还包含与其他神经元的关系(如高斯接受域)，有助于提升信息编码的生物可信性。剌激一IIllIll1.t（八）频率

14、编码.I一一(C)排序编码图3脉冲信息编码方式信息编码的方式会显著影响SNN的性能表现。神经元模型、软件框架、硬件约束、应用场景和目标等对于信息编码方式的选择都具有重要影响。总体来看，当前大多数信息编码方式只是从不同角度完成对神经元信息的表征，在任务表现、功耗等方面还有较大提升空间。探索研发一种更为通用、理想、全面的SNN信息编码方式仍将是未来研究的重点问题。（四）学习算法SNN的神经元信息以脉冲序列进行传递，不再满足连续可微的性质，因此传统的ANN学习算法不能直接应用于SNNo研究人员在考虑各类神经元模型与信息编码的差异性、平衡生物合理性及计算可行性的基础上，提出了多种训练算法，主要包括有监

15、督学习算法、无监督学习算法、ANN向SNN转化和进化算法。1 .有监督学习算法有监督学习算法通常是利用带有标签的训练数据，学习一个从输入变量到输出变量的函数映射关系。在SNN中，这种标签以具有时序属性的目标脉冲序列形式进行编码。算法旨在学习网络的连接权重，以便特定地识别各种输入并输出相应的目标脉冲序列。在SNN的有监督学习算法中，大部分监督学习规则是基于梯度优化的方法，学习目标是试图最小化目标脉冲序列和输出脉冲序列之间的误差。脉冲信号在时间维度上是离散的，脉冲形式的激活函数是不可微的，导致SNN无法直接应用基于误差反向传播的梯度优化算法。因此，SNN监督学习算法研究受到众多研究者的关注，己提出

16、了多种有监督学习算法。2 .无监督学习算法无监督学习通过对无标签样本数据的学习来揭示数据的内在特性及规律。SNN的无监督学习算法是基于Hebb学习规则建立的。其中，STDP学习规则是Hebb学习规则的典型代表，可以直观反映两个神经元之间的突触强度取决于突触前和突触后脉冲的相对时间。如果刺激突触前神经元末梢，突触后电位增加导致突触传递效率保持长时间强化，则代表突触的权重增加，这种现象被称为长时程增强作用（1.TP）；如果神经元受到反复刺激后，突触传递效率明显且持续降低，则代表突触的权重降低，这种现象被称为长时程抑制作用（1.TD）O1.TP.1.TD两种可塑性为理解和描述STDP学习规则中神经元之间复杂的相互作用提供了重要理论支撑。近年来，研究人员基于STDP学习规