BP神经网络.ppt.ppt

LOGOBP神经网络Company LogoContents BP神经网络的定义概述神经网络的定义概述3 人工神经网络的工作原理人工神经网络的工作原理2 应用举例应用举例5人工神经网络的起源人工神经网络的起源1 BP神经网络神经网络4Company Logo人工神经网络的起源人工神经网络的起源人工神经元的研究起源于脑神经元学说。人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，世纪末，在生物、生理学领域，Waldeger等人等人创建了神经元学说。人们认识到复杂的神经系统创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括是由数目繁多的神经元组合而成。大脑皮层包括有有100亿个以上的神经元，每立方毫米约有数万亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。外环境的联系，协调全身的各种机能活动。Company Logo人工神经网络的工作原理人工神经网络的工作原理 人工神经网络就是模拟人思维的第二种方式。人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。网络系统所能实现的行为却是极其丰富多彩的。人工神经网络首先要以一定的学习准则进行学人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规两个字母的识别为例进行说明，规定当定当“A”输入网络时，应该输出输入网络时，应该输出“1”，而当输，而当输入为入为“B”时，输出为时，输出为“0”。Company Logo人工神经网络的工作原理人工神经网络的工作原理所以网络学习的准则应该是：如果网络作出所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予络的各连接权值赋予(0，1)区间内的随机值，区间内的随机值，将将“A”所对应的图象模式输入给网络，网络将所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络性运算，得到网络的输出。在此情况下，网络输出为输出为“1”和和“0”的概率各为的概率各为50%，也就，也就是说是完全随机的。这时如果输出为是说是完全随机的。这时如果输出为“1”(结结果正确果正确)，则使连接权值增大，以便使网络再次，则使连接权值增大，以便使网络再次遇到遇到“A”模式输入时，仍然能作出正确的判断。模式输入时，仍然能作出正确的判断。mixxxfynii,2,1),(21mixxxfynii,2,1),(21Company Logo人工神经网络的工作原理人工神经网络的工作原理如果输出为如果输出为“0”(即结果错误即结果错误)，则把网络连接权值，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到下次再遇到“A”模式输入时，减小犯同样错误的可能性。模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。就越多。Company LogoBPBP神经网络的概述神经网络的概述vBP（Back Propagation）网络是）网络是1986年由年由Rumelhart和和McCelland为首的科学家小组提为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。是目前应用最广泛的神经网络模型之一。David Rumelhart J.McClelland Company LogoBPBP神经网络的概述神经网络的概述vBP网络能学习和存贮大量的输入网络能学习和存贮大量的输入-输出模式映射关输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和不断调整网络的权值和阈值，使网络的误差平方和最小。最小。vBP神经网络模型拓扑结构包括输入层（神经网络模型拓扑结构包括输入层（input layer）、隐层）、隐层(hide layer)和输出层和输出层(output layer)。Company Logo三层三层BP网络网络1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw-隐含层输出层输入层3NT BP神经网络模型神经网络模型Company Logo各层之间的关系各层之间的关系v 输入层各神经元负责接收来自外界的输入信息，输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元。并传递给中间层各神经元。v 中间层是内部信息处理层，负责信息变换，根中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信习的正向传播处理过程，由输出层向外界输出信息处理结果。息处理结果。Company Logo各层之间的关系各层之间的关系v 当实际输出与期望输出不符时，进入误差的反当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。的方式修正各层权值，向隐层、输入层逐层反传。v 周而复始的信息正向传播和误差反向传播过程，周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次减少到可以接受的程度，或者预先设定的学习次数为止。数为止。Company LogoBP算法介绍算法介绍v 激活函数激活函数 必须处处可导 一般都使用S型函数(Sigmoid函数)v 使用使用S型激活函数时型激活函数时BP网络输入与输出关系网络输入与输出关系 输入 输出1122.nnnetx wx wx w1f()1 enetynetCompany LogoBP算法介绍算法介绍v 输出的导数输出的导数211f()(1)1e(1e)-netnetnetyyCompany LogoBP算法介绍算法介绍v学习的过程：学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。v学习的本质：学习的本质：对各连接权值的动态调整v学习规则：学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。Company LogoBP算法介绍算法介绍v核心思想：核心思想：将输出误差以某种形式通过隐层向输入层逐层反传v学习的过程：学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值Company LogoBP算法介绍算法介绍v正向传播：正向传播：输入样本输入层各隐层输出层v判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出不符v误差反传误差反传 误差以某种形式在各层表示修正各层单元的权值v网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止Company LogoBP算法介绍算法介绍v 网络结构网络结构n输入层有n个神经元n隐含层有p个神经元n输出层有q个神经元v 变量定义变量定义 输入向量：隐含层输入向量：隐含层输出向量：输出层输入向量：输出层输出向量：期望输出向量：12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddodCompany LogoBP算法介绍算法介绍 输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：ihwhowhbob1,2,kmf()211()()2qoooedkyo kCompany LogoBP算法分析过程算法分析过程v 第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。v 第二步，随机选取第个输入样本及对应期望输出第二步，随机选取第个输入样本及对应期望输出 12()(),(),()nkx kx kx kx12()(),(),()qkd k dkdkodCompany LogoBP算法分析过程算法分析过程v 第三步，计算隐含层各神经元的输入和输出第三步，计算隐含层各神经元的输入和输出1()()1,2,nhihihihikw x kbhp()f()1,2,hhhokhikhp1()()1,2,pohohohyikw hokboq()f()1,2,ooyokyi koqCompany LogoBP算法分析过程算法分析过程v 第四步，利用网络期望输出和实际输出，计算误差函第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数数对输出层的各神经元的偏导数 。ohoohoyieewyiw()()()phohoohhhohow ho kbyi kho kww211()()2()()()()()f()()qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk()okCompany LogoBP算法分析过程算法分析过程v 第五步，利用隐含层到输出层的连接权值、输出层的第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出和隐含层的输出,计算误差函数对隐含层各神经元的偏导计算误差函数对隐含层各神经元的偏导数数 。()()oohhoohoyieek ho kwyiw 1()()()()()hihhihnihihhiii