认证主体：宁夏凯米世纪网络科技有限公司
IP属地：宁夏
统一社会信用代码/组织机构代码
91640100MA774ECW4K
下载本文档
1、12目目 录录第一篇第一篇 神经网络控制及其神经网络控制及其matlab实现实现 第二篇第二篇 模糊逻辑控制及其模糊逻辑控制及其matlab实现实现第三篇第三篇 模型预测控制及其模型预测控制及其matlab实现实现3第一篇第一篇 神经网络控制神经网络控制及其及其matlab实现实现 4v1.1 1.1 神经网络的基本概念神经网络的基本概念 v1.2 1.2 典型神经网络的模型及其典型神经网络的模型及其matlabmatlab实现实现 v1.3 1.3 神经网络控制系统神经网络控制系统 第第1章章 神经网络控制理论神经网络控制理论 5 人脑是一部不寻常的智能机，它能以惊人的高速度解释感觉器官传来
2、的含糊不清的信息。它能觉察到喧闹房间内的窃窃私语，能够识别出光线暗淡的胡同中的一张面孔，更能通过不断地学习而产生伟大的创造力。古今中外，许许多多科学家为了揭开大脑机能的奥秘，从不同的角度进行着长期的不懈努力和探索，逐渐形成了一个多学科交叉的前沿技术领域神经网络(neural network)。 6 人工神经系统的研究可以追溯到1800年frued的精神分析学时期，他已经做了一些初步工作。1913年人工神经系统的第一个实践是由russell描述的水力装置。1943年美国心理学家warren s mcculloch与数学家walter h pitts合作，用逻辑的数学工具研究客观事件在形式神经网络
4、理论研究转入过程实现阶段，掀起了研究人工神经网络的高潮。今天，随着科学技术的迅猛发展，神经网络正以极大的魅力吸引着世界上众多专家、学者为之奋斗。在世界范围内再次掀起了神经网络的研究热潮，难怪有关国际权威人士评论指出，目前对神经网络的研究其重要意义不亚于第二次世界大战时对原子弹的研究。 8 人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其他传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路
5、上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。 9 使用神经网络的主要优点是能够自适应样本数据，当数据中有噪声、形变和非线性时，它也能够正常地工作，很容易继承现有的领域知识，使用灵活，能够处理来自多个资源和决策系统的数据；提供简单工具进行自动特征选取，产生有用的数据表示，可作为专家系统的前端（预处理器）。此外，神经网络还能提供十分快的优化过程，尤其以硬件直接实现网络时，而且可以加速联机应用程序的运行速度。当然，过分夸大神经网络的应用能力也是不恰当的，毕竞它不是无所不能的。这就需要在实际工作中具体分析问题，合理选择。 10
6、 基于神经网络的控制称为神经网络控制（nnc），简称神经控制（ncneurocontrol）这 一 新 词 是 在 国 际 自 控 联 杂 志 自 动 化 （automatica）1994年no.11首次使用的，最早源于 1 9 9 2 年 h t o l l e 和 e e r s u 的 专 著neurocontrol。基于神经网络的智能模拟用于控制，是实现智能控制的一种重要形式，近年来获得了迅速发展。本节介绍神经控制的基本概念、基本结构、神经控制系统的组成及其实现神经控制和神经模糊控制的基本方法。 111.1 神经网络的基本概念神经网络的基本概念 1.1.1 生物神经元的结构与功能特点生
7、物神经元的结构与功能特点 神经生理学和神经解剖学证明了人的思维是由人脑完成的。神经元是组成人脑的最基本单元，它能够接受并处理信息，人脑大约由10111012个神经元组成，其中每个神经元约与104105个神经元通过突触连接，因此，人脑是一个复杂的信息并行加工处理巨系统。探索脑组织的结构、工作原理及信息处理的机制，是整个人类面临的一项挑战，也是整个自然科学的前沿领域。121生物神经元的结构 生物神经元（以下简称神经元），也称神经细胞，是构成神经系统的基本单元。神经元主要由细胞体、树突和轴突构成，其基本结构如图1-1所示。图11 生物神经元的结构13（1）细胞体 细胞体由细胞核、细胞质与细胞膜等组成
8、。一般直径为5100m，大小不等。细胞体是神经元的主体，它是神经元的新陈代谢中心，同时还负责接收并处理从其他神经元传递过来的信息。细胞体的内部是细胞核，外部是细胞膜，细胞膜外是许多外延的纤维，细胞膜内外有电位差，称为膜电位，膜外为正，膜内为负。14（2）轴突 轴突是由细胞体向外伸出的所有纤维中最长的一条分枝。每个神经元只有一个轴突，长度最大可达1m以上，其作用相当于神经元的输出电缆，它通过尾部分出的许多神经末梢以及梢端的突触向其他神经元输出神经冲动。15（3）树突 树突是由细胞体向外伸出的除轴突外的其他纤维分枝，长度一般均较短，但分枝很多。它相当于神经元的输入端，用于接收从四面八方传来的神经冲
9、动。 突触是轴突的终端，是神经元之间的连接接口，每一个神经元约有104105个突触。一个神经元通过其轴突的神经末梢，经突触与另一神经元的树突连接，以实现信息的传递。16 2生物神经元的功能特点 从生物控制论的观点来看，作为控制和信息处理基本单元的神经元，具有以下功能特点。（1）时空整合功能 神经元对于不同时间通过同一突触传入的信息，具有时间整合功能；对于同一时间通过不同突触传入的信息，具有空间整合功能。两种功能相互结合，是使生物神经元具有时空整合的输入信息处理功能。17（2）动态极化性 在每一种神经元中，信息都是以预知的确定方向流动的，即从神经元的接收信息部分（细胞体、树突）传到轴突的起始部分
10、，再传到轴突终端的突触，最后再传给另一神经元。尽管不同的神经元在形状及功能上都有明显的不同，但大多数神经元都是按这一方向进行信息流动的。18（3）兴奋与抑制状态 神经元具有两种常规工作状态，即兴奋状态与抑制状态。所谓兴奋状态是指神经元对输入信息经整合后使细胞膜电位升高，且超过了动作电位的阈值，此时产生神经冲动并由轴突输出。抑制状态是指对输入信息整合后，细胞膜电位值下降到低于动作电位的阈值，从而导致无神经冲动输出。19（4）结构的可塑性 由于突触传递信息的特性是可变的，也就是它随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，这种特性又称为神经元结构的可塑性。（5）脉冲与
11、电位信号的转换 突触界面具有脉冲与电位信号的转换功能。沿轴突传递的电脉冲是等幅的、离散的脉冲信号，而细胞膜电位变化为连续的电位信号，这两种信号是在突触接口进行变换的。20（6）突触延期和不应期 突触对信息的传递具有时延和不应期，在相邻的两次输入之间需要一定的时间间隔，在此期间，无激励，不传递信息，这称为不应期。（7）学习、遗忘和疲劳 由于神经元结构的可塑性，突触的传递作用有增强、减弱和饱和的情况。所以，神经细胞也具有相应的学习、遗忘和疲劳效应（饱和效应）。211.1.2 人工神经元模型 生物神经元经抽象化后，可得到如图1-2所示的一种人工神经元模型，它有三个基本要素。1连接权 连接权对应于生物
12、神经元的突触，各个神经元之间的连接强度由连接权的权值表示，权值为正表示激活，为负表示抑制。图1-2 基本神经元模型222求和单元 用于求取各输入信号的加权和（线性组合）。3激活函数 激活函数起非线性映射作用，并将神经元输出幅度限制在一定范围内，一般限制在(0,1)或(-1,1)之间。激活函数也称传输函数。此外还有一个阈值k (或偏值b k= -k)。以上作用可分别以数学式表达出来：式中 为输入信号， 为神经元k的权值， 为线性组合结果， 为阈值， 为激活函数， 为神经元k的输出， )(,1kkkkkkpjjkjkvyunetvxwupxxx,21kpkkwww,21kuk)(ky23图1-2
13、输入扩维后的神经元模型 若把输入的维数增加一维，则可把阈值k包括进去。即 此处增加了一个新的连接，其输入 ，权值 或 ，如图1-2所示。激活函数 ，一般有以下几种形式：(1) 阶跃函数函数表达式：)(,0kkpjjkjkuyxwu10 x(0kkw)kb)(0101)(xxxy24(2)分段线性函数 函数表达式： (3)sigmoid函数 最常用的sigmoid型函数为式中 参数a可控制其斜率。 另一种常用的sigmoid型函数为双曲正切s型函数，即 这类函数具有平滑和渐近线，并保持单调性。 ) 1(1) 11()1 (21) 1(1)(xxxxxy)exp(11)(axx)exp(1)exp
14、(1)21tanh()(xxxx251.1.3 神经网络的结构 人工神经网络（artificial neural networks，ann）是由大量人工神经元经广泛互连而组成的，它可用来模拟脑神经系统的结构和功能。人工神经网络可以看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元（以下在不易引起混淆的情况下，人工神经元简称神经元）就是对生物神经元的模拟，而有向加权弧则是轴突突触树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。 26 人工神经网络是生物神经网络的一种模拟和近似。它主要从两个方面进行模拟。一种是从生理结构和实现机理方面进行模拟，
15、它涉及到生物学、生理学、心理学、物理及化学等许多基础科学。由于生物神经网络的结构和机理相当复杂，现在距离完全认识它们还相差甚远；另外一种是从功能上加以模拟，即尽量使得人工神经网络具有生物神经网络的某些功能特性，如学习、识别、控制等功能。 本书仅讨论后者，从功能上来看，人工神经网络（以下简称神经网络，nn）根据连接方式主要分为两类。 27图1-4 前馈网络1前馈型网络 前馈神经网络是整个神经网络体系中最常见的一种网络，其网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，如图1-4所示。节点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多
16、个其他节点作为输入）。 28 通常前馈网络可分为不同的层，第i层的输入只与第i-1层输出相连，输入和输出节点与外界相连，而其他中间层称为隐层，它们是一种强有力的学习系统，其结构简单而易于编程。从系统的观点看，前馈神经网络是一静态非线性映射，通过简单非线性处理的复合映射可获得复杂的非线性处理能力。但从计算的观点看，前馈神经网络并非是一种强有力的计算系统，不具备有丰富的动力学行为。大部分前馈神经网络是学习网络，并不注意系统的动力学行为，它们的分类能力和模式识别能力一般强于其他类型的神经网络。 292反馈型网络 反馈神经网络又称递归网络，或回归网络。在反馈网络中(feedback nns)，输入信号
17、决定反馈系统的初始状态，然后系统经过一系列状态转移后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后输出的结果，由此可见，稳定性是反馈网络中最重要的问题之一。图1-5 单层全连接反馈网络 30 如果能找到网络的lyapunov函数，则能保证网络从任意的初始状态都能收敛到局部最小点。反馈神经网络中所有节点都是计算单元，同时也可接受输入，并向外界输出，可画成一个无向图，如图1-5(a)所示，其中每个连接弧都是双向的，也可画成图1-4(b)的形式。若总单元数为n，则每一个节点有n-l个输入和一个输出。 31 神经网络的工作过程主要分为两个阶段：第一阶段是学习期，此时各计算单元状态不变，各连接
18、权上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元变化，以达到某种稳定状态。 从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。 1.1.4 神经网络的工作方式321.1.5 神经网络的学习1学习方式通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点，在一般情况下，性能的改善是按某种预定的度量调节自身参数（如权值）随时间逐步达到的，学习方式（按环境所供信息的多少分）有以下三种。 33（
19、1）有监督学习（有教师学习）图1-6 有监督学习框图 这种学习方式需要外界存在一个“教师”，他可对一组给定输入提供应有的输出结果（正确答案）， 这组已知的输入输出数据称为训练样本集。学习系统可根据已知输出与实际输出之间的差值（误差信号）来调节系统参数，如图1-6所示。 34在有监督学习当中，学习规则由一组描述网络行为的训练集给出：x1,t1,x1,t1, xn,tn其中 xi为网络的输入，ti为相应的目标输出。当输入作用到网络时，网络的实际输出与目标输出相比较，然后学习规则调整网络的权值和域值，从而使网络的实际输出越来越接近于目标输出。 35（2）无监督学习（无教师学习） 无监督学习时不存在外
20、部教师，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构（这是一种自组织过程），以表示外部输入的某种固有特性（如聚类，或某种统计上的分布特征），如图1-7所示。在无监督学习当中，仅仅根据网络的输入调整网络的权值和域值，它没有目标输出。乍一看这种学习似乎并不可行：不知道网络的目的是什么，还能够训练网络吗？实际上，大多数这种类型的算法都是要完成某种聚类操作，学会将输入模式分为有限的几种类型。这种功能特别适合于诸如向量量化等应用问题。 图1-7 无监督学习框图36（3）强化学习（或再励学习）图1-8 强化学习框图 这种学习介于上述两种情况之间，外部环境对系统输出结果只给出评价（奖或罚
21、）而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能，如图1-8所示。强化学习与有监督的学习类似，只是它不像有监督的学习一样为每一个输入提供相应的目标输出，而是仅仅给出一个级别。这个级别（或评分）是对网络在某些输入序列上的性能测度。当前这种类型的学习要比有监督的学习少见。它最为适合控制系统应用领域。 372学习算法（1）学习规则（误差修正规则） 令yi(k)为输入x(k)时神经元i在k时刻的实际输出，ti(k)表示相应的期望输出，则误差信号可写为：ei(k)= ti(k) -yi(k) 误差纠正学习的最终目的是使某一基于ei(k)的目标函数达最小，以使网络中每一输出单元的实际输
22、出在某种统计意义上最逼近于期望输出。一旦选定了目标函数形式，误差纠正学习就成为一个典型的最优化问题。 38最常用的目标函数是均方误差判据，定义为：其中 e是统计期望算子，上式的前提是被学习的过程是宽平稳的，具体方法可用最陡梯度下降法。直接用j作为目标函数时，需要知道整个过程的统计特性，为解决这一困难用j在时刻k的瞬时值j(k)代替j，即 niiiytej12)(21niiniiikeytkj1212)(21)(21)(39 问题变为求j(k)对权值wij的极小值，根据最陡梯度下降法可得：式中，为学习速率或步长（01），f()为激活函数。这就是通常说的误差纠正学习规则（或称规则），用于控制每次误
23、差修正值。它是基于使输出方差最小的思想而建立的。 )()()()()()(kxxwfkekxkkwjiijiij40（2）hebb学习神经心理学家hebb提出的学习规则可归结为“当某一突触（连接）两端的神经元的激活同步（同为激活或同为抑制）时，该连接的强度应增加，反之则应减弱”，用数学方式可描述为：式中yi(k)，xj(k)分别为wij两端神经元的状态，其中最常用的一种情况为：式中 为学习速率。由于wij(k)与yi(k)，xj(k)的相关成比例，有时称之为相关学习规则。上式定义的hebb规则实际上是一种无监督的学习规则，因它不需要关于目标输出的任何相关信息。 )(),()(kxkyfkwji
24、ij)()()(kxkykwjiij41 原始的hebb学习规则对权值矩阵的取值未做任何限制，因而学习后权值可取任意值。为了克服这一弊病，在hebb学习规则的基础上增加一个衰减项，即 衰减项的加入能够增加网络学习的“记忆”功能，并且能够有效地对权值的取值加以限制。衰减系数dr的取值在0,1之间。当取0时，就变成原始的hebb学习规则。 另外，hebb规则还可以采用有监督的学习，对于有监督学习的hebb规则而言，将目标输出代替实际输出。由此，算法被告知的就是网络应该做什么，而不是网络当前正在做什么，可描述为：)(*)()()(kwdrkxkykwijjiij)()()(kxktkwjiij42k
25、ohonen规则： instar规则：outstar规则： 图1-8 竞争学习网络（3）竞争（competitive）学习 顾名思义，在竞争学习时网络各输出单元互相竞争，最后达到只有一个最强者激活。最常见的一种情况是输出神经元之间有侧向抑制性连接，如图1-8所示。这样众多输出单元中如有某一单元较强，则它将获胜并抑制其他单元，最后只有比较强者处于激活状态。最常用的竞争学习规则有以下三种：竞争失败，若神经元竞争获胜，若神经元jj0)()(ijjijwxkw竞争失败，若神经元竞争获胜，若神经元jj0)()(ijjiijwxykw竞争失败，若神经元竞争获胜，若神经元jj0/ )()(jijiijxwy
26、kw43图1-9 自适应学习框图3学习与自适应 当学习系统所处环境平稳时（统计特征不随时间变化），从理论上说通过监督学习可以学到环境的统计特征，这些统计特征可被学习系统（神经网络）作为经验记住。如果环境是非平稳的（统计特征随时间变化），通常的监督学习没有能力跟踪这种变化，为解决此问题需要网络有一定的自适应能力，此时对每一个不同输入都作为一个新的例子对待，其工作过程如图1-9。 44 此时模型（如nn）被当作一个预测器，基于前一时刻输出x(k-1)和模型在k-1时刻的参数，它估计出k时刻的输出 ， 与实际值x(k)（作为应有的正确答案）比较，其差值e(k)称为“新息”，如新息e(k)=0，则不修
27、正模型参数，否则应修正模型参数以便跟踪环境的变化。 )(ky)(ky451.1.6 神经网络的分类 神经网络根据不同的情况，可按以下几方面进行分类： (1)按功能分：连续型与离散型、确定型与随机型、静态与动态神经网络； (2)按连接方式分：前馈（或称前向）型与反馈型神经网络； (3)按逼近特性分：全局逼近型与局部逼近型神经网络； (4)按学习方式分：有监督学习、无监督学习和强化学习神经网络。 461. 2 典型神经网络的模型典型神经网络的模型 自1957年f. rosenblatt在第一届人工智能会议上展示他构造的第一个人工神经网络模型以来，据统计到目前为止已有上百种神经网络问世。根据hcc公
28、司及ieee的调查统计，有十多种神经网络比较著名。 47 以下按照神经网络的拓扑结构与学习算法相结合的方法，将神经网络的类型分为前馈网络、竞争网络、反馈网络和随机网络四大类，并按类介绍mp模型、感知机、自适应线性网络（adaline）、bp网络、径向基网络、自组织竞争网络、自组织特征映射网络（som）、反传网络（cpn）、自适应共振理论（art）、学习向量量化(lvq)网络、elman网络、hopfield网络和boltzmann机的网络特点、拓扑结构、工作原理和学习机理，以揭示神经网络所具有的功能和特征。运用这些神经网络模型可实现函数逼近、数据聚类、模式分类、优化计算等功能。因此，神经网络广
29、泛应用于人工智能、自动控制、机器人、统计学等领域的信息处理中。 481.2.1 模型模型 mp模型最初是由美国心理学家mcculloch和数学家pitts在1943年共同提出的，它是有固定的结构和权组成的，它的权分为兴奋性突触权和抑制性突触权两类，如抑制性突触权被激活，则神经元被抑制，输出为零。而兴奋性突触权的数目比较多，兴奋性突触权能否激活，则要看它的累加值是否大于一个阈值，大于该阈值神经元即兴奋。 49 mp模型的结构如图1-11所示(a)早期模型 (b)具有突触的模型 图1-11 mp模型中单个神经元示意图50式中 xe j(j=1,1,n)为兴奋性突触的输入，xik(k=1,2,n)为
30、抑制性突触的输入，则输入与输出的转换关系为0000001ieieiy,变换关系为nkiknjejxixe11,51 mp模型是早期提出的。在图1-11(a)中，模型的权值均为1，它可以用来完成一些逻辑性关系。如果兴奋与抑制突触用权1表示，而总的作用用加权的办法实现，兴奋为1，抑制为-1，如图1-11(b)所示，则有 nkiknjejnkiknjejxxxxy11110152图1-12 用mp模型实现的布尔逻辑 图1-12(a),(b),(c),(d)和(e)是利用mp模型分别表示的或、与、非以及一些逻辑关系式。 53 mp模型的权值、输入和输出都是二值变量，这同由逻辑门组成的逻辑关系式的实现区
31、别不大，又由于它的权值无法调节，因而现在很少有人单独使用。541.2.2 感知机神经网络感知机神经网络1感知机的网络结构 1957年心理学家frank rosenblatt及其合作者为了研究大脑的存储、学习和认知过程而提出的一类神经网络模型，并称其为感知机（perceptron）。感知机较mp模型又进一步，它的输入可以是非离散量，它的权不仅是非离散量，而且可以通过调整学习而得到。感知机可以对输入的样本矢量进行模式分类，而且多层的感知机，在某些样本点上对函数进行逼近，但感知机是一个线性阈值单元组成的网络，在结构和算法上都成为其他前馈网络的基础，尤其它对隐单元的选取比其他非线性阈值单元组成的网络容
32、易分析，而对感知机的讨论，可以对其他网络的分析提供依据。55图1-13 感知机的结构 由于感知机的权值可以通过学习调整而得到，因此它被认为是最早提出的一种神经网络模型。图1-13为感知机的两种结构。 56 在这种模型中，输入模式x=x1,x2,xmt通过各输入端点分配给下一层的各节点，下一层就是中间层，中间层可以是一层也可以是多层，最后通过输出层节点得到输出模式y=y1,y2,ylt。在这类前馈网络中没有层内连接，也没有隔层的前馈连接。每一节点只能前馈联接到其下一层的所有节点。然而，对于含有隐含层的多层感知机当时没有可行的训练方法，所以初期研究的感知机为一层感知机或称为单感知机，我们通常就把它
33、称为感知机。虽然简单感知机有其局限性，但人们对它作了深入的研究，有关它的理论仍是研究其他网络模型的基础。 57 如果在输入层和输出层单元之间加入一层或多层处理单元，即可构成多层感知机，因而多层感知机由输入层、隐含层、输出层组成。隐含层的作用相当于特征检测器，提取输入模式中包含的有效特征信息，使输出单元所处理的模式是线性可分的。但需注意，多层感知机模型只允许一层连接权值可调，这是因为无法设计出一个有效的多层感知机学习算法。 58 图1-14是一个两层感知机结构（包括输入层、一个隐含层和一个输出层），有两层连接权，其中输入层和隐含层单元间的连接权值是随机设定的固定值，不可调节；输出层与隐含层单元间
34、的连接权值是可调的。 图1-14 两层感知机 59 值得注意的是：在神经网络中由于输入层仅仅起输入信号的等值传输作用，而不对信号进行运算，故在定义多少层神经网络时，一般不把输入层计算在内，如上所述。也就是说一般把隐含层称为神经网络的第一层，输出层称为神经网络的第二层（假如只有一个隐含层）。如果有两个隐含层，则第一个隐含层称为神经网络的第一层，第二个隐含层称为神经网络的第二层，而输出层称为神经网络的第三层。如果有多个隐含层，依次类推。在matlab神经网络工具箱中的定义也类同。 60 感知机神经元网络是由hardlim产生的符号函数阈值元件组成的。对于具有m个输入、l个输出的单层感知机网络，如图
35、1-12(a)所示。该网络通过一组权值wij(i=1,2,., l；j=1,2, m)与l个神经元组成。根据结构图，可以写出，输出层的第i个神经元的输入总和（即激活函数）和输出分别为 (i=1,2,., l) (1-1) 式中 i 为输出层神经元i的阈值，m为输入层的节点数，即输入的个数。f(.)为激活函数。感知机中的激活函数使用了阶跃限幅函数，因此感知机能够将输入向量分为两个区域，即有)(,1iiimjjijinetfyxwnet0, 00, 1)(xxxf612感知机学习 感知机的学习是典型的有教师学习，可以通过样本训练达到学习的目的。训练的条件有两个：训练集和训练规则。感知机的训练集就是
36、由若干个输入输出模式对构成的一个集合，所谓输入输出模式对是指一个输入模式及其期望输出模式所组成的向量对。它包括二进制值输入模式及其期望输出模式，每个输出对应一个分类。f. rosenblatt业已证明，如果两类模式是线性可分的（指存在一个超平面将它们分开），则算法一定收敛。 62 设有n个训练样本，在感知机训练期间，不断用训练集中的每个模式对训练网络。当给定某一个样本p的输入输出模式对时，感知机输出单元会产生一个实际输出向量，用期望输出与实际的输出之差来修正网络连接权值。权值的修正采用简单的学习规则，它是一个有教师的学习过程，其基本思想是利用某个神经单元的期望输出与实际的输出之间的差来调整该神
37、经单元与上一层中相应神经单元的连接权值，最终减小这种偏差。也就是说，神经单元之间连接权的变化正比于输出单元期望输出与实际的输出之差。 63 简单感知机输出层的任意神经元i的连接权值wij和阈值i修正公式为 (i=1,2,., l；j=1,2,m) (1-2) (i=1,2,., l) (1-3)式中 表示在样本p作用下的第i个神经元的期望输出， 表示在样本p作用下的第i个神经元的实际输出。为学习速率（01），用于控制权值调整速度。学习速率较大时，学习过程加速，网络收敛较快。但是太大时，学习过程变得不稳定，且误差会加大。因此学习速率的取值很关键。 pitpiypjpipjpipiijxexytw
38、)(pipipiieyt1)(64 感知机的学习规则属误差修正规则，该法已被证明，经过若干次叠代计算后，可以收敛到正确的目标向量。由上可知，该算法无需求导数，因此比较简单，又具有收敛速度快和精度高的优点。 期望输出与实际输出之差为 (1-4) ) 1)(, 0(1)(0)0)(, 1(1)(kytkytkytkytepipipipipipipipipi 由此可见，权值变化量与两个量有关；输入状态xj和输出误差。当且仅当输出单元i有输出误差且相连输入状态xj为l时，修正权值或增加一个量或减少一个量。65 感知机的学习过程又称为最小方差学习过程。根据权向量分布，可以构造一个多维权空间，其中，每个权
39、对应一个轴，另一个轴表示学习过程中的误差度量。由于对每个权向量都会有一定输出误差，由权空间某点的“高度”表示。学习过程中所有这些点形成的一个空间表面，称为误差表面。线性输出单元的感知机，其误差表面成一碗形，其水平截线为椭圆，垂直截线为抛物线。显然，该碗形表面只有一个极小点，沿误差表面按梯度下降法就能达到该点，这涉及感知机学习的收敛性，下面还要详细讨论。 663感知机的线性可分性 感知机可以对线性可分性输入模式进行分类，例如，两维输入x1,x2。其分界线为n-1维（2-1=l）直线，则w1x1+w2x2 =0 根据式(1-1)可知，当且仅当w1x1+w2x2 时，y=1，此时把输入模式划分为“1
40、”类，用“”代表输出为1的输入模式，即目标输出为1的两个输入向量用黑心圆圈“”表示；当且仅当w1x1+w2x2 0。定义 pipkpqikpikikipkpkipkpkpkipkionetjowwnetjwnetnetjwjw)(1)1 ()()()(pkpkpkpkpkpkpkpkpkpkppkppkoootnetgotnetoojnetj96因此输出层的任意神经元k的加权系数修正公式为 (1-21)式中 okp输出节点k在样本p作用时的输出；oip隐含节点i在样本p作用时的输出；tkp在样本p输入输出对作用时输出节点k的目标值。 pipkpkpkpkpipkkiootooow)(1 (97
41、 (2)隐含层权系数的调整 根据梯度法，可得隐含层每个神经元权系数的修整公式为式中 为学习速率，0。pjpipjpipmjipjijijpipijpipipijpijoonetjowwnetjwnetnetjwjw)(1)1 ()(pipipippipippipipippippiooojnetgojnetoojnetj98 由于隐含层一个单元输出的改变会影响与该单元相连接的所有输出单元的输入，即 因此隐含层的任意神经元i的加权系数修正公式为 (1-22)式中 oip隐含节点i在样本p作用时的输出；ojp输入节点j在样本p作用时的输出，即输入节点j的输入（因对输入节点两者相当）。 lklkkip
42、kkipkplkqikpikipipkplkpipkpkppipwwnetjowonetjonetnetjoj11111)()(pjlkkipkpipipjpiijowooow)(1 (199输出层的任意神经元k在样本p作用时的加权系数增量公式为： (1-23)隐含层的任意神经元i在样本p作用时的加权系数增量公式为： (1-24)由式(1-23)和式(1-24)可知，对于给定的某一个样本p，根据误差要求调整网络的加权系数使其满足要求；对于给定的另一个样本，再根据误差要求调整网络的加权系数使其满足要求，直到所有样本作用下的误差都满足要求为止。这种计算过程称在线学在线学习习过程。 pipkkiki
43、okwkw)() 1(pjpiijijokwkw)() 1(100如果学习过程按使误差函数j减小最快的方向调整加权系数，采用类似的推导过程可得输出层和隐含层的任意神经元k在所有样本作用时的加权系数增量公式为： (1-25) (1-26)式中 kp和ip的计算方法同上，即 (1-27) (1-28)根据式(1-25)和式(1-26)所得权的修正是在所有样本输入后，计算完总的误差后进行的，这种修正称为批处理学习学习。批处理修正可保证其总误差j向减少的方向变化，在样本多的时候，它比分别处理时的收敛速度快。 nppipkkikiokwkw1)() 1(1(1)( )nppijijijpw kw ko)
44、(1 (pkpkpkpkpkotoo)(1 (1lkkipkpipipiwoo101 因此，bp网络的学习可采用两种方式即在线学习在线学习和离线学习离线学习。在线学习是对训练集内每个模式对逐一更新网络权值的一种学习方式，其特点是学习过程中需要较少的存储单元，但有时会增加网络的整体输出误差，以上推导即为在线学习过程。因此，使用在线学习时一般使学习因子足够小，以保证用训练集内每个模式训练一次后，权值的总体变化充分接近于最快速下降。102 所谓离线学习也称为批处理学习批处理学习，是指用训练集内所有模式依次训练网络，累加各权值修正量并统一修正网络权值的一种学习方式，它能使权值变化沿最快速下降方向进行。
45、其缺点是学习过程中需要较多的存储单元，好处是学习速度较快。具体实际应用中，当训练模式很多时，可以将整个训练模式分成若干组，采用分组批处理学习方式。 103 4bp网络学习算法的计算步骤（1）初始化：置所有的加权系数为最小的随机数；（ 2 ） 提 供 训 练 集 ： 给 出 顺 序 赋 值 的 输 入 向 量x1,x2,xm和期望的输出向量（训练集）t1,t2,tl；（3）计算实际输出：按式(1-11)式(1-17)计算隐含层、输出层各神经元的输出。（4）按式(1-18)或式(1-19)计算期望值与实际输出的误差（5）按式(1-23)或式(1-25)调整输出层的的加权系数wki（6）按式(1-2
46、4)或式(1-26)调整隐含层的的加权系数wij（7）返回计算(3)步，直到误差满足要求为止。 104 5使用bp算法时应注意的几个问题 （1）学习速率的选择非常重要。在学习初始阶段选得大些可使学习速度加快，但当临近最佳点时，必须相当小，否则加权系数将产生反复振荡而不能收敛。采用变学习速率方案，令学习速率随着学习的进展而逐步减少，可收到较好的效果。引入惯性系数a的办法，也可使收敛速度加快，a的取值可选在0.9左右。 （2）采用s形激活函数式(1-13)时，由于输出层各神经元的理想输出值只能接近于l或0，而不能达到l或0。这样在设置各训练样本的期望输出分量tkp时，不能设置为 1或 0，以设置为
47、 0.9或0.1较为适宜。 105（3）由式(1-13)及图1-17知，s型非线性激活函数g(x)随着|x|的增大梯度下降，即| g(x)|减小并趋于0，不利于权值的调整，因此希望|x|工作在较小的区域，故应考虑网络的输入。若实际问题给以网络的输入量较大，需做归一化处理，网络的输出也要进行相应的处理。对于具体问题，需经调试而定，且需经验知识的积累。 （4）学习开始时如何设置加权系数wij和wki的初值非常重要，如将所有初值设置为相等值，则由式(1-22)可知；所有隐含层加权系数的调整量相同，从而使这些加权系数总相等，同此各加权系数的初值以设置为随机数为宜。106 （5）bp网络的另一个问题是学
48、习过程中系统可能陷入某些局部最小值，或某些静态点，或在这些点之间振荡。在这种情况下，不管进行多少次迭代，系统都存在很大误差。因此，在学习过程中，应尽量避免落入某些局部最小值点上，引入惯性项有可能使网络避免落入某一局部最小值。 1076bp网络学习算法的改进bp网络总括起来，具有以下主要优点： 只要有足够多的隐层和隐节点，bp网络可以逼近任意的非线性映射关系； bp网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力。 它的主要缺点是： 收敛速度慢； 局部极值； 难以确定隐层和隐节点的个数。 从原理上，只要有足够多的隐层和隐节点，即可实现复杂的映射关系，但是如何根据特定的问题来具体确定网络
49、的结构尚无很好的方法，仍需要凭借经验和试凑。 108 bp网络能够实现输入输出的非线性映射关系，但它并不依赖于模型。其输入与输出之间的关联信息分布地存储于连接权中。由于连接权的个数很多，个别神经元的损坏只对输入输出关系有较小的影响，因此bp网络显示了较好的容错性。 bp网络由于其很好的逼近非线性映射的能力，因而它可应用于信息处理、图象识别、模型辨识、系统控制等多个方面。对于控制方面的应用，其很好的逼近特性和泛化能力是一个很好的性质。而收敛速度慢却是一个很大的缺点，这一点难以满足具有适应功能的实时控制的要求，它影响了该网络在许多方面的实际应用。为此，许多人对bp网络的学习算法进行了广泛的研究，提
51、f）方法。1988年，broomhead和lowe首先将rbf应用于神经网络设计，从而构成了rbf神经网络。它是一种局部逼近的神经网络。众所周知，bp网络用于函数逼近时，权值的调节采用的是负梯度下降法，这种调节权值的方法有它的局限性，即存在着收敛速度慢和局部极小等缺点。而rbf神经网络无论在逼近能力、分类能力和学习速度等方面均优于bp网络。径向基函数网络比bp网络需要更多的神经元，但是它能够按时间片来训练网络。122 径向基网络是一种局部逼近网络，已证明它能以任意精度逼近任一连续函数。当有很多的训练向量时，这种网络很有效果。 rbf网络的结构与多层前向网络类似，它是具有单隐层的一种两层前向网络
52、。输入层由信号源节点组成。隐含层的单元数视所描述问题的需要而定。输出层对输入的作用作出响应。从输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间变换是线性的。隐单元的变换函数是rbf，它是一种局部分布的对中心点径向对称衰减的非负非线性函数。 123 构成rbf网络的基本思想是：用rbf作为隐单元的“基”构成隐含层空间，这样就可将输入矢量直接（即不通过权连接）映射到隐空间。当rbf的中心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处的权即为网络可调参数。由此可见，从总体上看，网络由输入到输出的映射是非线性的，而网
53、络输出对可调参数而言却又是线性的。这样网络的权就可由线性方程组直接解出或用lms方法计算 ，从而大大加快学习速度并避免局部极小问题。 1241径向基函数网络模型 rbf网络由两层组成，其结构如图1-20所示。输入层节点只是传递输入信号到隐层， 隐层节点（也称rbf节点）由象高斯核函数那样的辐射状作用函数构成，而输出层节点通常是简单的线性函数。 图1-20 rbf网络 隐层节点中的作用函数（核函数）对输入信号将在局部产生响应，也就是说，当输入信号靠近该函数的中央范围时，隐层节点将产生较大的输出。由此可看出这种网络具有局部逼近能力，所以径向基函数网络也称为局部感知场网络。 1252网络输出 设网络
54、输入x为m维向量，输出y为l维向量，输入输出样本对长度为n。 rbf网络的输入层到隐含层实现xuj(x)的非线性映射，径向基网络隐层节点的作用函数一般取下列几种形式：)/(exp)(2xxf0,)(1)(22axxfa1,)()(22axxf126 上面这些函数都是径向对称的，虽然有各种各样的激活函数，但最常用的是高斯激活函数，如rbf网络隐层第i个节点的输出可由下式表示： (1-32)其中，ui是第i个隐节点的输出，i是第i个隐节点的标准化常数，q是隐层节点数，x=(x1,x2,xm)t是输入样本，ci是第i个隐节点高斯函数的中心向量，此向量是一个与输入样本x的维数相同的列向量，即ci=(c
55、i1,ci2,cim)t。由上式可知，节点的输出范围在0和1之间，且输入样本愈靠近节点的中心，输出值愈大。当x=ci时，ui=1。 qicxcxuiitii,.,2 , 1,2)()(exp2127采用高斯函数，具备如下优点： 表示形式简单，即使对于多变量输入也不增加太多的复杂性。 径向对称； 光滑性好，任意阶导数存在； 由于该基函数表示简单且解析性好，因而便于进行理论分析。 考虑到提高网络精度和减少隐层节点数，也可以将网络激活函数改成多变量正态密度函数： (1-33)其中 是输入协方差阵的逆。注意这时上式已不再是径向对称。 )()(21exptiiicxkcxu1iti)cx()cx(ek1
56、28rbf网络的隐含层到输出层实现ui(x)yk的线性映射，即： (k=1,2,l) (1-34)其中，ui是第i个隐层节点的输出，yk是第k个输出层节点的输出，wki是隐含层到输出层的加权系数，k是隐含层的阈值，q是隐含层节点数。 kqiikikuwy11293rbf网络的学习过程设有n个训练样本，则系统对所有n个训练样本的总误差函数为 (1-35)式中 n为模式样本对数；l为网络输出节点数； 表示在样本p作用下的第k个神经元的期望输出， 表示在样本p作用下的第k个神经元的实际输出。 nplkknplkpkpknppeytjj112112121)(21pktpky130 rbf网络的学习过程
57、分为两个阶段。 第一阶段，是无教师学习。是根据所有的输入样本决定隐层各节点的高斯核函数的中心向量 ci和标准化常数i。 第二阶段，有教师学习。在决定好隐层的参数后，根据样本，利用最小二乘原则，求出隐含层和输出层的权值wki。有时在完成第二阶段的学习后，再根据样本信号，同时校正隐层和输出层的参数，以进一步提高网络的精度。 下面具体介绍一下这两个阶段： 1311） 无教师学习阶段无教师学习也称为非监督学习，是对所有样本的输入进行聚类，求得各隐层节点的rbf的中心向量ci。这里介绍k-均值聚类算法调整中心向量，此算法将训练样本集中的输入向量分为若干族，在每个数据族内找出一个径向基函数中心向量，使得该
58、族内各样本向量距该族中心的距离最小。算法步骤如下： (1) 给定各隐节点的初始中心向量 ci(0)和判定停止计算的阈值的 ；(2) 计算距离（欧氏距离）并求出最小距离的节点 (1-36)式中，k为样本序号，r为中心向量ci(k-1)与输入样本x(k)距离最近的隐节点序号； )k(d)k(dmin)k(dqi1 ,) 1k(c)k(x)k(driminii132(3) 调整中心 (1-37)式中 (k)是学习速率，0(k)1。(k)=(k-1)/(1+int(k/q)1/2,int()表示对()进行取整运算。可见，每经过q个样本之后，调小一次学习速率，逐渐减至零； )1k(c) t (x)k()
59、 1k(c)k(cri , qi1),1k(c)k(crrrii(4)判定聚类质量 对于全部样本k(k=1,2,n)反复进行以上(2)，(3)步，直至满足以下条件，则聚类结束。 (1-38) q1i2ie)k(c)k(xj133 2） 有教师学习阶段有教师学习也称为有监督学习。当ci确定以后，训练由隐含层至输出层之间的权值，由上可知，它是一个线性方程组，则求权值就成为线性优化问题。因此，问题有唯一确定的解，不存在bp网络中所遇到的局部极小值问题，肯定能获得全局最小点。类似于线性网络，rbf网络的隐含层至输出层之间的连接权值wki(k=1,2,l; i=1,2,q)学习算法为 (1-39)其中
60、，ui(x)为高斯函数。 为学习速率，可以证明当 时可保证该迭代学习算法的收敛性，而实际上通常只取 。tk和yk分别表示第k个输出分量的期望值和实际值。 uuxuytkwkwtikkkiki/ )()()() 1(12( )( )( )tquu xuxux0201134 由于向量u中只有少量几个元素为1，其余均为零，因此在一次数据训练中只有少量的连接权需要调整。正是由于这个特点，才使得rbf神经网络具有比较快得学习速度。另外，由于当x远离ci时，ui(x)非常小，因此可作为0对待。因此实际上只当ui(x)大于某一数值（例如0.05）时才对相应的权值wki进行修改。经这样处理后rbf神经网络也同
0/150
联系客服
本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。人人文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知人人文库网，我们立即给予删除！