|
首先介绍了神经网络的发展、优点及其应用，然后对 神经网络目前的几个研究热点进行了分析，即神经网络与小波分析、混沌、粗集理论、分形 理论的融合及其应用领域和存在的问题。分析结果表明这些融合方法具有很好的发展前景。 神经网络最早的研究是40年代心理学家Mcculloch和数学家Pitts合作提出的 ，他 们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过3个阶段：1947～196 9年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规 则和感知器等；1970～1986年为过渡期，这期间神经网络研究经过了一个低潮，继续发展 。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出 了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Bol tzman机模型；1986年Kumelhart等人提出误差反向传播神经网络，简称BP网络。目前，BP网 络已成为广泛使用的网络。1987年至今为发展期，在此期间，神经网络受到国际重视，各个 国家都展开研究，形成神经网络发展的另一个高潮［1］。 人工神经元网络是生物神经网络的一种模拟和近似，它从结构、实现机理和功能上模拟生物 神经网络。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构 成的自适应非线性动态系统。 神经网络具有以下优点：(1)具有很强的鲁棒性和容错性，这是因为信息是分布存贮于网络 内的神经元中；(2)并行处理方法，人工神经元网络在结构上是并行的，而且网络的各个单 元可以同时进行类似的处理过程，使得计算快速；(3)自学习、自组织、自适应性，神经元 之间的连接多种多样，各元之间联接强度具有一定可塑性，使得神经网络可以处理不确定或 不知道的系统；(4)可以充分逼近任意复杂的非线性关系；(5)具有很强的信息综合能力，能 同时处理定量和定性的信息，能很好的协调多种输入信息关系，适用于处理复杂非线性和不 确定对象。 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主 要 应用如下：(1)自动控制领域；(2)处理组合优化问题；(3)模式识别；(4)图像处理；(5)传 感器信号处理；(6)机器人控制；(7)信号处理；(8)卫生保健、医疗；(9)经济；(10)化工领 域；(11)焊接领域；(12)地理领域；(13)数据挖掘、电力系统、交通、军事、矿业、农业和 气象等领域。 1神经网络研究热点 神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。其 中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他 技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。 由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可 以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑［1～5］、专家系 统［6～9］、遗传算法［10、11］、小波分析、混沌、粗集理论、分形理 论、证据理论［25～27］和灰色系统［28～33］等的融合。文中主要就神经网 络与小波分析、混沌、粗集理论、分形理论的融合进行分析。 1.1神经网络与小波分析的结合 1981年，法国地质学家Morlet在寻求地质数据时，通过对Fourier变换与加窗Fouri er变换的异同、特点及函数构造进行创造性的研究，首次提出了“小波分析”的概念，建立 了以他的名字命名的Morlet小波。1986年以来由于YMeyer、SMallat及IDaubechies等 的奠基工作，小波分析迅速发展成为一门新兴学科。Meyer所著的“小波与算子”，Daubech ies所著的“小波十讲”是小波研究领域最权威的著作。 小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性 质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象 的 任意细节。小波分析相当于一个数学显微镜，具有放大、缩小和平移功能，通过检查不同放 大倍数下的变化来研究信号的动态特性。因此，小波分析已成为地球物理、信号处理、图像 处理、理论物理等诸多领域的强有力工具。 小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合，因而具有 较强的逼近能力和容错能力。在结合方法上，可以将小波函数作为基函数构造神经网络 形成小波网络，或者小波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分 辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特 性，作为神经网络的输入［7，12］。 小波神经网络在电机故障诊断、高压电网故障信号处理与保护研究、轴承等机械故障诊断以 及许多方面都有应用，文献［13］将小波神经网络用于感应伺服电机的智能控制，使该系统 具有良好的跟踪控制性能，以及好的鲁棒性，文献［14］利用小波包神经网络进行心血管疾 病的智能诊断，小波层进行时频域的自适应特征提取，前向神经网络用来进行分类，正确分 类率达到94%。 小波神经网络虽然应用于很多方面，但仍存在一些不足。从提取精度和小波变换实时性的要 求出发，有必要根据实际情况构造一些适应应用需求的特殊小波基，以便在应用中取得更好 的效果。另外，在应用中的实时性要求，也需要结合DSP的发展，开发专门的处理芯片，从 而满足这方面的要求。 1.2混沌神经网络 混沌第一个定义是上世纪70年代才被LiYorke第一次提出的。由于它具有广泛的 应用价值，自它出现以来就受到各方面的普遍关注。混沌是一种确定的系统中出现的无规则 的运动，混沌是存在于非线性系统中的一种较为普遍的现象，混沌运动具有遍历性、随机性 等特点，能在一定的范围内按其自身规律不重复地遍历所有状态。混沌理论所决定的是非线 性动力学混沌，目的是揭示貌似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂 问题普遍遵循的共同规律。 1990年KAihara、TTakabe和MToyoda等人根据生物神经元的混沌特性首次提出混沌神 经网络模型，将混沌学引入神经网络中，使得人工神经网络具有混沌行为，更加接近实际的 人脑神经网络，因而混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一 ，成为神经网络的主要研究方向之一。 与常规的离散型Hopfield神经网络相比较，混沌神经网络具有更丰富的非线性动力学特性， 主要表现如下：在神经网络中引入混沌动力学行为；混沌神经网络的同步特性；混沌神经网 络的吸引子。 当神经网络实际应用中，网络输入发生较大变异时，应用网络的固有容错能力往往感到不足 ，经常会发生失忆现象。混沌神经网络动态记忆属于确定性动力学运动，记忆发生在混沌吸 引子的轨迹上，通过不断地运动(回忆过程)，一一联想到记忆模式，特别对于那些状态空间 分布的较接近或者发生部分重叠的记忆模式，混沌神经网络总能通过动态联想记忆加以重现 和辨识，而不发生混淆，这是混沌神经网络所特有的性能，它将大大改善Hopfield神经网络 的记忆能力。混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。这将对复杂的 模式识别、图像处理等工程应用发挥重要作用［15］。 混沌神经网络受到关注的另一个原因是混沌存在于生物体真实神经元及神经网络中，并且起 到一定的作用，动物学的电生理实验已证实了这一点。 混沌神经网络由于其复杂的动力学特性，在动态联想记忆、系统优化、信息处理、人工智能 等领域受到人们极大的关注。文献［16］针对混沌神经网络具有联想记忆功能，但其搜索过 程不稳定，提出了一种控制方法可以对混沌神经网络中的混沌现象进行控制。文献［17］研 究了混沌神经网络在组合优化问题中的应用。 为了更好的应用混沌神经网络的动力学特性，并对其存在的混沌现象进行有效的控制，仍需 要对混沌神经网络的结构进行进一步的改进和调整，以及混沌神经网络算法的进一步研究。 1.3基于粗集理论的神经网络 粗糙集(Rough sets)理论是1982年由波兰华沙理工大学教授ZPawlak首先提出， 它 是一个分析数据的数学理论，研究不完整数据、不精确知识的表达、学习、归纳等方法。粗糙集理论是一种新的处理模糊和不确定性知识的数学工具，其主要思想就是在保持分类能 力不变的前提下，通过知识约简，导出问题的决策或分类规则。目前，粗糙集理论已被成功 应用于机器学习、决策分析、过程控制、模式识别与数据挖掘等领域［18、19］。 粗集和神经网络的共同点是都能在自然环境下很好的工作，但是，粗集理论方法模拟人类的 抽象逻辑思维，而神经网络方法模拟形象直觉思维，因而二者又具有不同特点。粗集理论方 法 以各种更接近人们对事物的描述方式的定性、定量或者混合性信息为输入，输入空间与输出 空 间的映射关系是通过简单的决策表简化得到的，它考虑知识表达中不同属性的重要性确定哪 些知识是冗余的，哪些知识是有用的，神经网络则是利用非线性映射的思想和并行处理的方 法，用神经网络本身结构表达输入与输出关联知识的隐函数编码。 在粗集理论方法和神经网络方法处理信息中，两者存在很大的两个区别：其一是神经网络处 理信息一般不能将输入信息空间维数简化，当输入信息空间维数较大时，网络不仅结构复杂 ，而且训练时间也很长；而粗集方法却能通过发现数据间的关系，不仅可以去掉冗余输入信 息，而且可以简化输入信息的表达空间维数。其二是粗集方法在实际问题的处理中对噪 声较敏感，因而用无噪声的训练样本学习推理的结果在有噪声的环境中应用效果不佳。而神 经网络方法有较好的抑制噪声干扰的能力。 因此将两者结合起来，用粗集方法先对信息进行预处理，即把粗集网络作为前置系统，再根 据粗集方法预处理后的信息结构，构成神经网络信息处理系统。通过二者的结合，不但可减 少信息表达的属性数量，减小神经网络构成系统的复杂性，而且具有较强的容错及抗干扰能 力，为处理不确定、不完整信息提供了一条强有力的途径。 目前粗集与神经网络的结合已应用于语音识别、专家系统、数据挖掘、故障诊断等领域，文 献［20］将神经网络和粗集用于声源位置的自动识别，文献［21］将神经网络和粗集用于专 家系统的知识获取中，取得比传统专家系统更好的效果，其中粗集进行不确定和不精确数据 的处理，神经网络进行分类工作。 虽然粗集与神经网络的结合已应用于许多领域的研究，为使这一方法发挥更大的作用还需考 虑如下问题：模拟人类抽象逻辑思维的粗集理论方法和模拟形象直觉思维的神经网 络方法更加有效的结合；二者集成的软件和硬件平台的开发，提高其实用性。 1.4神经网络与分形理论的结合 自从美国哈佛大学数学系教授BBMandelbrot于20世纪70年代中期引入分形这一 概念，分形几何学(Fractal geometry)已经发展成为科学的方法论——分形理论，且被誉为 开创了20世纪数学重要阶段。现已被广泛应用于自然科学和社会科学的几乎所有领域，成为 现今国际上许多学科的前沿研究课题之一［22］。 由于在许多学科中的迅速发展，分形已成为一门描述自然界中许多不规则事物的规律性的学 科。它已被广泛应用在生物学、地球地理学、天文学、计算机图形学等各个领域。 用分形理论来解释自然界中那些不规则、不稳定和具有高度复杂结构的现象，可以收到显著 的效果，而将神经网络与分形理论相结合，充分利用神经网络非线性映射、计算能力、自适 应等优点，可以取得更好的效果。 分形神经网络的应用领域有图像识别、图像编码、图像压缩，以及机械设备系统的故障诊断 等。分形图像压缩／解压缩方法有着高压缩率和低遗失率的优点，但运算能力不强，由于神 经网络具有并行运算的特点，文献［23］将神经网络用于分形图像压缩／解压缩中，提高了 原有方法的运算能力。文献［24］将神经网络与分形相结合用于果实形状的识别，首先利用 分形得到几种水果轮廓数据的不规则性，然后利用3层神经网络对这些数据进行辨识，继而 对其不规则性进行评价。 分形神经网络已取得了许多应用，但仍有些问题值得进一步研究：分形维数的物理意义；分 形的计算机仿真和实际应用研究。随着研究的不断深入，分形神经网络必将得到不断的完善 ，并取得更好的应用效果。 2结论与展望 经过近半个世纪的发展，神经网络理论在模式识别、自动控制、信号处理、 辅助决策、人工智能等众多研究领域取得了广泛的成功。随着人工智能技术的发展，神经网 络与模糊逻辑、专家系统、遗传算法、小波、混沌、粗集、分形、证据理论、灰色系统等技 术的融合已经成为智能技术的一个重要发展趋势，有着很好的发展前景，国内外在这方面已 经取得了一定的成果。 神经网络虽已在许多领域应用中取得了广泛的成功，但其发展还不十分成熟，还有一些问题 需进一步研究。比如：神经计算的基础理论框架以及生理层面的研究仍需深入；新的模型和 结构的研究；神经网络的可理解性问题；神经网络技术与其他技术更好的结合等。 今后的研究应在充分利用神经网络优点的基础上，关注各个领域的新方法、新技术，发现它 们之间的结合点，取长补短，并进行有效的融合，从而获得比单一方法更好的效果。除此之 外，还应当加强神经网络基础理论方面的研究和在实际应用方面的研究，使其在工程应用中 进一步发挥越来越大的作用，应用领域越来越广，应用水平越来越高。 |
| 有奖活动 | |
|---|---|
| 【有奖活动】分享技术经验，兑换京东卡 | |
| 话不多说，快进群！ | |
| 请大声喊出：我要开发板！ | |
| 【有奖活动】EEPW网站征稿正在进行时，欢迎踊跃投稿啦 | |
| 奖！发布技术笔记，技术评测贴换取您心仪的礼品 | |
| 打赏了！打赏了！打赏了！ | |
STM32
MCU
通讯及无线技术
物联网技术
电子DIY
板卡试用
基础知识
软件与操作系统
我爱生活
小e食堂