多层前向神经网络结构的研究

多层前向神经网络结构的研究

许宜菲[1]2013年在《多层前向小世界神经网络结构自适应模型研究》文中进行了进一步梳理多层前向神经网络是人工神经网络中的经典网络。以往文献研究表明WS型多层前向小世界神经网络和NW型多层前向小世界神经网络具有良好特性。但是WS型多层前向小世界神经网络和NW型多层前向小世界神经网络在构建过程中都采用随机化的方式来产生捷径,这样生成的小世界体系神经网络会丢失重要信息使得网络性能变差,所以将复杂网络中的混合择优思想应用于多层前向小世界神经网络中,提出了基于择优思想的多层前向小世界神经网络结构自适应模型。首先研究了基于择优思想的WS型多层前向小世界神经网络结构自适应模型,模型以确定权值矩阵为指导进行构建。将模型应用于函数逼近,发现在p=0.05情况下逼近效果最好。然后将WS型结构自适应网络与同规模的WS型小世界神经网络进行网络性能比较,在精度相同的情况下逼近同一非线性函数,实验证明结构自适应网络在学习速率上要明显优于原有网络。然后研究了基于择优思想的NW型多层前向小世界人工神经网络结构自适应模型,同样是以确定权值为指导进行构建。经研究发现在精度相同的情况下,同样在p=0.05时网络逼近非线性函数效果最好。择优后的NW结构自适应网络在逼近相同的非线性函数时学习速度明显高于同规模的NW型小世界网络。且在精度逐渐提高的情况下,择优后的NW型结构自适应网络与NW型小世界神经网络收敛速度呈现接近趋势,但是择优后网络的学习速度还是明显优于原有网络。最后将NW型多层前向小世界神经网络结构自适应模型用于钢坯表面温度预测。对于预测钢坯表面温度,由于设计因素较多,所以应用常规的机理建模方式很难对其进行较为准确的预测,且构建过程也较为复杂。因此采用由多层前向小世界人工神经网络结构自适应网络模型为基础,分析借用炉温及钢坯表面温度的历史数据,来建立训练预测模型,用训练好的NW型多层前向小世界神经网络结构自适应模型对钢坯表面温度进行预测。结果表明NW型小世界神经网络结构自适应模型的训练速度和预测精度要优于同规模的规则多层前向神经网络,能满足实际预测要求。

夏菁[2]2003年在《多层前向神经网络推广性研究及其应用》文中提出神经网络在模式识别、函数逼近、数据挖掘等许多领域已经取得了很多成功,但目前神经网络的理论和应用都还存在一些困难,如局部极小点、过学习、欠学习以及推广能力等问题。其中,网络的推广能力是衡量神经网络性能的最重要的指标之一,推广能力差的网络很难在实际应用中取得好的结果,如何提高网络推广能力成为该领域的热点之一。本文结合有关项目,对神经网络推广性理论以及提高网络推广能力的方法进行了较为深入的研究,提出了基于网络修剪的神经网络强推广性学习算法,该算法能够有效地提高神经网络推广能力,并把该算法用于高维多光谱图像分类中。人工数据和多光谱数据的实验结果表明该算法是非常有效的。 本文首先介绍了多层前向神经网络的基本问题,回顾了神经网络的发展历程,详细介绍了多层前向神经网络的结构、功能、BP学习算法以及在实际应用中所需要考虑的问题。然后介绍了神经网络推广性的概念,推广性的基本理论,以及目前常用的提高神经网络推广能力的方法,总结了当前神经网络结构优化与推广能力研究的现状。接着从神经网络结构对推广能力的影响入手,用实验的方法分析了隐层神经元数目与网络推广能力之间的关系。根据修剪网络结构能够提高网络推广能力的基本思想,提出了一种新的网络迭代修剪算法来提高网络的推广能力。最后简要介绍了高维多光谱数据分类的基础知识,并使用神经网络对高维多光谱数据进行分类,然后用我们提出的网络迭代修剪算法来优化网络结构,提高数据分类的精度。人工数据和多光谱数据的实验结果表明该算法能够有效地提高神经网络的推广能力。

杨成慧[3]2012年在《小世界理论在神经网络预测方法中的应用》文中研究说明小世界网络是国内外关注的前沿课题及学术热点,近年来已广泛应用于社会关系网络、互联网络、生物工程、交通网络等众多领域。然而现有对小世界神经网络的研究仍有不足,小世界优化算法在神经网络中的应用也鲜有提及。本文针对现有小世界神经网络的缺陷,提出了基于层连优化的多层前向小世界神经网络;另外,将小世界优化算法应用于RBF神经网络中,并将两种网络应用于风电功率的实时预报中。论文主要开展了如下几方面的工作:1.对小世界网络理论及其重要参数做了较为全面、系统的分析和阐述。通过对现有小世界神经网络进行深入分析和总结,对其目前存在的问题作了较为深入的探讨,这些工作有助于小世界神经网络的改进和创新研究。2.对现有小世界神经网络进行改进,提出了基于层连优化的多层前向小世界神经网络。通过函数逼近及交通流量预测数据对新型小世界神经网络与现有小世界神经网络的仿真对比表明,新型网络在网络逼近性能、逼近速度、运算时间上要全面优于现有小世界神经网络。3.对现有应用于RBF神经网络优化算法的优缺点加以对比分析,探讨将小世界优化算法应用于RBF神经网络的可行性,并将其用于RBF神经网络的参数选取中。实验验证了小世界优化算法在针对RBF神经网络的参数选取优化中要优于其他优化算法。4.针对风电功率实时预报中的难点问题,对现有风电功率预报技术进行了总结并分析其不足之处,分析了多种基于神经网络的统计预测方法并进行选择;通过对风电历史资料的相关性分析,找出其历史资料与预测功率相关性最强的项,令其作为神经网络的输入;对数据进行预处理,并分别应用新型多层前向小世界神经网络以及经小世界优化算法优化的RBF神经网络对风电功率进行提前20min至4h的预测。仿真结果表明,两种模型可达到所需预测精度,并实现较好的实时预测效果。

张剑[4]2006年在《基于神经网络的水下机器人建模方法研究》文中进行了进一步梳理由于海洋开发与军事上的需要,自治式水下机器人(AUV)技术得到了迅速的发展,它成为完成各种水下智能作业任务的重要工具,对其的研究开发也成为焦点。水下机器人系统是一个具有强烈非线性和耦合性的系统,如何准确的描述水下机器人的运动特性是进行水下机器人控制、预测、故障诊断的前提,因此对水下机器人进行系统辨识的研究引起了业界专家的极大兴趣。 本文以哈尔滨工程大学水下运载器智能控制技术实验室自主开发的“Beaver”水下机器人为研究对象,对如何建立水下机器人的前向动力学模型、预测模型以及模型的在线调整与应用问题进行了研究。 本文以神经网络为工具,分析非线性系统辨识的方法以及常用的辨识网络结构,并在此基础上,提出了应用复合输入动态回归神经网络对水下机器人动力学模型进行辨识的方法,对比了它与多层前向神经网络和改进的Elman神经网络进行非线性系统模型辨识的差异。建立了水下机器人动力学系统的在线神经网络模型,提出了模型的在线调整算法,即简化的随时间进化反传(SBPTT)算法。通过仿真实验,显示了三种神经网络在函数逼近和非线性系统辨识中存在的差异,并验证了基于SBPTT在线学习调整算法的复合输入动态回归神经网络在非线性系统辨识中的有效性。在此基础上,根据水下机器人的前向动力学模型,建立了水下机器人的动力学多步预测模型,配合课题组设计了水下机器人的神经广义预测控制器。通过“Beaver”水下机器人在哈尔滨工程大学的船模水池的实验,进一步验证了本文采用的复合输入动态回归神经网络在水下机器人动力学模型辨识方面的有效性。

喻波[5]2004年在《新型结构健康诊断方法》文中研究说明结构健康监测系统中最关键问题是监测系统的实现和损伤位置、程度的确定。损伤监测的方法可以主要分为局部损伤检测法和整体损伤检测法。其中整体损伤检测法根据数据收集重点的不同以及数据处理方法的不同,可以大致分为:动力指纹分析法、模型修正法、神经网络法等,其中模型修正法简单易行,无需损伤理论及计算,可直观判断损伤结果,但其要求输入参数远多于实际测量可以得到的参数,导致在简化计算后判断精度不高。神经网络法无需任何先验知识即可进行判断,但在训练过程中需要的相关数据获取困难,在实际应用中有很大限制。本文首先介绍了结构健康监测系统的基本概念与理论、各种常用的损伤识别和健康监测方法,重点讨论了整体损伤检测法中的模型修正法和神经网络法,在这两种方法分析对比的基础上,提出了一种新型的健康诊断方法:“基于神经网络的模型预修正法”。本文首先介绍了这种新型方法的概念,然后对这种方法的各个步骤进行详细的介绍,并对其关键问题进行了分析。为验证这种方法的可行性,编制了一个试验测试系统,与ANSYS和MATLAB工具相结合,形成了对这种方法的验证系统。通过一个测试模型的计算,验证了这种方法的可行性和准确性。本文的主要工作包括:研究了目前已有常用的损伤识别和健康监测方法,在深入研究和对比模型修正法和神经网络法的基础上,提出了新型的健康诊断方法,称为“基于神经网络的模型预修正法”;使用VC.NET编制了试验测试系统,通过系统内部嵌套,后台透明使用了有限元计算工具(ANSYS)和数值计算工具(MATLAB);通过建立测试用先验模型,使用测试系统对此模型进行计算;通过调整测试系统和先验模型的计算参数,探索优化此方法的计算速度和精度的方法,并提出优化计算参数的计算方式;通过计算先验模型,计算了大量算例,在这些算例的计算结果上,分析这种方法的准确性;最后对这种方法向实用化发展提出了一些建议。

李云飞[6]2007年在《基于神经网络的多变量解耦控制方法研究》文中研究说明在工业控制中,被控系统往往是多变量、强耦合的时变系统。多变量系统的回路之间存在耦合,即系统某一个输入变量的改变通常会引起部分甚至全部输出变量的变化,降低控制系统的调节品质,耦合严重会使系统无法运行。为了得到满意的控制效果,必须对多变量系统实行解耦控制。多变量系统的解耦控制能把个回路之间相互耦合多输入—多输出系统变换为若干个相互独立的单变量系统,某一输出仅对某一输入有响应,从而使各个控制回路能很好的控制和运行。但对于绝大多数的多变量、强耦合、非线性、时变系统,采用单变量系统的设计方法已不能解决问题。如何获得这类复杂过程的解耦控制已经成为控制工程领域具有重要意义的热点问题。多变量系统的解耦可分为传统解耦控制,自适应解耦控制,智能解耦控制(包括模糊解耦控制和神经网络解耦控制),非线性与鲁棒解耦控制。神经元网络解耦控制是当前控制理论界的重大课题之一,尤其适用于传统控制方法难以解决的问题,因此更具有研究价值。文献[1]讨论了对PID神经网络采用BP算法训练连接权值。文献[2]提出了基于标准遗传算法的PID神经网络解耦控制算法。文献[1]采用BP算法存在易陷入局部极值的缺点,因此有可能使最终的控制结果达不到理想状态。文献[2]中,标准遗传算法随着进化代数的增加,种群的多样性逐渐减少,易出现种群早熟的现象,常常得到接近全局最优解的次优解。基于上述原因,作者采用一种改进的遗传算法来训练神经网络PID控制器的参数。该方法设计了基于目标函数的适应度函数,自适应的交叉概率、变异概率,引入移民的遗传算法,能有效地抑制早熟和维持种群的多样性。并结合精馏塔温度控制系统,仿真验证算法。能够获得满意的控制效果。

阎石[7]2000年在《结构振动智能控制的人工神经网络与模糊逻辑方法研究》文中研究指明本文的研究内容属于地震工程结构控制研究范畴。结构振动控制的研究包括控制装置和控制策略两部分。虽然结构振动控制的研究已经取得长足的进步,许多控制装置已经成功地应用于实际工程之中,然而关于结构振动控制策略的研究还存在许多问题。被控结构系统的非线性、时变、时滞、强耦合、分布参数以及非确定性等复杂因素的影响,给振动控制策略的研究带来很大困难。结构振动智能控制策略(方法)的研究为解决以上问题开辟了一条有效途径。 本文由三部分组成:第一篇,结构振动智能控制基本理论;第二篇,结构振动控制的人工神经网络方法研究;第三篇,结构振动控制的模糊逻辑方法研究。全文共分8章,主要研究内容如下: 第一部分由论文的前三章组成。主要提出了本文选题的背景和意义,归纳总结结构振动控制研究及发展的国内外现状;阐述了智能结构控制的特点和形成、发展的历程;并对结构振动智能控制中典型的人工神经网络和模糊逻辑方法的研究现状进行了论述;分析了存在的问题,在此基础上提出了本文的研究内容;全面介绍了多层前向BP网络和模糊逻辑控制的基本理论,研究利用多层前向BP网络和模糊逻辑进行结构振动智能控制基本方法,为结构振动智能控制的应用打下坚实的理论基础。 第二部分由论文的四、五章组成,主要研究和探讨了结构振动智能控制的人工神经网络方法。提出了利用神经网络预测结构振动反应的方法,在预测分析时引入了预测失效函数、重要性函数、权值函数等概念,从而有效解决了“时滞”问题;提出了利用神经网络控制结构振动反应的方法,并且对建筑结构混合控制进行数值仿真分析,实现了人工神经网络智能预测和控制。提出了新的可调频调谐液体柱型阻尼器(TLCD)的计算模型和算法,并对TLCD控制参数进行了系统的研究,首次实现了TLCD的人工神经网络智能控制。 第三部分由论文的六、七、八章组成,主要研究结构振动智能控制的模糊逻辑方法。本文提出一种新的快速、瞬时、自动调节隶属函数的模糊输入-输出范围的方法,首次提出了模糊范围影响系数的概念,有效提高了模糊控制的效果。提出了结构建筑结构AMD控制的模糊逻辑控制方法,通过数值仿真分析验证了所提出方法的有效性,并将分析结果与AMD瞬时最优控制 内 容摘要进行了对比。首次提出了相邻建筑结构相互振动控制的模糊逻辑和人工神经网络控制策略和分析方法,探讨和优化了控制器设置位置、阻尼影响等问题。其中,连接方式、控制器设置位置和控制准则是问题的关键,通过本文研究很好地解诀了这些问题。对全文进行了总结,在此基础上对结构振动智能控制的发展方向进行了展望。 结构振动智能控制方法的研究是一个崭新的课题,其研究成果必将全面推进结构控制技术的发展。

全宏亮[8]2002年在《多层前向神经网络的结构辩识和改进算法》文中提出近年来,神经网络的研究得到了异常迅速的发展,神经网络的特征充分显示了其在解决高度非线性和严重不确定性系统控制方面的巨大潜力,在各门学科领域中都有重要的意义。在神经网络模型中,多层前向神经网络是应用得最为广泛的一种网络,已经广泛运用于函数逼近、图像处理、模式识别、自适应控制等方面。 多层前向神经网络虽已应用于许多领域,但还是存在着一系列急需解决的问题,其中如何确定结构简单、性能优良的网络结构是最为棘手的问题之一,这一难题阻碍了神经网络更为广泛的应用。众所周知,应用神经网络的前提是确定网络的结构,但长期以来,由于没有理论的指导,大多数情况下都用试凑法来确定网络的结构,结果常常是计算量大,效率低。本文简要介绍了神经网络的基本知识,对神经网络结构辨识的方法做了系统的综述,对现有结构辨识的方法进行了探讨,分析了其优点和不足之处。本文对隐层神经元之间的关系进行了系统分析,得出在最优网络结构情况下,同一隐层的所有神经元对不同样本的输出应线性无关,并据此提出了一种新的神经网络结构辨识算法,还给出了容差的确定方法。仿真结果表明,网络的结构得到了简化,不仅满足了误差目标的要求,而且提高了网络的泛化能力。 BP算法是多层前向神经网络中应用最为广泛的一种算法,但是由于BP算法实质是一种梯度下降的搜索算法,它存在着其固有的不足,如收敛速度较慢,易于陷入误差函数的局部极值,而且对于较大搜索空间、多峰值和不可微函数也常不能搜索到全局极小点等,这一切制约着前向神经网络在各个领域中的应用,因此有必要对BP算法进行改进。本文基于反变换及奇异值分解,提出了一种改进算法,能够有效的提高网络收敛的速度和精度,计算机仿真结果也有力的证实了这一点。

郑波[9]2006年在《配棉工艺系统与纺纱质量预测的分析与设计》文中进行了进一步梳理本文利用BP神经网络建立纺纱质量预测模型,并构造以预测纺纱质量为主题的数据仓库,实现对纺纱质量的预测,从而能为企业降低成本、提高经济效益。运用软件开发的相关理论和方法,结合纺纱配棉工艺系统的需求分析,对系统进行了总体设计、数据库设计、功能设计及软件代码设计。系统采用模块化设计思路,具有界面友好、操作方便的特点,用户使用效果良好。论文主要进行了以下几方面的研究:概述神经网络的一些基础概念,着重分析了本文采用的BP算法,为克服标准BP算法的缺点,提出了一些改进措施;同时总结了有关多层前向网络逼近能力和泛化能力的一些研究成果,作为后续建模工作的理论依据。MIS系统数据库保存大量实际历史数据,这些数据是神经网络训练样本的来源。为提高训练样本的质量和效率,根据所采集到数据的特点,对数据进行了不良数据检测和数据筛选等预处理,构造以纺纱质量预测为主题的数据仓库。在此基础上,为纺纱质量预测建立BP神经网络模型,并给出了相应的仿真结果及其数据分析。由配棉工艺系统的需求分析确定系统主要任务及实现目标。依据软件设计的概念和原则进行系统功能设计;根据系统数据库基本设计原则,结合需求分析对系统进行数据库的概念设计、逻辑设计、物理设计及与其它子系统数据库的接口设计,并运用存储过程方法解决复杂事务处理。依据软件开发选择程序设计语言的基本准则和公司软硬件现有条件,采用了Windows环境下的Delphi 7.0作为前台应用程序开发工具,以Microsoft SQL Server 2000作为后台数据库管理系统,实现配棉工艺系统的各功能模块及解决有关系统运行的相关问题。

王雅琳[10]2001年在《智能集成建模理论及其在有色冶炼过程优化控制中的应用研究》文中指出在工业过程自动化方面,稳态优化控制已成为连续生产企业挖掘潜力、降低成本、增产增效、提高竞争能力的重要途径。但是,由于工业过程反应机理复杂,非线性、时变、强耦合严重,建立生产目标与操作参数间的稳态关系模型非常困难,从而影响了复杂工业过程优化控制的实现。因此,为实现复杂工业过程的稳态优化控制,本文重点研究了工业过程的智能集成建模方法及其工业应用。 首先,论文系统地分析和总结了过程控制、稳态优化控制、工业过程模型化研究以及有色金属冶炼过程控制的研究现状以及存在的问题,针对现有建模方法存在的缺陷、复杂工业过程的特点以及优化控制对模型的要求,提出智能集成建模的思想,较全面和系统地建立了智能集成建模理论的基本框架,即给出了智能集成建模的一般定义和六种集成形式:并联补式集成、加权并集成、串联集成、模型嵌套式集成、结构网络化集成以及部分方法替代式集成;同时,还给出了智能集成建模的形式化描述以及工程实现。该理论框架为新的建模方法的派生提供指导。 接着,在所提出的智能集成建模理论框架的指导下,根据NN的研究现状以及在工业过程建模中存在的问题,以神经网络建模方法为基础探讨了三类智能集成方法,即(a)多个神经网络之间的集成;(b)神经网络与传统建模方法间的集成;(c)神经网络与其它智能技术(如模糊技术)间的集成。第一类集成中提出了一种自适应的监督式分布神经网络ASDNN建模方法。该方法按照监督式聚类方法将学习样本集划分为多个具有不同特征值的子空间,然后建立一组神经网络模型,并按模糊组合方式将多个NN连接。ASDNN模型克服了单个神经网络在工业过程建模中出现的结构庞大、收敛慢、过拟合等问题,并且监督式聚类不需预先设定样本集的聚类中心个数,同时,保证了基于数据的样本空间划分的有效性和合理性;另外,ASDNN采用不同自适应学习机制实时修正网络模型,进一步提高了模型的实时预测能力。第二类给出了嵌套式、并集补以及结构网络化三种传统方法与神经网络集成建模的形式,并提出了一种用最小二乘法对神经网络输入加权的集成建模方法,该方法预测精度高,收敛速度较快,适合于非线性严重,特别是输入变量较多的工业过程。第三类集成中主要研究了一种模糊系统的网络化集成建模方法。该方法以ANFIS网络五层结构实现Sugeno 0型和Sugeno Ⅰ型模糊模型的网络化;基于已有的专家知识或采用竞争学习聚类方法初始化网络前件参数同时确定最初网络结构;在初始网络结构保证了网络学习可免于陷入局部极值的前提下,采用提出的加动量项模糊增强型BP算法和最小二乘混合学习算法提高学习速度,并用赤池信息准则AIC确定最优的网络结构;最后针对工业过程的时变性,还增加了网络参数的递推修正以及结构的增长式修正。用该方法建模,网络结构简单,易于学习,能较好实现模糊推理,可避免陷于局部极值点。 工业应用部分,论文以有色冶炼过程的优化控制为背景,以工业过程模型化研究为重点,探讨了锌电解过程分时供电优化调度和铅锌火法冶炼过程的建模与优化控制问题。针 王雅琳:智能集成建模理论及其在有色冶炼过程优化控制中的应用研究对具体的研究对象,进行了多种智能集成建模方法及其工业应用的研究,包括:昨)锌电解过程电流效率与电流密度和酸锌比间的模糊神经网络模型;O)基于经验机理模型和ASDNN的烧结块铅锌成分智能集成模型;k)由基于物料平衡和神经网络的数学模型和基于专家经验的规则模型并联组成的烧结块殁硫软测量集成模型;N)基于最优权重的烧穿点位置与透气性和台车速度的模糊规则与神经网络并联集成模型;忙)鼓风透气性与批重和批次的输入加权式神经网络模型。工业应用结果证明了这些智能集成建模方法的可行性、优越性和实用性。文中还在建立了过程优化模型的基础上,分别采用模拟退火算法、专家推理和遗传算法求解了三个不同的过程优化问题。其中,锌电解过程分时供电优化调度系统己投入生产运行,为锌电解过程带来显著的经济效益;而铅锌火法冶炼过程的优化控制只给出部分优化仿真结果和优化控制思路,尽管如此,他们验证了智能集成模型用于过程优化中的可行性,并能为控制的具体实施提供重耍指导。

参考文献:

[1]. 多层前向小世界神经网络结构自适应模型研究[D]. 许宜菲. 河北联合大学. 2013

[2]. 多层前向神经网络推广性研究及其应用[D]. 夏菁. 西北工业大学. 2003

[3]. 小世界理论在神经网络预测方法中的应用[D]. 杨成慧. 北京交通大学. 2012

[4]. 基于神经网络的水下机器人建模方法研究[D]. 张剑. 哈尔滨工程大学. 2006

[5]. 新型结构健康诊断方法[D]. 喻波. 清华大学. 2004

[6]. 基于神经网络的多变量解耦控制方法研究[D]. 李云飞. 大连理工大学. 2007

[7]. 结构振动智能控制的人工神经网络与模糊逻辑方法研究[D]. 阎石. 大连理工大学. 2000

[8]. 多层前向神经网络的结构辩识和改进算法[D]. 全宏亮. 武汉科技大学. 2002

[9]. 配棉工艺系统与纺纱质量预测的分析与设计[D]. 郑波. 东南大学. 2006

[10]. 智能集成建模理论及其在有色冶炼过程优化控制中的应用研究[D]. 王雅琳. 中南大学. 2001

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

多层前向神经网络结构的研究
下载Doc文档

猜你喜欢