夏菁[1]2003年在《多层前向神经网络推广性研究及其应用》文中研究说明神经网络在模式识别、函数逼近、数据挖掘等许多领域已经取得了很多成功，但目前神经网络的理论和应用都还存在一些困难，如局部极小点、过学习、欠学习以及推广能力等问题。其中，网络的推广能力是衡量神经网络性能的最重要的指标之一，推广能力差的网络很难在实际应用中取得好的结果，如何提高网络推广能力成为该领域的热点之一。本文结合有关项目，对神经网络推广性理论以及提高网络推广能力的方法进行了较为深入的研究，提出了基于网络修剪的神经网络强推广性学习算法，该算法能够有效地提高神经网络推广能力，并把该算法用于高维多光谱图像分类中。人工数据和多光谱数据的实验结果表明该算法是非常有效的。 本文首先介绍了多层前向神经网络的基本问题，回顾了神经网络的发展历程，详细介绍了多层前向神经网络的结构、功能、BP学习算法以及在实际应用中所需要考虑的问题。然后介绍了神经网络推广性的概念，推广性的基本理论，以及目前常用的提高神经网络推广能力的方法，总结了当前神经网络结构优化与推广能力研究的现状。接着从神经网络结构对推广能力的影响入手，用实验的方法分析了隐层神经元数目与网络推广能力之间的关系。根据修剪网络结构能够提高网络推广能力的基本思想，提出了一种新的网络迭代修剪算法来提高网络的推广能力。最后简要介绍了高维多光谱数据分类的基础知识，并使用神经网络对高维多光谱数据进行分类，然后用我们提出的网络迭代修剪算法来优化网络结构，提高数据分类的精度。人工数据和多光谱数据的实验结果表明该算法能够有效地提高神经网络的推广能力。
刘庆平[2]2003年在《神经网络与支持向量机学习算法的理论及仿真研究》文中认为传统的神经网络(BP网络)在网络训练和网络设计上长期受困于叁个难以克服的缺陷，即网络训练速度慢、训练易陷入局部极小点和网络学习的推广性能差。本文从算法层和计算理论层两个层次对造成这些缺陷的原因和克服这些缺陷的方法进行了系统的研究。在算法层，本文对目前用于神经网络训练的各种算法，包括梯度算法、智能学习算法和混合学习算法进行了比较研究；对用于神经网络训练的BP算法的优化原理进行了详细的理论分析，找到了BP算法存在严重缺陷的原因，并对其两类改进算法-启发式算法和二次梯度算法―的优化原理，在统一的框架之下进行了详尽的理论描述；对神经网络全局优化算法主要是遗传算法进行了详细的阐述，并在此基础上，设计了一种性能改进的遗传算法；最后基于神经网络学习的benchmark问题对各种算法在网络训练中的应用性能进行了仿真研究，并提出了遗传算法受困于“维数灾难”的观点。这一层次的研究表明，算法层只是在原有神经网络的框架下利用高性能的优化算法克服网络学习的前两个缺陷，由于受目前优化理论的限制，很难有巨大的突破。在计算理论层，从机器学习的角度分析了造成神经网络设计困难的原因；对指导神经网络设计的统计学习理论和正规化方法给以了系统的阐述；并重点对由统计学习理论直接导出的先进的学习机器—支持向量机—的理论进行了比较全面的阐述；通过函数逼近和系统建模等学习任务对神经网络和支持向量机学习的推广性能进行了仿真研究。这一层次的研究表明，支持向量机可以很好地克服神经网络学习的叁个缺陷。因此，从计算理论层出发，对网络学习的本质进行研究，并设计新的高性能的学习机器，从而避开传统神经网络学习机器存在的难以克服的困难，是从根本上解决神经网络学习问题的可行方法。本文最后对神经网络学习和支持向量机学习的研究领域仍需进一步研究的课题提出了自己的见解。
黄道平[3]1998年在《多变量非线性过程控制》文中提出本文主要研究了多变量非线性过程控制问题，主要工作和研究成果由五部分组成：一、介绍了对于有纯滞后过程的基于神经网络的预测控制，提出了几种在线反馈校正方法。然后对非线性串联工业过程提出了基于神经网络的多重反馈预测控制、变校正系数及其设计方法。进一步，将此方法推广到多变量非线性系统，提出了带中间状态反馈校正的基于神经网络的多变量非线性预测控制，给出了反馈校正矩阵的设计方法。二、提出了动态多变量非线性系统的静态逆模型概念，给出了基于集成模型的非线性系统的逆系统线性化策略，同时亦提出和讨论了多种有效和实用的静态逆模型求取方法。叁、将单输入单输出的Hammerstein模型推广至多输入多输出系统，提出了广义Hammerstein模型，给出了其辨识建模方法。进一步，为了适应更一般的多变量非线性系统，提出了一种由人工神经网络与线性离散差分模型相结合的集成模型，并给出了其辨识训练方法。以此类模型为基础，提出了相应的多变量非线性预测控制算法。它们利用了线性预测控制的成果，避免了通常非线性模型(包括普通人工神经网络模型)预测控制所需的在线数值寻优计算，大大节约了在线计算时间，提高了算法的可靠性和稳定性，确实为一种有效的多变量非线性控制算法。四、提出了一种通过对象输出预测实现对角优化解耦的补偿器设计方法，给出了该补偿器的解耦算式。此预测优化解耦补偿器有别于传统的动态或静态解耦补偿方法，适用于具有非最小相位特性的众多多变量系统的解耦补偿，具有很好的稳定性和可实现性。进一步将基于线性模型的自适应预测优化解耦补偿器的原理推广到非线性系统，设计出适用于一般多变量非线性系统的非线性自适应预测优化解耦补偿器。五、根据解耦补偿和优化控制的思想，提出了一种完全不依赖于对象模型的自适应神经元多变量优化补偿器模型，给出了神经元权系数的在线学习方法，分析了神经元优化补偿器的工作机理。该自适应神经元优化补偿器算法简单、实现容易、完全不需要对象模型。 对本文提出的各种新的控制方法、新的算法均进行了仿真研究，并给出了相应的仿真研究结果。
李嘉[4]2005年在《基于支持向量机的软件可靠性早期预测研究》文中指出随着计算机技术的飞速发展,人们对计算机系统的依赖性越来越高。而在造成计算机系统错误的因素中,软件占了绝大部分。因此,如何保证软件质量,设计并开发出可靠的软件已经成为当务之急。由于软件可靠性早期预测在测试前就能够使开发和测试的相关人员对软件的可靠性有一个大致的了解,所以对于软件如何进一步开发、测试和质量的控制都具有十分重要的作用。 支持向量机是建立在统计学习理论中VC维和结构风险最小化基础上的一种全新的学习机器。它根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷,以期获得最好的推广能力。与传统建模方法相比,基于支持向量机的方法具有显着的先进性,能够解决人工神经网络中结构难于确定、拟合不充分或过拟合、容易陷入局部极小点等诸多问题,并且具有出色的小样本性能。 本文概述了国内外关于软件可靠性早期预测方法的研究现状,重点分析了多元线性回归和人工神经网络这两种经典建模方法,并指出其不足。由此,将支持向量机理论引入到软件可靠性早期预测领域中来,并结合聚类分析、主成分分析、特异样本点判别、数据归一化、交叉验证、非启发式深度优先搜索等数学工具,提出了基于支持向量机的软件可靠性早期预测模型。通过对比仿真分析,证实了新模型同传统模型相比预测精度更高,泛化能力更强,对样本数量的依赖程度更低。并在此基础上设计了一个软件可靠性早期预测软件系统,来帮助实现软件可靠性早期预测工作的自动化。
夏建涛[5]2002年在《基于机器学习的高维多光谱数据分类》文中研究表明结合国家863计划项目、国防973项目和教育部博士点基金项目，研究了有限样本下基于机器学习的高维多光谱数据分类问题。高维多光谱数据分类中，由于训练样本非常有限、数据维数很高，以经验风险最小化为归纳原则的传统模式识别方法通常难以取得很好的结果。以统计学习理论(Statistic Learning Theory—SLT)、支持向量机(Support Vector Machine—SVM)和人工神经网络(Artificial Neural Networks—ANN)为基础，本文开展了以下几个方面的研究工作： ● 深入分析了高维多光谱数据的特点和传统模式分类方法在高维多光谱数据分类中面临的困难。把统计学习理论和支持向量机用于高维多光谱数据分类，有效地克服了Hughes现象，获得了比传统方法更好的分类精度。深入研究了在高维多光谱数据分类中，SVM的性能与核函数类型、核函数参数、支持向量(Support Vector—SV)、训练样本数目、数据维数等之间的关系。 ● 根据SVM的分类判决面仅由支持向量决定的特点，提出了基于边界样本选择的快速SVM学习算法(BSS-SVM)。在SVM学习之前，首先剔除训练样本集中距离判决边界远的样本，选取靠近判决边界的样本构成有效训练样本集，然后用SVM对有效样本集进行学习，这样大大降低了训练样本集的规模，提高了SVM的学习速度。为了提高边界样本选取的速度，提出了基于模糊聚类(FCM)的快速边界样本选取策略。 ● SVM是针对两类分类问题设计的学习机器，不能直接用来解决多类分类问题，然而高维多光谱数据分类问题是典型的多类分类问题。本文提出了基于纠错编码的SVM多类分类算法(ECC-SVM)，并分析了ECC-SVM的推广能力与编码长度、码间汉明距离、编码顺序以及分类间隙等之间的关系，给出了这种关系的数学描述。把目前广泛使用的1-v-R SVM多类分类算法作为ECC-SVM的一个特例，给出了1-v-R SVM推广性的数学描述。推广性的理论分析结果将指导人们更合理地使用这个算法来获取更好的分类精度。 ．双并联前向神经网络（Double Parallel Feedfo。rd Neural Networks一 DPFNN）已成功应用于多光谱数据分类，对其推广性的研究具有十分 重要的意义。本文对DPFN’N的推广性进行了深入的理论分析，发现 了影响DPFNN推广性的主要因素，并得到了从本质上提高其推广能 力的方法。理论分析结果表明，输出层权值控制着DPFNN的椎广能 力。在这个结果的基础上，提出了基于输出层权值正则化的强推广性 DPFNN学习算法，通过控制输出层权值提高了DPFNN的推广能力。 该算法可以推广应用于其它多层前向神经网络的训练中。 t 根据高维核空间的性质，提出了基于Bhattach叩a距离准则的核空间 特征提取算法（BgyE）。该算法采用核函数把样本非线性映射到高维 核空间，在核空间中寻找一组最优的特征向量，把样本线性映射到低 维特征空间，使类别之间的Bhattach删a距离最大，从而使特征空间 中样本的BayCs分类误差上界最小。采用核函数技术，把特征提取问 题转化为一个 QP优化问题。QP优化问题在数学上具有全局收敛性， 而且有快速算法支持，所以BKFE特征提取算法的速度和提取的特征 质量都得到了保证。此算法具有叁个优点：＊）提取的特征向量更有 利于分类；o）对于给定的模式分类问题，算法可以预测出在不损失 分类精度情况下所必需的最少特征向量的数目，并能够提取出分类有 效特征；O）对于多类分类问题，算法给出了与原始空间有相同分类 精度需要的特征向量数目的上界。 以上理论分析结果和算法己应用于国家863－308提供的64波段多光谱数据和美国 AVIRIS 220波段多光谱数据的实际分类中，取得了令人满意的结果。本文的研究结果为有限样本下高维多光谱数据分类提供了新的理论和方法。
吴波[6]2003年在《基于神经网络的结构地震反应仿真与系统辨识》文中提出建筑结构的系统辨识是结构控制和健康诊断发展的必然要求，是工程防灾减灾的一个重要课题。具有大规模并行性、冗余性、容错性、本质的非线性及自组织自学习自适应能力等特点的人工神经网络，自然成为系统辨识的有力工具。本文结合已有的研究成果，利用Matlab平台对基于人工神经网络的结构地震反应仿真和参数识别进行了一些尝试和探索。本文在了解神经网络的概念、逼近能力、训练算法、拓扑结构与网络性能之间关系等问题的基础之上，探索了基于神经网络的结构地震反应仿真的方法和步骤，包括样本集的准备、目标函数的选取、网络拓扑结构的构建、隐层神经元数目的确定、训练方法的选择以及提高泛化精度的措施等若干实际问题。进而编制出基于Matlab平台的线性和非线性结构地震动仿真程序，并利用该程序进行了算例分析，从中总结出若干方法和规律。对基于神经网络进行线性结构动力参数识别进行了一些初步的探索和研究，提出了基本的思路和方法，并进行了算例分析。最后得出结论，神经网络应用于结构地震反应仿真是切实可行的，具有精度高、速度快、容错性强、不受结构模型限制等优势。并且基于神经网络的结构参数识别是可行的。
方骏[7]2004年在《支持向量机在工业质量检测中的应用研究》文中提出神经网络的理论基础是最小化经验误差，这种基于传统的渐进理论的学习方法，在训练样本点无穷多时是适用的。但是实际的情况是训练样本点数通常是有限的，有时甚至很少。因此在实际的工程应用中，支持向量机(SVM)作为一种新型的小样本建模分析工具是更适合的。基于结构风险最小化原则的SVM，一经提出便一起了很多研究者的关注，并取得了较多的研究成果，但是其目前的应用领域主要集中于模式识别领域，如语音识别、图像分析和文本识别等方面。而工业应用比较缺乏，因此本文的一个目的是探讨SVM在工业应用中的可能性及有效性，本文选择的主要应用领域为推断测量，用于水质COD值的监测和连续重整装置中的参数检测。 在解决各个特定的工程问题时，本文又针对各自的特点，提出了相应的改进算法以便于应用。具体的内容包括如下几个方面： 1．通过阅读大量的中英文文献，对统计学习理论、支持向量机的理论发展、基本概念和研究方向做了比较系统完整的阐述。同时对推断测量这一应用领域进行了简单的介绍。 2．首先分析了水质检测的背景和目前使用常用技术，在分析了常用技术的缺陷之后，提出了利用SVM进行水质检测的方法。该方法是一种基于最小二乘支持向量机的在线自适应加权算法，这种算法可以自适应地选取和未知水样最相近的标准样本进行建模，同时在建模中又利用加权的方法分别考虑了各个标准样本重要性。实例分析表明，采用这种算法建立的模型具有比用传统技术(如PLS，MLR，BP网络等)更好的预估效果，同时预估值与标准分析值之间也显示了良好的相关性。 3．将SVM运用于连续重整装置中的参数预估问题，在简要介绍及说明了工程应用中存在的问题之后，如训练数据是小样本，具有实时性的要求，而且在线应用具有模型偏移的问题。为了消除模型偏移以及为应对训练样本较少的情况，将移动窗口法运用于推断测量中，同时采用了最小二乘支持向量机递推估计算法用于减少计算复杂度，以增加算法的实时性。另外，在上述递推算法的基础上，引入了训练样本加权的思想以区分各个训练样本对于建模的重要性，进一步提高和增强预估模型的总体性能。实例分析表明，采用这种算法建立的模型具有比传统技术(如BP网络和RBF网络等)更好的预估效果，同时新算法的实时性与标准SVM和标准LSSVM算法相比也有一定改进。最后实例分析也表明，采用移动窗口方法可以在一定程度上扼制在线推断测量模型的模型漂移问题。 4．为弥补与克服推断测量的常用技术之一的神经网络中存在的隐节点难以11摘要确定和训练速度慢问题，提出了一种可用于多层前向神经网络模型的非迭代快速训练算法。该算法将非线性拟合问题转化为一个近似等价的线性最小二乘问题，并运用非迭代的最小二乘方法确定最佳网络权值，因而可以达到快速训练的目的。同时，为确保训练而成的模型具有最少的隐节点数，本算法根据拟合精度的要求，逐步增加前向网络的隐节点数，直至达到拟合要求。即使当拟合精度要求过高时，该算法也可以根据拟合精度的改善状况来确定是否继续增加隐节点，这样的设计可以避免隐节点数的过分增加。与常规BP网络所采用的基于梯度下降的训练学习算法相比，经由本文算法训练而成的神经网络模型无论在拟合精度、训练速度、泛化能力以及隐节点数等方面都要优于传统的BP网络。
王海燕[8]2007年在《支持向量机在水利水电工程中的应用》文中提出2004年我国水电装机容量突破1亿kW,占全国发电装机容量的1/4,提供了全国1/5的电力需求。近年来,中国用电量快速增长,大部份地区出现煤电紧张状况,然而我国水能资源丰富,理论蕴藏量6.94亿kW,技术可开发容量5.42亿kW,经济可开发容量4.02亿kW,年发电量约17500亿kW·h。为缓解电力供需矛盾,国家加大了对水电开发建设的投入。“西电东送、南北互供、全国联网”的发展战略为中国水力发电技术的发展带来了新机遇。水力发电过程中,有许多问题需要研究,本文针对传统算法的一些弊端,采用支持向量机解决水力发过程中的一些问题。本文的主要内容有以下几个方面:⑴论述了支持向量机在径流预报、水力发电机组振动模式识别中应用的必要性、可行性及其发展趋势;⑵介绍了支持向量机、元胞自动机的基本理论;⑶以邯郸市漳河上游天桥断水文站从1959年到1990年的各月平均流量为样本,根据元胞自动机基本理论建立了径流预报的螺旋线元胞自动机模型,并应用支持向量回归机进行径流预报;⑷分析了尾水管压力脉动的产生机理及形成特点,在应用小波包分解方法提取尾水管振动特征的基础上,采用支持向量机,对尾水管压力脉动状态进行聚类分析;⑸针对水轮机转轮空化特性和压力脉动特性所对应的空间曲面比较复杂的特点,以转轮能量试验结果和空化试验结果为依据,研究用支持向量回归机建立水轮机空化特性和压力脉动特性的双输出模型,并应用于四川紫坪铺水力发电厂中的水轮机空化和压力脉动特性的双输出模型的建模过程中。提取水力发电过程中实际问题的相关数据,根据相关理论建模,并应用支持向量机进行拟合、聚类分析是本文的重要研究环节,文中建立的径流预报的螺旋元胞自动机模型,基于支持向量回归机的径流预报模型,水轮机空化、脉动特性的双输出的支持向量回归机模型及尾水管压力脉动状态的聚类分析模型是本文的主要成果。
赵行[9]2010年在《SVM分类器置信度的研究》文中指出当今,由于海量数据的形成,迫切需要将这些数据转换成有用的信息和知识,促进了数据挖掘的应用,使这一技术迅速得到发展和完善。数据挖掘是数据库、人工智能和统计学等学科的研究热点领域之而分类技术作为数据挖掘技术的一个重要研究方面,受到研究者们的广泛关注。支持向量机(SVM)是最重要的分类技术之一,也是近年来机器学习领域的研究热点,是借助最优化理论解决分类问题的有力工具,在许多实际分类应用中都表现了良好的性能。本文对SVM分类器分类结果的置信度评估及决策修正算法进行了研究,利用直接得到的观察量来反映识别结果之间的相对可靠性,共设计了四种算法。通过实验证明了其中一种算法为最佳算法。在该算法中,我们在分类器预测阶段获取待测样本和最优分类超平面的距离,并且计算待测样本的j个近邻训练样本与待测样本经Libsvm判断的初始分类结果同属一类的概率。对于给定的拒识率,该算法拒识并修正置信度小于相应置信度阈值的样本分类结果。实验结果证明此置信度评估及决策修正算法能够很好地提高分类中常用的Libsvm分类器的性能,并且该算法具有相当的稳定性。
宋芸[10]2003年在《基于小波与神经网络的变压器励磁涌流识别方法的研究》文中研究表明随着我国电力工业的迅猛发展，对大型变压器保护提出了新的要求。在研究新型微机变压器保护过程中，如何防止变压器突然空载合闸时出现的励磁涌流所造成的保护误动作，仍然是最关键和最困难的问题。若能将励磁涌流识别出来，就能提高保护动作的可靠性，因此本文针对当前实际应用的和有关文献中提到的一些识别方法进行了分析、比较，在综合考虑多方面因素后，给出了一种基于小波与改进型动态结构神经网络的励磁涌流识别方法。 由于小波变换分析方法具有多尺度分析和时—频局部化特性，特别适合边缘和峰值突变信号的处理和特征提取。当小波函数取光滑函数的一阶导数时，信号小波变换的模在信号突变点将取得局部极大值。本文利用这些性质不仅对叁相变压器的非对称性涌流间断角的大小进行测量，同时还测量了对称性涌流的间断角，测量精度有一定的改善。 本文采用的神经网络识别方法与以往的神经网络辨识方法不同。首先，文中将叁相变压器两相涌流差流的二次谐波含量比和间断角作为网络的输入变量；其次，利用对原有BP网络训练算法基础上的改进型算法(即在计算本次权值和阈值的变化时增加上一次权值和阈值变化的影响以及采用变学习率，与此同时隐含层神经元个数采用动态形式)，通过样本训练使网络结构模型达到最优。仿真实验结果表明，用该方法所设计的神经网络模型训练速度快，识别效果好。
参考文献：
[1]. 多层前向神经网络推广性研究及其应用[D]. 夏菁. 西北工业大学. 2003
[2]. 神经网络与支持向量机学习算法的理论及仿真研究[D]. 刘庆平. 燕山大学. 2003
[3]. 多变量非线性过程控制[D]. 黄道平. 华南理工大学. 1998
[4]. 基于支持向量机的软件可靠性早期预测研究[D]. 李嘉. 合肥工业大学. 2005
[5]. 基于机器学习的高维多光谱数据分类[D]. 夏建涛. 西北工业大学. 2002
[6]. 基于神经网络的结构地震反应仿真与系统辨识[D]. 吴波. 重庆大学. 2003
[7]. 支持向量机在工业质量检测中的应用研究[D]. 方骏. 浙江大学. 2004
[8]. 支持向量机在水利水电工程中的应用[D]. 王海燕. 河北工程大学. 2007
[9]. SVM分类器置信度的研究[D]. 赵行. 北京邮电大学. 2010
[10]. 基于小波与神经网络的变压器励磁涌流识别方法的研究[D]. 宋芸. 河海大学. 2003
标签：自动化技术论文; 支持向量机论文; svm论文; 神经网络模型论文; 自组织神经网络论文; 预测模型论文; 网络模型论文; 线性系统论文; 系统仿真论文; 分类数据论文; 样本容量论文; 网络结构论文; 能力模型论文; 网络优化论文; 高维空间论文; 应用推广论文; 非线性论文; bp神经网络算法论文;