用数据挖掘实现智能入侵检测

用数据挖掘实现智能入侵检测

乐毅[1]2004年在《用数据挖掘实现智能入侵检测》文中认为入侵检测系统的出现使网络信息安全保护上从被动走向主动,这样在网络防火墙基础上又增加一道局域网中内外兼顾的防护网。但是计算机系统的复杂化和网络数据的海量化,为我们安全审计网络数据带来极大的困难。数据挖掘技术的出现和机器学习理论的发展提供解决这个问题的有效的手段,我们可以从网络海量数据开发出自适应的入侵检测模型,它的研究具有重大的理论意义和实用价值。 本文主要从数据挖掘的角度对网络数据进行分析,发掘出入侵检测的模型,用机器学习的理论改进入侵检测的效率,提高入侵检测的自适应性。 第一章:网络安全的形势回顾,入侵检测开发的背景知识介绍;数据挖掘技术及相关问题、挖掘过程、方法;入侵检测相关问题、分类、检测过程;数据挖掘和入侵检测在数据库上结合的系统模型。 通过使用数据挖掘和机器学习算法得到入侵检测学习和分类模型,最终实现自适应的入侵检测。这是论文重点部分,主要有以下内容: 第二章:网络侦听审计数据极其丰富,包括大量冗余信息,获得生成入侵检测模型代价过高,且难以完成,是数据挖掘要解决问题。本文使用基于粗糙集(Rough Set)约简并和抽样结合来约简KDD99的海量数据中的属性,降低属性之间的相关性。粗糙集约简具有扎实数学理论基础,不需要背景知识,符合数据挖掘的要求。用ID3决策树算法去印证约简的有效性和检测的时间效率并生成检测规则。 第叁章:用统计学习理论改善归纳学习的泛化能力。从约简的数据出发,用统计学习的支持向量机算法进行入侵分类学习,产生自适应的入侵检测分类器。通过KDD99数据集实验比较SVM学习器的分类泛化能力。 第四章:介绍基于数据挖掘自适应模型生成(AMG),AMG是提供了一个基于数据挖掘的实时入侵检测结构。根据结构设计原则,用开源的Snort从网络中提取一定数据,进行简单入侵分析,并把分析结果用可视化界面反映出来 第五章:归纳总结,提出进一步研究方向。安徽大学2以”年硕士学位论文摘要 本文从基本的数据挖掘和人侵检测原理出发,按照数据挖掘的过程通过属性约简的预处理,规则生成,检测效率改进等步骤,最终实现自适应人侵检测。本文主要工作和特色如下: (1)使用具有广泛数学基础的粗糙集约简海量网络侦听数据的属性,产生具有较好的独立性人侵检测属性集,学习的时间效率也得到提高。并通过具有相通理论基础的决策树印证约简的正确性。 (2)通过使用统计学习的svM算法改进归纳学习的泛化自适应能力,使数据挖掘生成的检测模型能够适应网络的变化,能检测出新的人侵行为。 (3)引人基于数据挖掘的AMG架构,通过snort实时系统的使用,为进一步设计实用的基于数据挖掘的入侵检测系统打下理论和实践基础。

朱小栋[2]2005年在《数据挖掘技术在智能入侵检测中的应用研究》文中认为检测是计算机网络安全叁个元素里不可缺少的一个重要因素,随着网络黑客的攻击手段越来越高,并且很多的安全问题是由于公司企业的内部人员行为所致,人们在享受计算机带来巨大便捷的同时,对计算机安全的要求也越来越强烈。简单的通过预防已不能解决计算机的安全问题,入侵检测逐渐提高到和预防同一重要的地位,甚至它的重要性要超过预防。 入侵检测是对网络数据或者主机数据的数据分析过程,从中实时检测出基于网络或者主机的入侵行为,但是,计算机系统的复杂和网络数据的海量化,为我们的入侵检测带来极大的困难。数据挖掘技术的出现提供了解决这一问题的有效手段,对数据挖掘技术在入侵检测中的应用研究具有重大的理论意义和实用价值。 本文在入侵检测和数据挖掘做的研究工作基础之上将数据挖掘技术应用到入侵检测中,从提高入侵检测的效率和提高入侵检测的实用性的角度出发,分别对关联规则、决策树做了详细研究并用它们建立入侵检测系统模型。 第一章是绪言,详细地对入侵检测做出介绍。首先分析入侵检测在网络安全愈来愈受到威胁的环境中,入侵检测的日益重要的作用,然后给出了入侵检测的多种分类,并给出了入侵检测的一种通用的CIDF结构模型。 第二章主要介绍入侵检测中的数据挖掘技术。首先对入侵检测的过程进行剖析,然后给出入侵检测的一些常用技术,再重点对数据挖掘技术进行介绍。在第叁章里提出一种改进的关联规则算法,本文称之为哈希修剪算法,是对传统的Apriori算法的改进,然后结合入侵检测的需要,建立使用这个哈希修剪算法的入侵检测系统模型。通过具体的实验,证实了这种算法应用的有效性。 决策树是最实用的一种数据挖掘技术,从提高入侵检测的实用性出发,在第四章里研究了用经典的ID3算法进行入侵检测。并用实验来证明了决策树方法的实用性和高效性。 第五章提出一种多Agent的智能入侵检测系统模型。我们把数据挖掘的技术应用到Agent里来,这个模型能够充分提高入侵检测的效率,并且适合目前分布式入侵检测的需要,并且入侵检测的自适应自学习的能力大大提高。

卢彬[3]2005年在《应用数据挖掘技术的入侵检测系统研究与设计》文中研究说明随着计算机网络应用的普及和电子商务、电子政务的日益发展,计算机系统的安全问题越来越突出,攻击事件发生的数量逐年增加,近年的上升幅度更为明显。作为计算机安全领域的一个重要技术,入侵检测技术越来越受到人们的重视。然而,传统的入侵检测系统在有效性、适应性和可扩展性方面都存在不足,尤其是在遇到新的入侵类型时变得无能为力。针对这些不足,本文将从数据处理的角度,用数据挖掘的方法根据海量审计数据建立描述入侵行为的模型。我们从审计日志中归纳学习出分类规则,并以此作为描述入侵行为的工具,与现有系统结合建立新型入侵检测系统。本文首先对入侵检测系统的技术背景,系统架构进行了简要的说明和归类,对数据挖掘及其应用作简单分析,针对传统入侵检测技术的不足之处,将主要研究方向定在入侵检测系统模型的构建上,使用数据挖掘技术实施一个系统化、自动化的入侵检测系统。接着讲述分类问题,并应用分类算法进行实验,从审计数据中建立分类模型,并以此研究特征属性的构造对分类模型准确性的影响,根据对实验结果的分析,在入侵检测中增加了一定数量的特征属性,证明利用分类算法建立入侵检测模型的可行性。随后,根据Snort模型,建立误用入侵检测模型,将通过数据挖掘方法得到的检测模型应用起来,构建了基于数据挖掘技术的入侵检测系统Snort/DM,该系统模型引入学习智能代理、检测智能代理等概念,分析建立在Linux系统上的原型系统的结构,并对其中核心模块的详细设计进行介绍。

潘镭[4]2006年在《基于数据挖掘技术的分布式入侵检测系统的设计和开发》文中进行了进一步梳理入侵检测是计算机安全领域的一个重要技术,也是当前计算机安全理论研究的一个热点。但是在入侵检测的发展中也面临着新的问题,其中最主要的问题之一就是入侵告警数量的不断增长,误警率居高不下。本文首先阐述了入侵检测的概念和相关技术、入侵检测系统的研究现状,然后分析了数据挖掘技术在入侵检测系统中的应用。论文讨论了Apriori数据挖掘算法及其扩展算法。为减小入侵检测系统的误报率,提出了在Apriori算法中使用可变最小支持度和置信度,并给出了调整最小支持度和置信度的策略。设计了基于可变最小支持度和置信度的数据挖掘算法,并对该算法进行了优化。本系统采用分布式的层次结构进行总体设计,以适应部门层次多、地理分布广的应用环境,同时提高了ABCIDS系统对分布协同入侵的检测能力。文章对ABCIDS系统总体以及探测器子系统、检测分析子系统、数据库子系统、控制台子系统进行了详细设计与实现。系统引入了分布式CORBA中间件技术,利用CORBA的“软件总线”的特点,很好地解决了系统平台的异构性、适应性问题。论文还讨论了CORBA技术的安全性问题。基于CORBA良好的实时性,提出在分布检测系统的检测方法上,结合数据挖掘技术,增强系统分析的智能性和检测新入侵的适应性。论文详细讨论了基于CORBA的分布式网络入侵检测系统ABCIDS的体系结构、通信模型、功能模型、系统构成等方面,并且给出了系统通信中关键对象的IDL程序描述。

张学旺[5]2003年在《基于数据挖掘技术的入侵检测研究》文中指出入侵检测是信息安全保障体系结构中的一个重要组成部分。总体上,传统建立入侵检测系统的方法系统建立速度慢、更新代价高,而且对日益更新的网络设施和层出不穷的攻击方法显得缺乏有效性、适应性和可扩展性。本文介绍了一种基于数据挖掘技术建立入侵检测系统的方法。该方法是从原始审计记录中归纳学习分类规则并利用这些规则建立入侵检测模型。用规则建立一个有效的入侵检测系统的关键问题是首先从大量审计数据中提取出具有代表性的系统特征,用于描述程序或用户的行为,因此自动构造特征是本文的主要贡献。本方法中,首先把原始审计记录处理成包含基本特征的连接记录,然后应用数据挖掘算法计算连接记录中的频繁模式,并从频繁模式中自动生成入侵检测的附加特征。我们引入了数个扩展,即关键属性、引用属性、聪明级别的近似挖掘和具有相关支持度的挖掘,到基本的关联规则和频繁序列算法中。扩展的算法使用审计数据的特征指导“有关的”模式的有效计算。我们设计了一个简单的编码算法以便容易地分析和比较频繁模式。我们还设计了一个统计特征构造程序,它根据从审计数据中产生的频繁模式的语法自动地构造临时性的、统计的特征。最后,在一个入侵检测实验中测试了这个入侵检测模型的有效性。

邹涛[6]2004年在《智能网络入侵检测系统关键技术研究》文中研究说明智能入侵检测系统是指将人工智能技术应用于入侵检测的建模及检测的系统,是入侵检测技术发展的主要趋势之一。本文以建立一个智能网络入侵检测系统(INIDS)原型为主线,研究了其中包括数据采集与信息表示、数据预处理技术、静态建模技术、动态自动模型更新技术等在内的关键技术。论文的研究内容和创新点主要有以下几个方面: (1) 提出了面向智能入侵检测建模的数据采集及度量选取和构造要求,并从样本数量和度量集大小两个角度给出了建模时的信息充分性分析,为构造一个具有良好性能的智能入侵检测系统提供了保证。 (2) 提出了“强相关”和“增量有用相关”相结合的特征相关性定义,并在此基础上设计了一种基于遗传算法和Wrapper模型的新的最优特征子集选取算法——SRRW (Strong Relevant Restricted Wrapper)。与现有算法相比,SRRW在数据缩减和建模的准确性方面有明显优势。 (3) 针对现有误用检测系统建立单一行为轮廓,检测结果可信度不高的问题,提出了一种基于简单贝叶斯(Na(?)ve Bayes)后分类的双轮廓混合检测算法,有效地提高了检测的准确率和结果的可信度; (4) 通过对系统静态认知能力的研究,提出了一种新的面向数据的INIDS静态建模方法——概念级误用检测(Concept Level Misuse Detection,CLMD),解决了现有误用检测方法无法检测未知攻击的问题。该技术已申请国家专利(一种基于相关特征聚类的层次入侵检测系统,中国专利:03137094.2,2003-06-28); (5) 针对现有入侵检测系统无法实现知识库的即时自我更新问题,从多视和互训练的角度提出了入侵检测模型动态自动更新IDMDUA算法(Intrusion Detection Model Dynamic Updating Algorithm),使系统能够根据检测阶段的新信息实现检测模型的动态更新,大大缩短了新攻击的有效生存期,同时也减少了手工分析的烦琐劳动; (6) 通过对关键技术的研究,实现了一个具有自学习功能的INIDS系统原型。多个INIDS节点按一定的方式进行分布式设置,可以进一步得到具有自学习能力的大规模分布式入侵检测学习系统。提出了该分布式系统的框架,讨论了其中的规则集融合以及通信等问题。

廖国威[7]2004年在《基于数据挖掘的分布式入侵检测系统研究》文中研究说明网络入侵检测作为网络防护的重要技术,已经成为网络安全的热门研究方向。传统的入侵检测系统由安全专家人工构造检测规则,但在网络日益发展的今天,新的攻击方法不断出现,这种方法已经暴露出很多局限性,如工作量大、响应速度慢以及正确率与效率低等。 本文在原有的分布式智能入侵检测系统(DIIDS)的基础上,提出应用数据挖掘技术实现入侵模式的自学习方法,有效地解决了该系统在检测规则知识维护及更新上的问题,使系统具有较好的适应性和扩展性。 入侵检测系统的关键在于模式规则的准确性与概括性。在入侵检测系统中,本文利用数据挖掘技术实现对海量数据的分析处理,发现信息之间隐藏的模式,在构造基于时间和统计的特征的基础上,通过机器学习得到新的检测规则以实现系统知识的自动更新。本文在数据挖掘中采用关联规则和频繁事件模式实现了数据聚集、特征建立和特征选择的功能。根据网络数据的具体情况,本文还使用了轴属性、参考属性、相关支持度、层次宽度近似挖掘等方法对挖掘算法进行扩展,并论述了模式可视化、分析、比较及特征提取等方法。 最后,本文对系统模型应用于网络拒绝服务攻击环境的实例进行了分析,并提出了一种应用聚类分析对系统的改进方法。

刘波[8]2004年在《基于数据挖掘技术和智能体技术的入侵检测系统》文中认为本论文涉及的课题是“基于智能体技术的入侵检测系统体系结构的研究”,提出并深入研究了一个基于智能体技术的入侵检测系统的体系结构,构造一个比较理想的原型系统。本文陈述了所研究系统的主要特点和技术:将智能体(Agent)技术应用于入侵检测系统,解决了传统入侵检测系统的集中式解决方案的弊病,充分利用网络资源协同完成入侵检测任务;利用基于主机和基于网络的数据源,形成一种完整的混合型的结构,从而能收集到更加全面的信息;使用了异常检测技术和误用检测技术,既能检测已知的攻击模式,又能发现新的攻击模式。本文着重介绍了数据挖掘算法以及遗传算法,并阐述了后者在挖掘系统调用序列过程中的应用。设计采用特征向量集代替特征属性变量集,应用遗传算法选择特征子集,以降低入侵检测系统的负荷。本文还详细介绍了所研究系统的体系结构,对整个系统结构从上到下介绍了各功能模块的功能、结构及相互关系,例如控制中心、DMA、HMA、IDA等。并且,定义了数据库中的主要数据结构,描述了主要函数接口。同时,较全面地介绍了网络入侵检测代理的设计要点。

吉磊[9]2007年在《基于数据挖掘的入侵检测技术研究》文中提出随着Internet在全球的普及和发展,计算机网络已经和人们的学习、工作紧密的联系在一起。然而网络攻击与入侵行为对于国家安全、经济、社会生活造成了极大的威胁。因此,信息安全问题逐渐成为信息产业的焦点问题,并已成为国家安全的重要组成部分,也是决定国家经济能否持续高速发展的关键。入侵检测是信息安全技术的重要组成部分,涉及日志分析、漏洞检测、攻击路径检测等多种技术,这些技术在很大程度上依赖包括数据挖掘技术在内的多种数据分析和计算技术的发展。而数据挖掘结合统计和计算技术,从大量的数据集中获取有用的模式,从而能对数据库中数据属性、对象集进行有效的描述,产生指导性的规则集合,提供给决策支持系统。作为机器学习在数据库中的应用,数据挖掘研究可以在关联规则和序列模式等几方面对入侵检测、攻击路径检测等提供依据,从而为制定防护策略做出贡献。本文在理解数据挖掘算法的基础上,提出算法的改进方法,并着重研究将数据挖掘技术应用于网络安全审计数据中,对安全日志中的数据进行关联性分析,以发掘出入侵数据包的特征和攻击序列模型,从测试数据集中构造出入侵模型。本文前叁章分别简要介绍信息安全,入侵检测和安全日志的相关概念和基本原理;第四章重点介绍数据挖掘技术,包括了关联规则分析,序列分析,分类分析和聚类分析;第五章论证数据挖掘技术应用于入侵检测系统的必要性和实施的系统架构;第六章详细说明实验流程和实验过程中对关联规则算法的改进,其中重点研究了运用K-均值算法对审计日志做预处理和在实现关联规则挖掘时,如何改进Apriori算法,使之能在面对安全日志这种高维度数据时比原有算法效率获得大幅度提高;在第七章中对所做的工作作出总结并对未来的

陈华胜[10]2004年在《基于数据挖掘的入侵检测系统的研究》文中进行了进一步梳理随着internet的飞速发展,计算机网络已经在社会、经济、文化和人们的日常生活中扮演着越来越重要的角色。人们在使用计算机网络的同时,也深深的注意到网络安全的重要性。因此,研究如何快速准确的检测出网络中入侵事件的发生,就显得尤为重要和迫切。 在当前入侵检测技术中,基于数据挖掘的入侵检测技术有较好的发展前景。它将数据挖掘的技术引入到入侵检测中来,在智能型、准确性和扩展性方面有了很大的提高。本文在一个典型的基于数据挖掘的入侵检测系统的基础上,通过对新型入侵手段和数据挖掘的研究,对基于数据挖掘的入侵检测系统进行了分析与改进。作者所做的主要工作包括: (1) 分析了一个典型的基于数据挖掘的入侵检测系统MADAMID。重点研究了系统的组成结构,工作原理以及数据挖掘算法如何在入侵检测系统中的应用。 (2) 深入的研究了数据挖掘中的关键算法—关联规则挖掘算法。将MADAMID中的算法Apriori与其它叁种高速的关联规则挖掘算法进行了仔细的比较分析,并结合入侵检测应用中的实际情况,在四种关联规则挖掘算法中选出一种最适合入侵检测系统的算法—FP_Growth算法,该算法与Apriori算法相比在性能上有较大的提高。 (3) 通过对DDoS和蠕虫的入侵特征的分析,提出了在基于数据挖掘的入侵检测系统中如何快速检测到入侵以及快速响应的方法。 (4) 在原系统结构中引入了智能代理技术,提出了基于区域的入侵检测系统模型(ABID)。该模型具有以下特点:①引入区域的概念,将基于主机的入侵检测和基于网络的入侵检测结合在一起,提高了检测的准确性。② 采用分布式结构,区域间的入侵检测代理组件具有独立性,提高了处理速度和健壮性。③ 使用多层结构确保系统的组件各司其职,增强了系统的可扩展性。 (5) 提出了用户行为模式的异常检测的解决方案。采用Telnet会话纪录中的shell命令作为用户行为异常检测的数据源,用FP_Growth算法进行规则的挖掘,形成历史行为模式和当前行为模式并进行比较以实现异常检测。 本文的研究工作在入侵检测领域具有一定的理论和实用价值,可为入侵检测系统的设计提供参考

参考文献:

[1]. 用数据挖掘实现智能入侵检测[D]. 乐毅. 安徽大学. 2004

[2]. 数据挖掘技术在智能入侵检测中的应用研究[D]. 朱小栋. 安徽大学. 2005

[3]. 应用数据挖掘技术的入侵检测系统研究与设计[D]. 卢彬. 上海理工大学. 2005

[4]. 基于数据挖掘技术的分布式入侵检测系统的设计和开发[D]. 潘镭. 苏州大学. 2006

[5]. 基于数据挖掘技术的入侵检测研究[D]. 张学旺. 中南林学院. 2003

[6]. 智能网络入侵检测系统关键技术研究[D]. 邹涛. 国防科学技术大学. 2004

[7]. 基于数据挖掘的分布式入侵检测系统研究[D]. 廖国威. 西北工业大学. 2004

[8]. 基于数据挖掘技术和智能体技术的入侵检测系统[D]. 刘波. 电子科技大学. 2004

[9]. 基于数据挖掘的入侵检测技术研究[D]. 吉磊. 上海交通大学. 2007

[10]. 基于数据挖掘的入侵检测系统的研究[D]. 陈华胜. 武汉理工大学. 2004

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

用数据挖掘实现智能入侵检测
下载Doc文档

猜你喜欢