摘要：随着科技不断创新，网络技术在不断地开发和应用，网络中的数据量越来越大，伴随着的是用户的数量呈现出了猛增的趋势，网络安全分析的数据也有了明显的上升趋势，个人和公司的信息安全与网络安全问题息息相关，在这种情况下，随之而来的是大量的数据，这就使得各个行业都需要大量的专业人员利用网络技术来处理大数据。现阶段，市场竞争日益激烈，互联网技术将传统的应用模式取而代之，所以各个行业要想有更高的经济效益就必须借助网络技术来改变自身原有的古板的经营模式，使企业的运营更专业更科学。
关键词：网络安全；大数据技术；分析；应用
网络技术的应用具有普遍性，网络数据的来源变得越来越广泛，内容也变越来越细致，这使网络安全技术的结构具有复杂性。在信息化时代，数据更新的速度不断加快，人们接收和发送信息的速度也越来越快，但是数据分析的速度却远远落后于网络安全漏洞增加的速度，急需引进先进的技术。创新和探索新的系统软件，增强网络的防御能力，及时预测数据泄露问题，弥补系统安全漏洞，使用效率高具有可持续性的工具，为个人和企业提供一个安全的网络环境。
1应用大数据技术的必要性
信息网络技术的发展为人们的工作、生活带来了极大的便利，但也引发了诸多问题，比如：网络架构日渐复杂，数据来源日益丰富，信息数量呈爆炸式增长，已经从TB跃进到PB数量级，在细节上更加细致，影响的范围越来越大，这就给网络安全分析带来了较大的难度；网络系统的性能不断提高，信息传送速度越来越快，对安全数据的采集有了更高的要求；此外，网络的开放性、兼容性也造成了越来越多的安全漏洞。而且，许多不法分子为谋取私利而对网络系统进行频繁的攻击，这就要求我们的网络安全分析必须具备针对性的应对手段。有关调查发现，未来的信息网络离不开大数据技术的应用，随着研究的深入其在多个行业领域都获得了应用。尤其是在网络安全分析中，大数据技术的应用有着速度快、种类多、覆盖范围广等优点，能够充分满足当前对安全数据分析的高效率、大容量的要求。
2大数据技术在网络安全分析中的应用
在网络安全分析中，较为关键的内容包括两个方面，一方面是流量数据，另一方面是日志数据。在具体的分析过程中，可对大数据技术进行合理应用，通过该技术能够将流量和日志数据全部聚集起来，借助数据采集和数据挖掘功能，可对相关的数据进行存储，再以检索的方式对这些数据进行分析，若是发现数据中存在安全隐患，大数据技术则会采取有效的措施，对隐患进行排除，无法排除的隐患，则会以告警的方式通知用户，由此使得网络的安全得到进一步保障。利用大数据技术对网络安全方面的问题进行分析，除了可以使安全问题的发生几率大大幅度降低之外，还能防止数据信息丢失或是外泄的情况发生，其将网络安全防御从原本的被动型转变为主动式，从而使网络安全问题得到有效解决。在网络安全分析中，大数据技术的应用主要体现在如下几个方面：
2.1信息的采集
Flume、Kafka与Storm三者融为一体是信息采集的重要部分，它对数据进行收集和规整，选用高效是数据和信息，制定信息报告，建立数据系统，然后使用相应的方法将数据展现出来，最后要确保同一个源头的数据不会传送到同一个接受者手中，在所有数据中有一小部分数据是要进行再次处理的，然后才可以将数据传递给接收方。需要注意的是，在对流式数据进行加工时，工作人员应该使用Kafka来采集数据，一其作为流式数据的缓存格式，让它成为分布式发布的订阅系统，服务于生产者、消费者和代理商，并且为它们提供基础数据。
2.2在数据存储中的应用
由大数据技术的特征可知，其不但具有较大的容量，而且数据的种类也相对比较复杂，在这一前提下，使得大数据有着多种不同的应用方式。为了满足网络安全分析的需要，并在原有的基础上，进一步加快网络安全分析的速度，在应用大数据技术使，就必须采用不同的存储方法，对不同类型的数据信息进行存储。
期刊文章分类查询,尽在期刊图书馆在网络安全分析中，原始数据非常重要，该数据与流量和日志数据的检索有着密切的关联。对此，可通过Hbase存储原始数据，该方式最为突出的特点是，检索速度快。经过分析处理之后，被判定为安全的数据，则可借助Hahoop的方法计算出数据的构架，并将计算结果存储到数据阵列当中。当需要对数据进行实时的安全分析时，则可采用Stom进行计算。
2.3在数据检索中的应用
在对网络安全进行分析的过程中，安全的数据检索可借助相应的检索架构来完成。这种检索架构通常需要以MapReduce作为基础，当用户正确输入检索条件后，架构会将检索信息自动传给分析节点，并完成对信息的加工和处理，再通过分布式的计算方法，可使检索速度获得进一步提升。
2.4数据信息的分析
在使用大数据技术对数据进行分析时，主要依据为Strom和Spark的流式计算架构，工作人员通过处理复杂事件和计算定制的电联对数据的内存进行深入研究和认真分析，从而察觉远距离监控、安全信息、捕捉等相关的不正常行为。除此之外，在对非实时性的数据进行分析时，应该以Hadoop架构为基础，然后使用数据聚合、分析事态、数据挖掘和数据抽取等技术，采用HDFS分布式存储和MapReduce分布式计算的方式，对攻击源进行排查，进一步促进了网络安全分析工作。
2.5多源数据和多阶段组合的关联分析
相关行业和部门使用大数据技术来增加数据存储的空间和数据分数的速度，在一定的时间内，网络安全分析系统可以对多源异构数据进行分析和采集，准确找出安全分析系统中存在的安全隐患以及不同攻击行为在不同关联阶段的表现。例如，在对网络安全数据进行分析时，使用大数据技术，考虑流量和DNS的访问特点，对僵尸网络进行分析，拓展数据查询的范围，及时采集莫管数据、采集全分组数据以及溯源数据等信息，对外界情报进行深度关联分析，找出安全漏洞和主机被攻击留下的痕迹，做好防范准备工作，真正做到及时发现、及时处理。
3基于大数据技术的网络安全分析平台构建
大数据技术很好的解决了网络安全分析中存在的一些问题，根据大数据技术在网络安全分析中的应用方法，基于大数据技术的网络安全分析平台可以通过以下步骤来建设：（1）构建系统模块。根据网络安全分析的原理及功能进行分解，可以主要分为以下几个重要模块：数据源模块、数据采集模块、数据存储模块、数据分析模块、数据结果展示模块。（2）选择实现平台的关键技术。对于数据的离线和实时信息采集统一这一问题，可以利用Flume与Kafka、Storm等技术来完成，采集到的数据一般存储在HDFS中，HDFS是具有高容错性特点和高吞吐量特点的分布式文件系统。对于数据的分析可以利用Hive来对相应的信息统计分析，HDFS和HBase对非结构化数据的检索一般用SQL和HiveQL来实现。通过Hive对API进行封装，通过需要定制的检索和应用分析插件来满足系统使用者不同的数据分析需要。
4结语
时代的发展以及各行各业对于网络安全的要求推动着大数据技术在网络安全分析中的应用，这是当下时代的潮流趋势。通过大数据技术的应用，不仅可以解决当下网络安全分析所面临的一些问题，而且大数据技术一定可以为网络安全分析带来新的创新点，推动网络安全事业大踏步地向前发展。
参考文献：
[1]王帅，汪来富，金华敏，沈军.网络安全分析中的大数据技术应用[J].电信科学，2015.
[2]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017.
[3]于硕，周仲科.大数据技术在网络安全分析中的应用[J].经贸实战，2018.
[4]王颖.网络安全分析中的大数据技术应用探究[J].电脑知识与技术，2017.
论文作者:冯倩,李婷婷,王雅馨
论文发表刊物:《电力设备》2018年第21期
论文发表时间:2018/12/6
标签：数据论文; 网络安全论文; 技术论文; 网络论文; 信息论文; 进行分析论文; 系统论文; 《电力设备》2018年第21期论文;