摘要：现阶段，人们只注重计算机软件的开发环节，忽视其后续管理及风险问题。软件管理和应用是计算机开发过程中比较薄弱的环节，因此需要加强对这方面的管理与控制，解决其中存在的问题，为计算机更好地发展提供动力。
关键词：大数据；系统；软件工程；管理；方法
引言
大数据时代，信息具有冗余化、海量化特征。其作为应用软件与所有信息新系统的“血液”，大数据的整个生命周期都会对软件应用范围、功能结构甚至软件使用产生影响。大数据时代与传统信息时代不同，人们更加注重大数据的安全性、价值挖据与算法研究，更多的在于关注大数据本身与数据应用。在软件工程中，人们为了解决软件系统开发中存在的异构系统问题，通过大数据挖据与建构软件工程管理体系，实现对软件系统的开发与应用。
1软件工程管理的内容
1.1开发人员管理
在计算机软件开发过程中，开发人员对开发工作的质量与效率具有主导作用，开发人员不仅要明确软件开发的目标、工具等，还要完成软件信息查找、代码编写、后期调试以及维护等。同时，软件工程开发并不是一项简单的工作，而是需要多名开发人员在不同环节与模块中进行操作，其工作分工、配合程度等会对软件工程开发的质量与进度产生重要影响。在软件开发人员管理中，首先要根据软件工程的性质、规模等明确工程所需要的开发人员数量与技术方向，随后根据开发人员的技能水平以及综合素质，合理规划分工人员在不同开发环节的职责与功能，强化软件工程开发的整体性与系统性，保证开发工作的顺利实施。
1.2用户管理
用户是计算机软件工程的使用者，其个人特征以及需求对软件工程开发的方向有着重要的影响。用户管理是在软件工程开发前对用户人群的文化、年龄等基本特征以及软件使用需求和习惯等信息进行调研和分析，将这些因素作为软件工程开发设计的依据。软件工程应用方向与需求的不同，会使得软件工程所具备的功能有所差别，也会导致软件工程开发工作整体的变动。因此，在工程开发之前管理人员要对用户的需求以及特征进行细致分析，在此基础上，明确开发的目的与方向。通过强化开发人员与用户之间的沟通，将用户具象化的需求转变为实际的软件工程系统与功能，进而实现软件工程设计的终极目标。
1.3开发过程管理
开发过程是软件工程管理的主体内容，包含对开发成本、开发进度以及软件开发质量的管控。开发成本是保证软件工程开发的基础条件，在预期开发成本的规范下，对软件工程的各个环节内容进行管控，是实现成本管控、保证开发工程经济效益的重要基础。开发进度则是保证软件工程及时交付客户以及控制开发成本的重要因素，进度管理需要管理人员对工程开发中的人力、物力资源进行合理调配，保证开发工作的效率，进而使开发工程能够按照预期完成。另外，在软件开发过程中对软件工程进行全程的质量管控，是保证软件工程总体质量的基础。在开发过程中要明确不同环节的质量规范与标准，并及时按照技术标准进行检测、核对，保证软件工程的质量过关。
2大数据系统中的软件工程管理方法
2.1数据资源池技术
逻辑数据资源池以大数据为核心，以(DRC)数据注册中心为基础，实现对软件工程进行优化管理：一是基于DRC(数据注册中心)对大数据进行逻辑管理。在逻辑资源池中，所有大数据均要经过DRC注册，并按统一标准对数据资源进行标识与规范化处理，减少数据冗余，记录不同数据状态、属主信息、数据大小、存储地址等属性信息。最后，数据注册中心会将注册后的源数据存储至逻辑数据资源池中统一管理。为用户提供数据定位与数据搜索等服务。二是DEC(数据异常控制中心)与DAC(数据权限中心)协同对应用软件系统进行维护。
期刊文章分类查询,尽在期刊图书馆
DAC主要负责对用户权限信息与角色进行管理，并采用加密技术结合大数据状态对其加密与解密处理。DOA定义下的大数据具有应用态(大数据在应用时授权解密)与数据态(大数据在传输与存储时加密)两种形态；而DEC主要负责对软件工程元数据等进行维护，并负责检测与控制数据资源池发生的异常。
2.2网页解析器模块的实现
在网页解析器模块的实现过程中，需要根据待提取的Url爬取列表进行分析，并获取其中最为关键的信息。因此对于网络爬虫而言，需要提取Url列表及其相应的价值数据进行分析。根据现有的python网页解析器，第三方插件的解析器较为常见，能够对网页字符做进一步处理，在对全面解构网页数据资料后，依靠不同数据之间的映射关系，将网页文档做进一步处理。在这种情况下，技术人员就能采用树形解构的方式，对网页中的详细资料进行定位，并获取有关资料的全面信息，例如信息的属性、节点信息等；在确定资料信息之后，就能依靠相应的访问节点，判断哪些是最有价值的信息，并呈献给用户。
2.3网页下载器模块的实现
在对Url数据做进一步处理过程中，需要对已经被下载的网页模块做深入的编辑处理，并采用HTML格式，将已经被下载的模块，以本地字符串的形式予以表达，最终满足网络爬虫数据处理的要求。一般在技术应用阶段，可以借助request的第三方包进行编辑处理。这个功能就是针对简单的网络爬虫运行要求，采用Urllib2的形式进行实现。这个模块作为一个python官方的基础模块，在整个网络爬虫技术中，能够完成网页下载、提交用户数据、代理访问等多种功能，并且能满足网络爬虫技术下文件上传、客户登录等基本功能。在这个模块功能的定义中，假设用户在登Url时，需要操作cookie才能登录成功。在这种情况下，就需要使用特殊的处理器，将爬虫程序做编辑，让这个程序能换个始终伪装成为用户正在浏览或者登录的网站，这样才能更好地获取网络数据信息。
2.4运用计算机软件使员工掌握工作内容
科技水平的不断提高，使得现在的计算机软件更加方便、快捷，从而更多的领域已经开始运用计算机软件，这样可以使相关人员更加全面地掌握工作内容，实时获取数据、信息，不再受到地点、时间的限制，不仅促进员工之间的联系，同时还促使客户通过使用计算机软件进行沟通和交流，及时传递信息，提高交易和合作的效率。总而言之，良好的计算机软件技术有效地改变了传统的管理模式，改善了工作方式，不仅方便了员工及时掌握工作内容，还加强了客户之间的信息传递，大大提高了各个环节的工作效率。由此可见，计算机软件开发才是推动管理机制不断完善的核心方式，只有不断地完善计算机软件工程的管理和应用，才能给人们提供更加便捷的服务，提高工作效率，充分发挥计算机软件的优势。
2.5开发一款智能化测试工具
大数据背景下的软件测试技术不再单一使用人工进行软件数据测试，可以开发使用一款智能化测试工具，提高测试的效率。
结束语
在大数据时代下，基于python的网络爬虫技术具有必要性，能够满足未来信息检索的要求，因此具有一定的推广价值。对于相关人员而言，在研究网络爬虫技术的相关内容时，需要了解大数据环境下的信息处理要求，能够从多个维度入手，对网络爬虫技术的实现策略进行改进，最终进一步提高网络爬虫技术的实施效果。
参考文献:
[1]彭崧.基于异步JavaScript技术的水稻病虫害图像网络爬虫设计[J].科技视界，2017.
[2]吴睿，张俊丽.基于R语言的网络爬虫技术研究[J].科技资讯，2016.
[3]钱程，阳小兰，朱福喜.基于Python的网络爬虫技术[J].黑龙江科技信息，2016.
[4]陈能技,黄志国.软件测试技术大全:测试基础流行工具项目实战[M].第3版.北京:人民邮电出版社,2015.
[5]宁华,陈永政,张正龙.软件测试技术及工具[J].现代企业教育,2014(5).
论文作者:竺立忠
论文发表刊物:《电力设备》2018年第13期
论文发表时间:2018/9/18
标签：数据论文; 软件工程论文; 爬虫论文; 软件论文; 计算机软件论文; 信息论文; 技术论文; 《电力设备》2018年第13期论文;