国网陕西省电力公司西咸新区供电公司 陕西西咸新区 712000;
国网陕西省电力公司西咸新区供电公司 陕西西咸新区 712000
摘要：信息通讯系统属于智能电网重要系统，其合理推进了现代化电网生产及管理方式的发展，也让电力行业迎来了电力大数据时代。电网技术水平的不断提升，使得大数据关键技术在电力系统中的应用量飞速增长，其间数据量及信息量提升快速，这对电力系统信息处理则提出了更高要求。文中就云计算及大数据关键技术和智能电网这三者关系进行了深层探析，对电力大数据关键技术展开了概述。
关键词：智能电网；大数据技术；关键技术
1智能电网大数据特征
在智能电网的运行中会产生大量的数据，根据其来源的不同，可以划分为两大类：①电力企业内部数据，其主要产生于各大应用系统中，如：数据采集与监控系统、生产管理系统、配电管理系统、客户服务系统等等；②电力企业外部数据，其主要产生于互联网、地理信息系统、气象信息系统等等，此类数据十分分散，管理单位各自不同。由上文可知，智能电网具有数据多样性特点，数据源众多，半结构化、非结构化数据占比不断增加，例如：客户服务系统中的语音数据、在线监测系统中的视频、图像数据均属于是非结构化数据，其价值密度较低。同时，此类数据各自的采样频率、生命周期也存在差异。
2智能电网、云计算、大数据的关系
2.1智能电网与大数据关系
智能电网的构建离不开通信技术、信息技术以及相关基础设施的支持，当前我国智能电网发展迅速，其在保证供电质量、提高能源使用效率等方面发挥着重要作用。通过智能电网的应用，能够实时获取用户相关用电信息，并以此为基础进一步优化电能的生产与分配，在保证供电质量的同时，实现效益的最大化。
2.2大数据与云计算的关系
云计算是基于互联网发展起来的，主要用于数据的共享与计算，而大数据技术根植于云计算，以实现数据的存储、管理以及分析。云计算强大的计算能力，是实现大数据快速处理的基础，以达到为用户提供方便、快捷服务的目的。大数据与云计算属于是一个相辅相成的关系，一方面，云计算使得大数据应用成为可能；另一方面，通过大数据的信息沉淀，能够充分开发云计算功能，且大数据的业务需求可推动云计算进一步发展。
2.3智能电网、云计算、大数据的关系
智能电网、云计算、大数据的关系具体如图1所示。云计算的应用实现对智能电网数据的整合、处理，为智能电网运行提供了技术支持；大数据技术立足于业务需求之上，以云计算为基础；智能电网本质上是大数据在电力中的应用，所以三者是彼此交互的。
3智能电网大数据关键技术
3.1多源异构数据聚合管理技术
智能电网大数据分布较为分散，且数据量大、种类繁杂，数据处理难度十分大，基于此，智能电网大数据处理必须经历以下流程：数据集成→数据抽取→数据转换→数据剔除→数据修正等等。当前，常见的数据集成模型主要为数据联邦、基于中间件模型与数据仓库等。
ETL，即Extract-Transform-Load的缩写，被称为数据仓库技术，被广泛应用于企业数据集成。ETL主要分为三大组成：①Extract，即数据抽取，主要是由源数据源系统内，将目的数据源系统所需数据抽取出来；②Transform，即数据转换，主要是将所抽取的数据依照相关要求转换成另一个形式，同时清洗、加工错误数据、偏差数据；③Load，即数据加载，主要是将转换所得数据加载至目的数据源系统中。对于智能电网大数据应用而言，数据集成是一大关键，需要综合考虑各项因素，可结合多种技术实现数据集成。
3.2复杂数据处理技术
由于智能电网大数据中广泛存在非结构化、半结构化数据，其需要通过清洗、整理、筛选等操作，方能够变为结构数据。在智能电网运行中，非结构化数据可通过分布式文件系统加以存储，半结构化数据可应用分布式数据库，而结构化数据直接采用传统关系型数据库系统，亦或是分布式并行数据库。
3.2.1分布式文件系统
分布式文件系统能够把数据存储在物理上分散的多个存储节点上，并予以统一统一管理、分配，同时向用户提供文件系统访问接口，突破了本地文件系统在大小、数量等等方面的限制，适用于非结构化数据存储。
Hadoop是一个分布式系统基础架构，HDFS（Hadoop Distributed File System）是基于Hadoop开发出来的一个分布式文件系统，其能够将大规模数据分割成为64兆字节的数据块，并将去存储于多个数据节点组成的分布式集群内，其具有以下应用优势：①可扩展性好：当数据规模增加时，仅需在集群内相应增加数据节点即；②容错性强：各个数据块会在不同节点内存储多个副本；③数据访问能力佳：通过分布式存储架构的应用，可提供高吞吐量的数据访问能力。
3.2.2分布式数据库
大数据环境对数据存储、管理、查询以及分析等功能的实现提出了更高的要求，当前分布式数据库凭借着其强大的扩展性、协同性，得到了十分广泛的应用，如：键值存储系统、文档数据库、图数据库等。
Hbase是一个分布式的、面向列的开源数据库，具有高可靠性、高性能以及可伸缩特点，适用于半结构化数据的存储。HDFS为Hbase提供给了底层存储支持，Map-Reduce技术则是提供了数据处理支持，实现了对海量数据的可靠存储与高效处理。
3.2.3关系型数据库系统
在智能电网中，结构化数据依旧是占据主体地位，做好其存储与处理意义重大，当前主要是应用传统关系型数据库对此类数据进行管理。OracleDatabase，简称Oracle，是一个关系数据库管理系统，也是当前世界上应用最为广泛的一种数据库管理系统，适用于各种环境，
使用方便，功能强大。总之，智能电网数据繁杂，应结合数据实际特点选择合适的存储方式，如表1所示即为各种数据存储方式的应用比较。
3.3数据处理技术
智能电网大数据的应用类型众多，需结合大数据特征、计算需求以及实际业务需求，选择适宜的数据处理技术，如：批处理、流处理、图计算、内存计算等等。
3.4数据分析技术
智能电网大数据处理主要以数据分析为核心，但是由于大数据数据量大、种类繁杂，对数据分析算法提出了更高的要求，必须进一步改进或是更新数据分析方法。智能电网大数据主要包括结构化数据、半结构化数据、非结构化数据，故而应根据实际业务情况确定数据分析方法。
4结语
当前，我国智能电网发展迅速，电力系统运行、用电信息采集、设备状态监测过程中生成了大量的数据，对此必须加强电力大数据关键技术研究，构建完善的智能电网大数据平台，充分挖掘数据价值，实现电网的高效、稳定运行。
参考文献
[1]刘振亚．智能电网技术[M]．北京：中国电力出版社，2010．
[2]张东霞，苗新，刘丽平，等．智能电网大数据技术发展研究[J]．中国电机工程学报，2015，35（1）：2~12．
作者简介
徐瑶（1989.6-），女，陕西绥德人，华北电力大学科技学院，助理工程师，单位：国网陕西省电力公司西咸新区供电公司，研究方向：计算机技术在智能电网中的应用， 邮编：712000。
郭亮（1988.9-），男，陕西铜川人，西安财经学院，助理工程师，单位：国网陕西省电力公司西咸新区供电公司，研究方向：计算机技术在智能电网中的应用， 邮编：712000。
论文作者:徐瑶,郭亮
论文发表刊物:《电力设备》2016年第22期
论文发表时间:2017/1/19
标签：数据论文; 电网论文; 智能论文; 分布式论文; 结构化论文; 关系论文; 数据处理论文; 《电力设备》2016年第22期论文;