摘要：云平台通常由大量的物理机、高速大容量存储设备、高速网络和虚拟机实例组成，可为用户提供社交网络、内容分发和大数据处理等多种云服务及应用，且这些服务及应用具有不同的组成、配置和部署需求。云平台及其服务的持续可用建立在所有软硬件无故障的前提下，涉及服务器与云环境的部署、应用程序开发、产品逻辑设计、用户行为以及基础网络构建等。
关键词：数据分析；云监控；系统
1云计算概念
1.1云计算的产生背景及其意义
在传统的模式下，当企业需要建立一套IT系统的时候，企业不仅需要购买一些硬件的基础设施，而且需要购买一些软件的许可证，还要有专门的人员进行维护。当企业扩大规模时，为了满足需求还要升级各种软件和硬件设施。对于企业来说，计算机硬件和软件的本身不是它们需要的，它们需要的是能够完成工作，提供工作的效率。对于个人来说，想要使用电脑必须安装一些软件，并且大部分软件是收费的，购买不经常使用的软件是对资源的浪费。需要一种能够满足需求的软件供个人租用的服务，个人在用的时候只需要少量的租金就可以得到相应的服务，能够节省许多购买硬件的资金，这就导致产生云计算。云计算的实质就是按照用户的需求使用计算机资源。在云计算环境下，用户不再用面对计算机硬件和软件，直接是计算机服务。用户不用购买昂贵的硬件设施和软件许可，也不用专门的人员进行维护，只要在需要时支付一定的费用，就能够拿上得到需要的服务。
自从云计算提出以来，针对云计算的概念有许多种的说法，一直都没有给出一个统一的定义，不管是在学术界还是在商业界都根据云计算的特点给出近似描述。
2009年，NIST给出一种比较权威的定义：云计算（CloudComputing）是一种方便的获取服务的模式，在这种模式下你可以通过网络方便的、按需的获得位于共享池中已就绪的计算资源（例如网络、服务器、存储、应用和服务），服务提供者只需进行非常少的干预，这些资源就进行快速的供应和回收。
维基百科认为云计算是一种计算方式，通过互联网将动态的、可扩展的、虚拟化的资源“以服务”的形式提供给用户，而用户不需要了解、学习或者控制支持这些服务的技术基础架构“云”。
IBM给出云计算的定义：网络共享的服务模式，客户端只关心提供的服务本身，不用关心服务的具体实现。
云计算定义有多种，但是在关键点上大致是一致的。云计算采用的是一种共享的基础构架模式，是对大量的物理资源整合管理，将物理资源虚拟成一个资源池，当需要服务的时候，可以通过网络连接资源池获取服务，云计算能够根据用户需求灵活的分配资源。
1.2云计算特征
云计算主要有以下几个特征：
资源配置动态化：云计算能够根据用户的需求动态分配或者释放一些物理资源和虚拟资源，当用户的需求量增加时，可以分配可用的资源，当用户的需求量减少是，可以释放多余的资源，从而为用户提供弹性资源。云计算可以通过对资源的扩展提供无限的服务。
自助化提供服务：云计算是自动的为用户提供资源服务，用户不需要和供应商进行交互自己就能够获取需求资源。主要是有服务说明和目录，只要根据信息就能选择服务满足需求。
服务无处不在：云计算通过网络提供服务，只要用户拥有计算机和互联网，就可以获取云计算提供的服务，所以说云计算无处不在。
服务可计量化：云计算提供服务时，能根据用户需求的服务，运用计量的方式对资源进行配置，换句话就是能够对云计算资源进行监督和控制，实现了只要服务支付就能够立即享用。
资源的池化和透明化：对于提供者来说，云计算屏蔽掉底层资源的异构性，比如运算、存储和业务逻辑等。打破资源边界，能够对云计算的资源进行统一调度和管理，这就是“资源池”，可以按需给用户提供服务。对用户来说，云计算是透明的，不用关心它的构造，只要关心能不能满足需求。
性价比高：云计算提供的高性能计算能力是通过对计算资源的大量整合，对硬件要求不好，用户不再需要购买大量的硬件和软件资源，可以节约许多消费成本。
灵活性：根据虚拟化计算，云计算能够迅速的构建出基础设施，根据需求动态的增加和释放资源，云计算为用户提供灵活的购买期限（如可以按照小时、天、月为单位购买服务）。
可靠性：云计算是多节点提供服务的，数据的存储和数据的计算是分布在不同的节点进行的，即使某个节点坏掉，可以动态的分配新的节点提供服务。云计算还使用很多技术，例如数据容错技术来保证服务的可靠性。
1.3云计算服务方式
云计算服务可以分为四层，自下而上分别为虚拟化层、基础设施层（Infrastructure），平台层（Platform）和软件层（Software）。不同层提供不同的服务，四层分别提供硬件及服务、基础设施及服务、平台及服务、软件及服务。
2云监控关键技术
2.1数据采集器
数据采集器由采集主进程和各类脚本组成，其核心是各种用于获取资源数据的脚本程序，根据应用特点制定采集策略，包括采集指标项和采集周期。其中，采集指标项包括主机的CPU使用率、内存和网卡吞吐量等。针对Web应用，可编写脚本获取Java虚拟机(JVM)堆内存使用量、JVM堆内存总量及用户请求页面响应时间;针对MySQI数据库服务，可编写脚本获取数据库连接数等。数据采集器架构如图1所示，采集脚本置于以采集周期命名的文件夹，采集主进程周期性地启动、关闭和更新采集脚本。采集脚本获取的数据输出到标准输出(stdout)，采集主进程从stdout中读人采集数据，并组织成以下JSON格式数据:{"metric':metricname，"host': hostname，"value:data，"timestamp":times-tamp，"tag":tagvalue}。其中，metric为指标项名称;host为主机名;value为采样数据;timestamp为采样时间点;tag为自定义的标识，可有多个。
图1数据采集器架构
2.2数据收集器和消息队列
数据收集器作为采集器和Kafka间的中间件，负责将数据采集器的数据发送给Kafka，解决了任一云主机均需安装Kafka驱动的问题，实现了监控系统的通用性和可扩展性。数据收集器构建支持表现层状态转移(Restful)接口的HTTP或UDP服务器，数据采集器使用httpclient或udpsocket将数据发送到数据收集器。数据收集器主机安装Kafka驱动，可将数据通过Kafka服务器(Kaf-kaBroker)发送给指定的消息主题Topic，其中多个Broker连接到相同Zookeeper组成的Kafka集群。
随着互联网和计算机技术的迅速发展，云计算已经进入了我们的日常生活。目前，云计算已经超越了原来的产品概念，成为了一种服务.它提供了一个可动态伸缩和资源虚拟化的共享工具，如数据访问、计算、软件和存储服务等。作为云计算的重要组成部分，云监控是云计算中网络分析、系统管理、数据存储和复杂运算等服务的前提，对提高云计算的服务质量发挥着重要作用。
参考文献
[1]林建平,郭祥寿.轨道交通视频云监控方案探讨[J].铁路技术创新, 2016(06):23-25.
[2]杨亦红,郑红峰,谢子青.基于云监控技术的微电网光伏系统测控平台[J].世界科技研究与发展,2016,38(04):809-813+854.
[3]刘殊.基于Hadoop的分布式云监控平台系统的研究与设计[J].电子设计工程,2016,24(15):9-12.
论文作者:孟子重,黄山娟
论文发表刊物:《基层建设》2019年第2期
论文发表时间:2019/4/11
标签：资源论文; 数据论文; 用户论文; 需求论文; 软件论文; 脚本论文; 采集器论文; 《基层建设》2019年第2期论文;