基于虚拟化技术的数字图书馆分布式云计算数据中心研究，本文主要内容关键词为：分布式论文,数据中心论文,数字图书馆论文,技术论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
随着数字图书馆用户需求与服务模式的转变，利用云技术建设安全、高效、便捷、经济的云图书馆数据中心成为首先方案。在云数字图书馆建设中，通过云虚拟化技术在云图书馆基础设施架构、应用平台及专业软件服务中的应用，提高了云图书馆的网络利用率及云系统与云服务的可扩展性、可管理性、可用性和运行效率，达到了业务部署灵活、降低能耗、释放机架空间的目的。虚拟化技术是云计算的基础，主要由内存虚拟化、存储虚拟化、硬件虚拟化、软件虚拟化等技术组成。把云超级计算、存储、服务、管理的物理资源虚拟成多个逻辑单元，所有的信息和数据都位于动态的架构上，供多个用户及应用共同使用，提高了资源的使用与管理效率，推动硬件设备向高端发展，提出更高效、全面的性能和功能整合。
当前，国内外众多云应用租赁企业和学者对云计算与虚拟化技术开展了深入研究。亚马逊推出的“简单存储服务”和“弹性计算云”标志着“云计算”发展的新阶段。IBM于2007年推出了“蓝云”计算平台，采用了Xen、Power VM虚拟技术和Hadoop技术，以期帮助客户构建云计算环境[1]。随着虚拟化技术的应用，对虚拟资源的管理是云研究热点之一。文献[2]提出一种方法将VM提供模型集成到现有的资源管理框架中，采用两级调度的方法将对VM的管理集成到批调度器中，向用户提供最大程度的调度服务，但目前不支持虚拟资源的预订服务。传统的调度器对短期租赁请求调度时，要完成严格的预定资源服务租赁是很困难的。文献[3]提出使用虚拟机的无缝挂起和恢复计算的能力来解决这个问题。文献[4]通过对虚拟集群所需上下文环境的详细分析，如虚拟机的IP地址、安全信息等，提出了一种在多个虚拟机之间自动、快速部署上下文环境的机制[5]。
1 云图书馆数据中心虚拟化的基本需求
1.1 云系统虚拟化管理的可视性
云图书馆数据中心的建设可以根据服务对象、模式、内容与建设规模采取不同建设模式。不论是租赁云还是自建云系统，都要求云系统能够及时、清楚地展现数据中心的物理状态与逻辑状态，能够对不同工作状态下基础设施硬件、系统服务器工作性能、设备温度、电池供给、工作负荷及系统资源(内存占用率、CPU运行状态、网络流量、存储资源消耗等)情况进行统计，为数据中心的管理、建设、维护提供一份基础的数据与参考。
1.2 虚拟化应用的可伸缩性和可扩展性
对云基础硬件平台应用的虚拟化资源整合，与云图书馆多台服务器主机上的虚拟机进行统一调度和动态分配，是云图书馆数据中心应用资源的可伸缩性与服务可扩展性的保证。通过虚拟化技术对硬件存储资源进行逻辑分区，使虚拟存储机根据用户需求安全分割成用户可以独立存储的资源块，云存储服务器可根据用户需求分配云存储空间。对云超级计算资源，采取CPU的虚拟化技术使CPU模拟多 CPU并行运行，允许云图书馆根据服务与应用模式需求独立分配计算资源。应用程序在相互独立的空间内独立运行多个操作系统，显著提高了云系统云计算的效率。此外，云图书馆可以依靠互联网，将分布于世界上不同地域的云计算资源与云存储空间集中管理，统一分配。通过按照性能与服务需求整合硬件资源，不但节约了数据中心建设与维护成本，使云图书馆应用系统能够根据服务需要获取计算能力、存储空间和各种软件服务，较大程度降低了能耗和冷却成本[6]。
1.3 构建融合云图书馆基础设施与应运的虚拟平台
云图书馆从基础设施到用户终端有许多不同的应运平台，不同的应运平台具备不同的功能特点与虚拟化要求。要加强云图书馆基础设施(如云计算、存储服务器)、用户端、传输网络的虚拟化融合，减少云系统对硬件设施的过分依赖。统一虚拟化接口封装、标准和计算应用界面，屏蔽不同硬件平台差异与软件兼容问题，为虚拟化软件运行提供良好运行环境，确保利用虚拟化软件在逻辑上将硬件资源按需重新整合、分配给用户使用[7]。
1.4 提高虚拟平台资源整合、优化、管理效率
对云图书馆虚拟平台资源整合中，要在降低云图书馆建设成本的前提下提高云系统基础设施资源的利用效率。通过尽可能减少基础设施中计算、存储、管理物理服务设备和网络设备的数量，达到降低云图书馆系统复杂度的目的，利用虚拟技术建设低碳云图书馆。在云图书馆虚拟化建设中，要使用通用的虚拟化管理界面实现对云图书馆负载的管理，通过不断优化管理界面友好性和提高管理流程可操作性，来确保云图书馆工作人员生产力和管理效率，使他们更易于管理跨越物理和虚拟环境的IT系统。同时，加强云图书馆系统虚拟化管理、配置、操作流程的标准化、自动化水平，使云虚拟系统具备自动检测云图书馆IT基础架构变化，能够按需求实现最佳操作实践、最优业务流程、优先级自动配置及系统自我修复，实现服务的最优化交付。
2 云图书馆数据中心虚拟化组成与服务模式
虚拟化技术指采用软件控制方式，对云系统基础设施、系统资源和软件等IT资源进行逻辑方式的表示、访问、配置和管理，并为这些资源提供标准的输入和输出接口。云图书馆数据中心是图书馆开展云服务的核心基础设施。利用云虚拟化技术构建可靠、弹性、动态分配、融合不同云资源空间的云图书馆数据中心，将大量计算、存储资源划分到云系统资源池统一管理、分配。根据用户服务需求，将应用、数据、IT资源、存储空间以服务的方式通过网络弹性提供给用户，具有在线迁移、快速部署等服务器管理功能，达到云图书馆投资、性能最优化及确保服务的透明性、高可用性和可扩展性[8]。
云图书馆平台服务的3种服务类型分别是IaaS(软件即服务)、PaaS(平台即服务)、SaaS(软件即服务)，而虚拟化平台则是开展三类服务的基础。云图书馆虚拟化技术主体上可分为硬件的虚拟化和软件的虚拟化。按照云图书馆虚拟系统的功能和组成，则可细分为应用层、表示层、桌面、存储和网络等方面的虚拟化。云图书馆系统服务平台组织结构如图1所示。
图1 云图书馆云服务平台组织结构图
2.1 云图书馆数据中心网络虚拟化
利用虚拟化技术对物理资源进行虚拟化整合，建设具有动态资源分配和调度功能的虚拟化数据中心(Virtual Data Center，VDC)，是提高云图书馆IT资源利用效率、自动化服务水平、用户满意度，降低建设、维护成本的关键。云虚拟数据中心数据传输具有同步数据传送大流量、备份大流量、虚拟机迁移大流量的特点，要求基础设施设备选取和网络综合布线坚持高效、规范、统一、冗余的标准来防止产生传输瓶颈。传统网络结构不能够满足虚拟图书馆网络性能要求，只有采用虚拟化技术建设云图书馆虚拟化网络才能确保网络传输的高速、平滑、安全、可靠[9]。
2.1.1 云图书馆数据中心虚拟化网络组成
云图书馆数据中心网络主要传输各种主机服务器、存储设备、数据中心局域网OSI协议四到七层相关设备(如防火墙、负载均衡设备、应用服务器、IDS/ IPS等)、边缘虚拟网络间的数据。按照云图书馆系统功能划分，分为云数据传输网、云存储区域网络、云高性能计算区域网络。云数据传输网负责海量云数据的传输，复杂的I/O接口、性能差异较大的传输介质和设备导致传输瓶颈的产生，降低了数据中心网络传输效率。云存储区域网络主要存储数据中心各种数据，存储区域内部网络传输性能决定了存储设备数据存储效率。云高性能计算区域网络主要负责对云计算设备进行需要处理数据和处理结果的传输，并对计算设备进行控制和负载均衡。利用虚拟化技术在物理网络上，依据系统功能划分出多个逻辑独立的子网络，各子网络之间有一定的隔离性、独立性，可以确保云图书馆服务用户安全、高效的使用网络[10]。
2.1.2 云图书馆网络虚拟化
云图书馆数据中心网络按照网络拓扑结构和功能划分，可分为核心层网络、接入层网络、跨数据中心网络。云图书馆核心层网络由数据中心核心设备组成，负责数据中心核心设备间的数据传输。数据中心核心层虚拟化网络要求网络具备超级数据交换、传输能力，保证核心设备问数据万兆接入能力。核心层虚拟化技术目标为采用虚拟机箱技术，将数据中心核心层设备和线路虚拟为一个可管理的整体。通过提高整体系统的灵活性和扩展性，为资源的灵活调度和动态伸缩提供支撑，达到对传输、交换设备和线路的冗余建设，并提高负载均衡能力，确保人员对系统管理、维护的效率。
云图书馆接入层网络虚拟化，是对云图书馆数据中心用户接入层网络的虚拟化管理和划分。可以通过实现数据中心接入层的分级设计，提高了数据中心用户接入层设备管理的灵活性和效率。云图书馆数据中心接入层设备采购中，要求接入层设备支持各种高级管理、部署方式和云网络数据传输技术性能要求(如拥塞通知、增强传输选择ETS、优先级流量控制PFC和链路发现协议LLDP)。可通过虚拟网络交换机和物理网卡虚拟化，在服务器内部虚拟出相应的交换机和独立网卡。主机内部如同一台交换机，每个虚拟网卡具有独立的MAC地址、IP地址，并根据任务性质和功能将虚拟网卡划分入不同的VLAN，并在虚拟网卡之间按照效率最优化原则执行一定的流量调度策略。流量调度策略主要有虚拟机的双向访问控制和流量监控、虚拟机网络属性、相关的资源配置随虚拟机的迁移而动态迁移等[11]。
为了提高云图书馆服务质量和数据操作安全性，较大规模的云图书馆会在世界不同地域建设几个相同的数据中心，并定期对主云和各备份云中心数据更新、维护。各个备份云图书馆数据中心与主云图书馆数据中心之间会有大型的集群计算或存储资源的迁移和调度。因此，构建专用虚拟路由网络，在不改变原有网络拓扑结构的前提下，横向扩展、优化备份云与主云图书馆数据中心之间的路由，确保了主云与备份云图书馆间数据传输的可靠性、高效性、健壮性、经济性。
2.2 云图书馆存储虚拟化
云图书馆存储虚拟化，就是为云图书馆存储区域主机逻辑创建、划分、管理物理存储资源的过程。通过存储虚拟化技术，将一个或者多个存储介质(如硬盘、RAID)通过虚拟的方法在一个存储池中统一整合管理，按需分配。存储区域网络可以根据云图书馆数据中心存储需求，以增加异构存储服务器数量方法实现分布式存储，用户以统一模式通过访问虚拟化后的用户接口实现存储能力的扩展。为确保云用户安全、可靠地访问云图书馆虚拟空间，除通过虚拟方式对物理存储区域安全隔离外，新用户访问云图书馆存储空间前，必须经过安全认证并获得证书。对于一些云图书馆核心数据和用户隐私数据，当数据存储到云存储系统时必须加密，确保非法用户截获后无法破译。在数据管理模式上，采用级层管理模式。图书管理员按照权限级别管理业务数据，用户和云服务提供商则不能未经允许访问。同时，可根据服务内容和业务量采用合理的协议和存储管理模式，尽可能减少开启服务器和硬盘的次数，降低服务器和硬盘的能耗[12]。
2.3 云图书馆桌面虚拟化
用户桌面虚拟化可以在服务器端管理和配置 PC环境，对用户数据、应用、系统进行集中管理、维护和控制。用户既可以根据个人喜好选择个性化桌面操作系统及各种自定义功能，又可以共享云图书馆强大的计算、存储资源，获得随时取用、基于超级计算、与平台无关、易部署、易扩展、按需支付的云虚拟数字图书馆服务。通过用户端桌面虚拟化，将用户端设备交付云图书馆数据中心统一管理，加强了数据中心对云图书馆用户端应用软件、系统补丁、杀毒软件的管理和控制。并通过云图书馆应用管理软件，对客户端及相应设备系统进行集中性能配置与安全防护。即加强了客户端与整个云网络的性能与安全管理，又使客户端具备了超级计算、存储能力。云图书馆用户虚拟化桌面被云数据中心保存为虚拟机，通过快照和备份，可确保当用户操作产生故障时系统与数据的快速恢复，并及时迁移到另一个虚拟机上继续工作，确保终端用户下次在另一个虚拟机上登录时，依然可以继续以前操作并访问存储的数据[13]。
2.4 云图书馆表示层虚拟化
对表示层虚拟化，云图书馆管理员可以通过终端服务，来实现在本地计算机显示和操作云图书馆远程服务器桌面，并在远程云图书馆服务器上执行程序和存储信息。对位于远程的云图书馆数据中心服务器执行系统与用户管理、数据存储和运行各种应用程序[14]。
2.5 云图书馆应用虚拟化
各种应用是云图书馆服务器与客户端用户服务的基础，底层结构可能与各种复杂的应用产生冲突。虚拟化是把应用对底层系统和硬件的依赖抽象出来，解除了应用与操作系统和硬件的耦合关系。应用程序运行在本地应用虚拟化环境中时，这个环境为应用程序屏蔽了底层可能与其他应用产生冲突的内容，从而使其具有良好的兼容性。应用虚拟化可以使一个真实应用运行在任何共享的计算资源上，应用虚拟化为应用程序提供了一个虚拟的运行环境，不仅拥有应用程序的可执行文件，还包括所需的运行环境。用户可以根据自己所需要的服务设置应用及其所需的虚拟环境，并通过云端将相对应的虚拟应用及环境快速发布到客户端，对应用升级更新[15]。
3 云图书馆虚拟化管理
虚拟化技术在云图书馆的应用改变了云图书馆建设和服务模式，提高了服务效率与用户满意度。同时，虚拟化技术使云图书馆基础设施与系统运行环境变得更加复杂。虚拟化技术贯穿于网络虚拟化、存储虚拟化、桌面虚拟化、表示层虚拟化、应用虚拟化的各个环节，各种虚拟化技术的交叉、组合应用，增加了图书馆虚拟化的资源管理难度。只有透彻分析云图书馆虚拟化应用需求与安全要求，坚持技术与管理相结合原则，才能提高云图书馆虚拟化管理水平[16]。
3.1 云图书馆虚拟化管理系统建设
虚拟化管理系统负责对云图书馆虚拟化系统设备及虚拟化策略进行管理，实现虚拟化设备运营的有效性及策略最优化。管理系统按照云图书馆虚拟化工作职能划分，主要分为虚拟设备管理、虚拟配置管理、虚拟业务管理、虚拟数据操作管理四个部分。
虚拟设备管理针对云图书馆的基础设施，可跨越云图书馆多个物理和虚拟平台对云系统IT资源动态管理，从图书馆云系统整体效率层面进行资源动态优化，提高云系统服务器及其他设备的利用率。虚拟配置管理通过对云图书馆系统及业务服务器、客户终端、云网络传输设备进行综合评估，按照最优化原则对操作系统及各种应用系统优化配置、更新，加强了对虚拟设备的全面、系统管理和控制。虚拟业务管理利用操作系统端到端的服务管理功能，对云图书馆虚拟设备、虚拟业务及用户终端虚拟应用进行管理。虚拟管理可以通过应用代理跨越用户不同的操作系统界面，提高系统对虚拟业务的管控能力和虚拟业务的工作效率。虚拟数据操作管理通过制定调度策略，提高云图书馆存储资源池数据调试效率，并制定有效的数据备份和灾难恢复策略，为应用程序和文件服务器提供持续、有效的数据保护。当灾难发生时，确保准确、全面、及时、可靠地恢复系统数据[17]。
3.2 云图书馆虚拟化资源管理
云图书馆虚拟化资源管理是通过对云资源池计算与存储资源的管理、调度、运营、分配，提高云图书馆业务配置、部署的灵活性，使云系统效率最优化。云图书馆业务种类和服务方式较传统数字图书馆有较大不同，运营的业务具有系统资源占用多、突发数据量大、网络带宽占用高、易产生瓶颈的特点。云图书馆在运营时段，不同服务器设备资源利用率差异较大，造成计算与存储服务器负载不均衡。因此，可通过交叉资源应用提高综合利用率，使系统实现资源的平滑迁移。对于用户访问量较大的应用系统，可采用虚拟分布式缓存提供高速缓存功能，提高系统计算存储能力。对存储区域数据管理应支持数据和逻辑分离，避免出现单点故障和数据热点[18]。
4 结语
通过虚拟化技术，对云数字图书馆基础设施资源进行了统一的封装和资源再分配，提高了云图书馆资源利用率和云服务用户满意度，降低了建设、维护成本和能耗水平，为云计算环境下图书馆云业务的开展奠定了技术基础。在云图书馆虚拟化建设上，只有在系统建设初期从全局出发，做到统一规划、统一部署、统一端口、统一标准，不断提高云图书馆数据中心系统统合运行效率，才能真正做到对云图书馆虚拟服务器集群计算、数字图书馆底层存储系统和云网络三方面的高效整合，实现高效、安全、经济、节能、可扩展的云图书馆[19]。
标签：云计算论文; 云存储论文; 数据中心论文; 虚拟化技术论文; 虚拟机论文; 桌面虚拟化论文; 存储服务器论文; 数字图书馆论文; 虚拟网络论文; 云系统论文; 云数据论文; 分布式存储论文;