一种集群系统的体系结构及其负载均衡方法研究

一种集群系统的体系结构及其负载均衡方法研究

杜文峰[1]2003年在《一种集群系统的体系结构及其负载均衡方法研究》文中指出随着高速网络和处理器开始成为商品化硬件,价格可以承受并且合理高效的集群系统似乎无处不在了。因为低价、高性能的处理机和内存,加上分布式计算系统的高性能和高可靠性,所以分布式计算是实现实时应用的理想选择。 在现存网络系统中,许多热门网站的服务器经常由于体系结构或者任务分配方法的不恰当而导致服务器在面临网络上的突发访问量时,服务器不能处理或者不能及时处理大量的用户访问而瘫痪(或者不能及时响应用户的请求)。本文针对这种情况,使用超立方体体系结构对Web服务器进行集群,并使用伙伴集理论以及对伙伴集节点产生优先列表的方法对服务器集群系统的负载进行一定的调整。通过使用这些方法使整个服务器集群系统能够实现一定程度的负载均衡,并且让服务器集群系统不至于把负载“倾泻”于服务器中的某些节点,而其它的一些节点由于得不到任务而处于轻载状态。通过使用本文所描述的方法和服务器集群体系结构,Web服务器集群系统能够在一定的程度上满足用户的需求,有一定的伸缩性和处理突发访问量的能力。 通过对访问某些网站的访问数据和参考相关文献得出用户访问网站的访问模型。在得到相应的用户访问模型后,我们根据生灭过程可以得出要满足一定的可用性条件的情况下,我们应该在服务器集群系统中配置的服务器数量。通过计算出这些服务器的数量,我们并结合一定的集群系统拓扑结构对这些服务器进行集群。本文在建立了相应的服务器集群系统后,使用Petri网对本集群系统的模型进行一定的描述,分别描述了用户访问模型、服务器集群系统模型、服务器负载分配模型,并在最后对服务器响应时间和服务器任务队列长度运用排队论理论的方法进行一定量的仿真。

武志鹏[2]2007年在《Web服务的性能优化研究》文中认为Web技术是推动Internet发展的重要里程碑。伴随着电子商务、电子政务以及网上教育、个人博客的蓬勃发展,Web服务在社会政治经济生活中发挥着越来越重要的作用。目前互联网上百分之七十以上的流量是Web流量,提供资源的Web服务器星罗棋布,Internet数据中心(IDC)迅速扩展。由于对网上服务依赖日益加深,Web服务器的负载与日俱增,如何提升Web站点的响应特性就成为迫切而又长期需要研究的课题。解决的途径一方面是提高通信信道的吞吐量,另一方面就涉及提高资源子网主要是Web服务器系统的整体性能。本课题侧重研究后一方面问题,课题研究的内容主要包括:(1)在详细剖析HTTP数据流转过程的基础上,分析影响Web服务器响应性能的主要因素和性能瓶颈,探讨适用于优化Web性能的最新软硬件技术和产品;(2)着重研究利用IA架构集群均衡Web负载和提高系统可用性的运行机制与实现技术,包括体系结构与调度算法,以及在刀片式集群服务器架构高性能Web服务系统的具体实现技术和配置方法;(3)研究运用网格数据库管理系统(Oracle 10g)实现数据库查询事务的并行处理,提高事务处理能力和动态网页响应特性的实现机制;(4)探讨利用分布式Web镜像服务器克服广域网络通信瓶颈的技术方案;(5)在构造了实际的Web集群系统,剖析了人们广泛认可的几种基准测试程序原理的基础上,对系统进行了有针对性的测试,进而研究了测值的关联因素,为进一步改善响应特性提供依据。课题的特色与创新点主要体现在集成与应用创新。论文在利用刀片式集群服务器架构高性能Web服务系统的实现机制,以及IA架构Web集群的性能评价等方面体现技术创新。随着互联网应用的迅速发展和内容提供的日益丰富,提高Web服务系统性能需求的广泛性和研究的迫切性将日益突现出来。本文对Web服务系统性能优化和测试进行初步的探索,许多研究专题还有待今后进一步拓展和深化。

马双良[3]2007年在《集群测控系统设计与关键性技术研究》文中研究指明随着现代技术的发展和各种计算机部件的商品化,集群技术已经成为近年来研究高速并行处理技术、开发高性能计算机应用领域中炙手可热的一项技术,并开始震撼和冲击高端UNIX服务器在关键业务计算应用领域的中心地位。 ×××测控系统在航空兵器试验和性能鉴定过程中有着不可或缺的作用。本文分析研究了实时测控系统组成结构与工作原理,指出了其传统体系架构的不足和缺陷,并将并行计算技术引入测控回路,实现对多路传感器数据采集、数字处理、记录重演等功能,构建了基于集群技术的新型测量控制系统。集群技术应用于军事测控系统,不仅可以增强其系统可靠性、性能价格比和服务伸缩性,而且其抗摧毁特性能够有效提高军用测控系统的战场生存能力。 在LVS(Linux Virtual Server)集群基础上,通过进行结构调整和功能规化,系统采用四层体系结构,并且设计应用基于UDP(User Datagram Protocol)通信协议、面向传感器计算任务的、细粒度实时负载均衡方法,消除了应用层负载调度器的性能瓶颈,保证了集群测控系统的高性能和功能扩展等特性;基于SSI(Single System Image)技术的轻量级任务迁移等机制,实现了集群测控系统高可用性和资源重组的强实时性要求。系统同时兼顾串行和网络两种通信体制传感器,解决了高密度测量数据的接入难题;具备实战和闭环测试两种工作模式,可单独或同时处理传感器实测、预案模拟、事后重演以及系统测试等四种信息数据,满足了×××测控系统的特殊功能需求。为提高系统的可维护性和管理性,对集群节点设置和软件进程配置进行了专门设计,并以串行程序设计取代传统的并行程序开发,在便于工程人员开发系统功能的同时,最大限度地保护其原有的经济投资和技术投入。 论文分析了商业集群热点产品或项目的成熟经验,对其高速互连网络、消息传递,尤其是动态负载均衡方法和高可用性等关键技术进行了充分研究;围绕测控系统可靠性和实时性建设要求,以消除系统瓶颈和克服应用局限为突破,提供了构建集群测控系统的最终解决方案。同时对网络拓扑与通信、实时进程调度以及软件模块设计等诸多内容进行了特别优化。

陈亮[4]2009年在《集群负载均衡关键技术研究》文中认为随着Internet的快速发展,Web服务器端的访问量也在急剧增长,这就对服务器的性能提出了更高的要求。而服务器集群技术则是解决这个问题的常用方法,该方法通过对请求的分配来改善集群系统的性能,达到负载均衡的目的。本文介绍了负载均衡系统中采用的方法和技术,以及如何使用粗糙集更好的解决负载均衡的问题。粗糙集理论是一种处理含糊和不确定性问题的数据分析方法,以其为理论基础的数据处理技术得到深刻关注和不断发展。本文论述了粗糙集的基本理论和方法,从等价类的角度重新考察请求分配问题,根据负载量的高低变化将集群中的服务器个体划分成不同的等价类,依此提出了基于粗糙集的负载均衡算法(RSLB)。该算法实现了服务器间的负载均衡,能有效的防止服务器倾斜现象的发生,提高了集群系统的整体性能。论文在系统分析和总结了现有Web服务器集群系统的请求分配和负载均衡技术之后,着重研究了动态负载均衡技术和静态负载均衡技术各自的优点和缺点,建立了一个负载均衡系统模型,该模型基于粗糙集的等价类,并且结合了动态和静态负载均衡技术各自的优点,在一定程度上实现了请求的动态高效分配。最后将基于粗糙集的负载均衡算法与轮转法(RR)以及负载最小优先算法(LLF)进行了分析比较,结果表明,基于粗糙集的负载均衡算法是一种高效的负载均衡算法,将其运用到集群系统中是正确可行的。

游品芳[5]2008年在《基于Struts的Web数据库研究与应用》文中认为信息技术的快速发展使得整个社会处于一个信息相互关联的网络世界。数据库技术使得大量数据的存储管理规范、方便、快捷,Web技术实现了信息共享,而Web数据库技术是将数据库技术与Web技术相互结合,既集合了Web技术与数据库技术的优点,又使它们发生了质的变化,从而实现真正的资源共享和信息的动态交互。互联网用户数和网络流量的几何级数增长,对网络服务器的可扩展性和可用性提出了更高的要求,服务器需要具备提供处理大量并发访问的能力,而单机服务器的处理和I/O能力已成为了提供服务的瓶颈。要保证企业业务不停顿,高可用性数据库集群是企业在关键应用上必须考虑的重要问题。高可用性数据库集群的设计思想就是要最大限度的提高系统MTBF(平均无故障时间),减少服务中断的时间,并能够自动检测数据库服务器的故障。集群系统在所有时刻都要维护一个一致的系统映像,在节点出现故障时,要能够迅速可靠的隔离故障并采取相应的措施。在硬件数目比较多的情况下,集群系统容易出现各节点受压不均衡,出现局部过大负载或局部过轻负载,造成有些硬件老化和损坏厉害而有些设备资源被搁置浪费,使系统的整体性能低于系统性能预期值。负载均衡技术主要提供最短的平均任务响应时间、自适应变化的负载以及可靠的负载均衡机制。它的主要目的在于将访问系统的负荷分散在不同的机器上,使整个系统吞吐量和并发性得到提高,它能让多台服务器共同承担一些繁重的计算或I/O任务或大量的用户请求,从而消除网络瓶颈,提高网络的灵活性和可靠性。本文在研究数据库基本技术的基础上,提出了大流量网络访问造成的服务器瓶颈问题,解决的方案就是利用数据库服务器集群技术和负载均衡技术实现多服务器协调合作,提供高性能、高可用、高可靠的Web应用系统。最后,本文通过客户服务平台的开发实现,研究了一种基于Struts的系统架构,并深入研究了将数据库集群技术应用于实际开发过程,最终实现了该应用系统。

万勇[6]2010年在《基于LVS的负载均衡策略算法的研究与改进》文中认为随着网络普及以及网络带宽不断增加,绝大多数的商业站点都需要提供高质量的网络服务。包括提供全年365天24小时无间断的网络供应,以及对海量用户访问及时的请求响应。在互联网商业化竞争越来越激烈的当今时代,谁能提供比其它网站更优质的服务,谁就能占领更多的市场份额。大部分网络供应商都需要表现性能更加卓越的服务器,因此服务器性能的高低成为影响网络服务的主要瓶颈。通过服务器硬件的简单升级,已经不能满足解决网络服务瓶颈的问题,因此出现了服务器集群技术。服务器集群技术是通过局域网或是广域网,把大量能提供单独服务的服务器组合在一起,通过这个技术实现以一个整体形式向互联网上的海量客户提供服务。随着服务器集群技术的不断商业化发展,在Linux开源操作系统上也实现了能构建透明的、高可用、高可靠、良好扩展性的WEB服务器集群系统。论文出于研究的目的,对Linux虚拟服务器(Linux Virtual Server)LVS进行了研究。对其负载均衡实现的机制和方法进行了深入研究,并且重点分析了LVS软件核心部分IPVS的算法。针对IPVS中软件自带的加权最少连接(WLC)算法进行分析,提出了若干条算法有待改进的地方,并且提出了一个改进的思想和实现方法。论文中涉及的主要工作包括以下几点:(1)提出WLC算法中需要增加考虑的负载参数。(2)设计出根据服务器负载参数值,修改WLC算法中动态权值的数学模型。(3)算法实现了实时获取服务器负载参数的方法;优化动态权值数学模型中的判断条件;实现Windows服务器与Linux负载均衡器之间的UDP通信;服务器动态权值传递到WLC算法的系统内核调度策略中实施。(4)最后搭建一个小型LVS集群系统,采用Web Application Stress Tool(WSA)抗压测试软件进行网络用户的仿真访问测试,然后得出算法改进前后的实验数据,最后进行分析和对比得出改进后的结论。通过实验的证明,发现论文中实现的算法改进,在一定程度上提高了原有算法中的不足。

买京京[7]2008年在《Web服务器集群负载均衡技术研究》文中研究指明随着计算机技术和Internet的飞速发展,人们对web服务器的性能的要求也越来越高,负载均衡集群以其较高的性价比和良好的扩展性在web服务器中得到了广泛的应用。因此如何更好的提高集群服务器的综合处理能力便受到了更多的关注。集群的负载均衡策略是提高集群整体性能的关键,其目的是根据处理机的性能来将任务合理的分配到后面的真实服务节点上,使各节点均衡的分担任务来最小化应用程序的执行时间,从而达到提高性能和服务质量。集群设计中的负载均衡算法的优劣将直接影响集群的性能。动态反馈是基于服务器的实时负载和响应情况,不断调整服务器间请求的比例,来避免有些服务器在过载时仍接收大量的请求,以此来达到提高整个集群系统的处理能力。本文详细讨论了集群的主要概念和特点,并分析了目前常用的集群技术。重点研究了负载均衡集群的原理和特点,详细研究了主要的负载均衡技术和常用的负载均衡算法,并着重分析了几种常用的负载均衡算法的优缺点,并结合动态反馈技术提出了一种新的改进算法,其中重点研究了负载状态的评估和权值动态调整的方法,最后通过构造仿真集群测试环境,并和其他方法对比分析验证该方法的有效性。仿真实验表明,该方法能有效的提高集群的性能,降低系统的延迟时间,提高系统的吞吐量,提高集群的利用率。

李涛[8]2008年在《企业服务器集群系统的负载均衡问题研究》文中提出随着企业规模的扩大,生产线和部门数在不断增加,企业内部信息的共享与交流变得越来越重要。信息的不流通使一些部门成为“信息孤岛”,直接造成该部门执行能力减弱,与其它部门的协作性变差,最终导致生产效率低下。为了避免发生这一现象,企业信息化势在必行。然而信息化引发信息流负载量的大幅增加,给服务器带来巨大压力。目前最有效的解决手段是服务器集群技术,而集群系统的核心就是实现服务器间的负载均衡。本文以某钢铁公司的信息化工程为背景,对企业集群的负载均衡进行了深入探讨。国内外负载均衡的研究大多局限于对算法和策略的提出及改进上,很大程度上限制了负载均衡性能的继续提升;加上企业网络呈现多层次和任务约束特性,仅靠负载均衡算法和策略已显得力不从心。因此,本文提出构建负载均衡系统,用系统的方式来解决企业网络的层次性问题。由于企业层次之间存在协作与竞争关系,系统中引入多Agent解决其调度问题。首先以负载均衡的模型为基础,针对企业网络的特点,构建出四元组的负载均衡调度系统,有效的提高了系统效率;其次,研究多Agent理论,将其黑板理论应用到企业集群的负载均衡调度系统,增强了企业服务器集群系统的协作协调性;并针对系统的核心——评估与决策Agent进行了算法设计,它结合最少连接和加权轮转算法的优点,具有更小的负载均方差。最后设计仿真系统,验证所设计的多Agent负载均衡系统实现了集群系统的负载均衡分配问题;通过进一步的对比测试发现,相对于轮转算法和最少连接算法,该算法具有更小的负载均方差,能够更有效地均衡企业服务器集群中各节点的负载。

李宪武[9]2008年在《基于Linux集群系统负载均衡的研究和实现》文中进行了进一步梳理随着高性能计算、科学计算的深入发展,集群系统越来越受到重视。集群系统具有低成本、高性能的特性,提供了强大的批处理和并行计算能力,代表了高性能计算机发展的主流方向。如何提高集群系统的运行效率、可用性和易用性是集群计算领域的一个重要的课题。在该类系统中,通过提高硬件性能并不能完全满足用户复杂多样的要求,尤其是不能满足大规模科学计算和商业应用的要求,还需要对计算资源进行高效的管理。集群管理系统(Cluster Management System)作为集群系统软件中一个重要组成部分,主要的设计目标就是实现上述的需求。目前比较流行的集群管理系统,虽然具有较完善的基本管理能力,但还不能根据不同应用对软硬件资源的需求和偏好程度进行资源的动态调度,管理性能与适应能力还有待进一步提高。本文系统而深入地研究了集群系统中的负载均衡调度算法和资源管理优化技术,深刻分析了集群系统的模型结构。对现有的集群系统的负载均衡算法进行了新的改进,从而使集群的资源调度问题得到了很好的解决。同时设计并实现了基于Linux平台节点终端动态负载均衡备份的集群管理系统。由于新算法的引入本集群管理系统不但能在集群内部进行资源动态负载均衡调度,而且在不同集群之间的负载均衡调度也有很好的表现。实验表明本系统与传统的系统相比在吞吐量和平均响应延迟等方面均具有很好的优越性。

王鑫[10]2008年在《一种改进的LVS动态负载均衡算法》文中研究表明本文主要研究如何提高Linux虚拟服务器集群的性能,减少整个集群系统处理用户请求的时间,增加系统长期运行的稳定性。首先,本文介绍了集群技术和负载均衡技术,阐述了Linux虚拟服务器技术的实现原理和运行机制,分析了其核心模块IPVS的结构、算法思想和各个模块的实现过程,并指出其不足之处。其次,提出了一种J-Load Balancing算法。该算法的原理是由跨平台的服务器代理程序定时在各真实服务器上采集实时性能参数并传送给负载均衡器,负载均衡器综合考虑各服务器的性能参数,选出最适合的服务器并转发请求到该服务器,处理结果经直接路由方式返回给客户端。实验结果表明本文提出的算法能够有效地均衡Web集群服务器的负载。测试表明,该算法是有效的,其性能优于传统的负载均衡算法。

参考文献:

[1]. 一种集群系统的体系结构及其负载均衡方法研究[D]. 杜文峰. 中南大学. 2003

[2]. Web服务的性能优化研究[D]. 武志鹏. 厦门大学. 2007

[3]. 集群测控系统设计与关键性技术研究[D]. 马双良. 西北工业大学. 2007

[4]. 集群负载均衡关键技术研究[D]. 陈亮. 中南大学. 2009

[5]. 基于Struts的Web数据库研究与应用[D]. 游品芳. 武汉理工大学. 2008

[6]. 基于LVS的负载均衡策略算法的研究与改进[D]. 万勇. 西南交通大学. 2010

[7]. Web服务器集群负载均衡技术研究[D]. 买京京. 中北大学. 2008

[8]. 企业服务器集群系统的负载均衡问题研究[D]. 李涛. 东北大学. 2008

[9]. 基于Linux集群系统负载均衡的研究和实现[D]. 李宪武. 西安电子科技大学. 2008

[10]. 一种改进的LVS动态负载均衡算法[D]. 王鑫. 中南民族大学. 2008

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

一种集群系统的体系结构及其负载均衡方法研究
下载Doc文档

猜你喜欢