安全服务器中Web集群负载平衡的研究与实现

安全服务器中Web集群负载平衡的研究与实现

刘华芳[1]2002年在《安全服务器中Web集群负载平衡的研究与实现》文中研究说明Web的开放性和全球性,大大推动了Internet的迅猛发展,但同时也带来了网络安全和网络性能的挑战。如何提供高性能的网络服务,成为电子政务、电子商务解决方案的一个重要问题,这也引起广泛的研究和讨论。 本课题是福建省重点科研项目《信息网络安全防护技术》(项目编号2001H103)的一部分。论文提出用集群技术来提供高性能的安全Web服务,围绕集群的重要问题--负载平衡,从体系结构和调度方法两个方面进行阐述。 Web集群的负载平衡可以从客户端、服务器端、网络端叁个层次实现,本文提出结合应用层的DNS和网络层的LVS的一种混合模型,其优点为:1)支持后端服务器多操作系统;2)支持服务器的广域网分布;3)高扩展性等。此外,论文还讨论了新模型的可用性和安全性问题。 论文介绍了传统的负载调度算法,在此基础上提出新的调度方法。我们考虑了叁个因素:1)负载信息,论文提出了更精确的带反馈、多参数的负载计算方法;2)Web访问的Locality性,可用来提高Web cache的命中率;3)动态、静态请求的分离,有研究表明这样的调度比混合调度有明显的性能提高。本文提出用改进的Consistent Hashing算法实现兼顾叁者的综合调度,并讨论了结点的迁移方法。最后论文给出系统实现的关键技术和实验数据。

丁宇光[2]2007年在《基于Linux的Web服务集群软件设计及实现》文中研究指明随着网络技术的不断发展,Web服务广泛的被企业用于产品宣传,日常管理,售后服务以及电子商务。对于一般企业而言,都希望自己的Web服务器能够满足不间断的应用服务需求,但是出于成本考虑,很多企业又都会使用Linux操作系统集群来构建其Web应用的基础架构。但是,长期以来在Linux平台上却一直缺少一种易用性高,扩展灵活,硬件成本低的Web集群软件。本文仔细探讨了各种集群的特点,同时在Linux Web集群中选取了目前被广泛使用的LVS (Linux Virtual Server) Web集群软件进行设计改进。事实上,通过分析,可以看出,LVS本身具有很多非常好的Web集群理念,这些理念在负载均衡方面实现非常优秀,但是作为一种Web集群软件而言,易用性和可靠性依然不够高。与此同时,LVS集群也没有考虑到应用的实际需求,整个集群的管理对管理者和内容发布者都非常复杂,稍有不慎,就有可能造成发布内容不一致的问题。本文在以上基础上,对LVS系统提出改进,并构建了WS-LVS这样一个更适合目前企业应用的Web集群系统。由于LVS本身具备了多种可供选择的负载均衡,因此,在对多种负载均衡方式的详细分析和对比后,最终采用了VS/DR的负载均衡方案,其次,为了满足Web发布者,又经过多方考证,引用了Lustre的集群文件系统。系统最主要的部分是新加入的集群管理模块,该模块从本质上修改了LVS原来的前置机-Web服务器的两层构架,从而使得仅仅使用两台服务器便能够达到LVS可以达到的易用性标准,同时随着WS-LVS集群中的服务器数量增加,集群易用性也能够不断继续提高。原来在LVS系统前置机部分可能存在的集群的性能瓶颈问题也在WS-LVS系统中得以解决。本文最终也以实验数据证明,WS-LVS系统比其原型LVS系统利用率更高,系统易用性和可靠性也更为提高,而可伸缩性也大大的优于原型系统。同时,WS-LVS系统具有目前主流商用集群系统的很多特性,使得新系统能够切实满足各行业Web应用服务基础建设的需要,具有很强的使用价值。同时,系统依然基于Linux及其开放源代码,也使得企业本身对系统的本地化改进成为可能。

彭海平[3]2007年在《电子商务平台的性能优化和高可靠性研究与实现》文中进行了进一步梳理随着电子商务和互联网的高速发展,日益增长的数据量,急剧增长的用户量,不断攀升的并发访问,给电子商务平台的网络带宽和服务器端都带来巨大的挑战。从网络技术的发展来看,网络带宽的增长远高于服务器速度和内存访问速度的增长,可以预见的是众多的电子商务平台将遇到越来越多的性能瓶颈。在现有基础上,如何提高电子商务平台的可用性和性能已成为迫在眉睫的问题。本论文以现实中具有一定典型意义的电子商务平台(分类生活服务信息互动网站搜搜客)的性能和可靠性研究实现为背景,对Web服务器Apache2.0以及基于Linux的虚拟服务器集群技术(简称LVS )进行了研究和分析。本论文根据Apache服务器性能的评价指标,从软件、硬件和网络叁个方面找出了影响服务器性能的关键因素。本论文采用FastCGI和增加动态处理模块方法优化动态请求处理;采用探索式测试方法优化Apache配置参数。本论文针对LVS是如何在若干个松散连接的独立服务器之上架构一个集群服务器,如何平衡各计算机之间的负载提高整个系统的性能,使整个集群结构对外界用户来说表现为一个服务器来提供高可用的高性能平台。目前,本论文在对于Apache优化以及LVS集群负载均衡技术做了细致的研究分析之后,根据课题的实际需要以及企业实际应用,论文所提出的性能优化和高可靠性实现方案已被成功应用,得到了较为满意的结果。

陈伟[4]2008年在《异构Web集群中基于动态反馈机制的负载均衡的研究与实现》文中研究指明随着Internet的迅速发展,越来越多的政府部门把关键业务转移到网络上来运行,不断增长的业务量使得网络服务器不堪重负。而单纯靠增加服务器硬件设备来升级系统并不是很现实的办法,基于Web的服务器集群系统具备高可用性和负载均衡性,并且易于扩展,成为解决问题的最佳方法。然而,如何有效利用系统范围内的资源,提高系统的吞吐率,增强集群系统平衡的性能,很大程度上取决于集群软件中负载均衡算法的设计。本文基于Web异构集群,针对异构集群系统的资源共享和有效利用问题,设计了基于动态反馈机制的临界加速回归算法,此算法的应用使集群系统中多种资源能够协调分配,从而提高集群系统的吞吐率。本论文主要内容包括:1.介绍了集群技术的发展、分类和优越性,以及研究集群的目的。2.介绍了负载均衡实现的结构、策略、实现层次。分析了负载均衡的等效条件,给出了集群负载状况评价指标,并针对集群技术中被广泛采用的虚拟服务器技术(LVS)及负载均衡理论做了介绍。3.重点分析了实现负载均衡技术的负载调度算法,针对负载均衡优化问题,提出了动态反馈负载均衡算法-异构集群负载均衡临界加速回归算法。从而实现了系统资源的平衡使用,提高了系统对外提供服务的能力。最后在Linux虚拟服务器(LVS)中依据设计的算法,构建了真实的集群系统,进行了负载均衡算法的应用性验证,并将该方案部署到“重庆市普通高校招生考务信息平台”中,得到了良好的应用验证。

梁锐[5]2013年在《基于Web服务器集群的负载均衡系统研究与实现》文中提出随着信息时代的高速发展,互联网已成为人们工作与生活中不可缺少的部分。国内外互联网环境表现为:第一,网民基数大并呈上升趋势;第二,网络访问量大;第叁,依附于互联网上的大型商务活动将趋向于普遍。提供最佳的Web服务的方法是建立Web服务器集群,而Web服务器集群核心是负载均衡的调度策略。本文研究的目的是在上述环境下,缩短请求响应时间,使Web服务器集群较好地提供高可用高扩展性服务。提出基于动态信息反馈负载均衡,人工神经网络与遗传算法叁者结合而成的负载均衡分配策略,并基于新分配策略设计与实现了负载均衡系统。主要研究内容如下:第一,研究基于动态信息反馈策略,对周期收集的各节点信息,采用可靠因子计算集群综合平均指标,基于平均指标修正分配比例,进行请求分发。第二,研究人工神经网络在动态反馈策略的应用,基于动态反馈数据,详述神经网络的设计,当节点数目大时采用CPU利用率、内存利用率、磁盘读写率、连接率四个指标综合量作为输入,采用动态学习率,进行人工神经网络训练。第叁,研究遗传算法在动态调度策略的应用。基于集群全局节点负载均衡为目标函数。以人工神经神经网络输出权重作为遗传算法初始值,达到权重修正效果,得到全局最优的权重分配策略。第四,基于前叁者结合的策略与中心处理模型,详细地论述了负载均衡系统的设计与实现过程,即对接收、分发、分类、策略、信息收集、调度和监控模块的设计与实现。其中策略模块采用策略与单例模式设计,运用joone与jgap实现;信息交换模块采用Sigar实现;监控器采用MVC模式设计,结合Ajax与jFreet技术实现。最后,构建测试环境,利用Jmeter模拟多用户并发测试,并对负载均衡系统进行性能的压力测试。结论表明,在本文构建的实验环境下,运用本文所述的策略优于轮换调度策略。这些内容对集群系统中相关研究有一定的参考价值,具有一定的借鉴意义。

李天翼[6]2003年在《基于网络存储的web服务器集群系统的研究与实现》文中提出相对于单台web服务器,web服务器集群系统在技术上具有明显的不可比拟的优势,因而已被众多web服务提供商采纳作为主要的web服务器解决方案。在传统的web集群系统中,前端的负载平衡器是系统性能的瓶颈,不能采用过于复杂的算法,也不能支持过多的后端节点,导致系统的可扩展性不强。在这种结构中,每个后端服务器都作为一个独立的服务器运行,各服务器之间不进行交互。由于集群系统的整体信息利用率很低,因而不能很好地协调各服务器的资源利用率,不能充分挖掘各服务器的潜力,从而使整个集群系统对外呈现出相对较低的性能。基于网络存储的web集群能较好地解决传统集群所固有的一些弊端。它通过集群内部的局域网将后端的web服务器整合起来,并增加了NFS(Network File System,网络文件系统)服务器作为文件数据的最终来源,各web服务器实际上成为NFS服务器上文件数据的缓存节点,它们不再单独提供服务,而是结合成一个大的服务系统统一对外提供服务。系统通过后端的CDS服务器(Cluster Decision Server,集群决策服务器),根据所收集到的各web服务器的资源状况与文件访问状况,统一确定文件的缓存策略,以达到系统资源的合理使用。基于网络存储的web集群的核心思想就是把整个集群系统的计算资源、内存资源、外存资源整合起来,作为一个大的服务系统统一对外提供服务。其独特的模式大大提高了系统的可扩展性与性能,因而是一种极有前途的web集群模式。关键词:集群;网络存储;Web服务器;NFS;CDS

郭少杰[7]2008年在《SSL/TLS Web服务器集群负载均衡技术的研究》文中提出随着Internet的迅猛发展,各种基于Web的应用系统逐渐流行,正成为人们生活中不可缺少的一部分。为了在公共网络中保护数据的安全性以及验证通信双方的身份合法性,SSL/TLS协议得到了广泛应用。但是,由于协议本身的特点大量频繁的Web访问会导致运行SSL/TLS协议的服务器性能急剧下降,给本来已经不堪重负的Web服务器又增加了一个沉重的负担。本文首先对现有的各种Web服务器集群系统进行分析,同时研究了SSL/TLS协议的原理及其工作过程。设计了一种基于以太网广播的分布式服务器集群负载均衡方案,并在其上运用共享SSL/TLS安全会话的方法来提高整体性能。最后利用Linux防火墙框架对该系统加以实现。

雷迎春[8]2001年在《可扩展、高性能Web服务器系统的研究》文中进行了进一步梳理目前,Web服务器系统面临两个显着变化:⑴随着网络速度的提高,越来越多的本地任务处理将依赖远程服务,因此最终用户所能感知的任务处理速度也越来越受限于远端服务器的处理能力,即要求Web服务器系统具有高性能;⑵热门站点必须具备瞬时承受每秒数百万次的点击率,特别是当一些重大事件发生的时候,如奥运会等。这些系统的平均吞吐量并不一定很大,但它们的峰值吞吐量却很高,这就要求Web服务器系统具备很好的扩展性。面对上述需求,通常的解决方法包括两个方面。一个方面是提升Web服务器的硬件处理速度,然而实际应用中,目前常见的Web服务器并不能充分使用硬件资源,展现与硬件资源相匹配的性能。造成这种现状的主要原因是操作系统不能很好地支持Web服务器应用,而且软件的体系结构阻碍着Web服务器对操作系统服务的调用。另一个方面是采用基于单一系统映像的Web服务器集群系统,这也是目前应用最广泛的一种方法。通常,Web集群服务器中的负载均衡器(一种前端),截获客户到服务器的HTTP请求并根据负载均衡的原则调度每一个请求。可是,Web集群服务器所表现出来的性能不象期望中随服务器数量的增加而继续增长。此外,应用负载均衡器还有以下缺点:不支持存储扩展性、不支持复杂的调度算法、不支持事务处理的完整性和不支持区分服务。所有这些问题都源自负载均衡器不能支持基于内容的请求路由机制和请求调度算法没有考虑请求的内容。目前,Web集群系统的研究者已经开始研究基于内容的请求路由机制和基于内容的请求调度算法,但他们提出的路由机制和调度算法却阻碍着Web集群性能和扩展性的进一步提高。我们认为Web集群服务器系统的性能主要受叁个因素的影响:单个Web服务器的性能、请求路由机制和请求调度算法。其中,请求路由机制和请求调度算法又决定着Web集群服务器系统的扩展性。因此,本文的研究工作将围绕这叁个方面展开。具体内容为:①量化分析现有高性能Web服务器的I/O策略和并发策略,提出ASPED(异步单进程事件驱动)软件结构。经SpecWeb99测试,基于ASPED结构的Jaguar服务器的性能要比现有最好的基于AMPED(非对称多进程事件驱动)结构的Flash服务器好27.1%。②研究现有Web集群服务器中支持内容调度的请求路由机制,提出HTTP Splicing技术。经Httperf测试,采用HTTP Splicing技术的前端的性能要比现有采用TCP Splicing技术的前端的性能提高至少3.5倍。③尽管HTTP Splicing技术大幅提高前端的吞吐量,但由于x86硬件平台的限制,由单个主机构成的前端仍不可避免地成为Web集群的性能瓶颈。所以,我们又分析、研究可扩展请求路由机制,并提出集中调度、分布路由结构。经实际和模拟双重测试,可以最多由80台主机构成分布式前端,共同提供16Gb/s的吞吐量。④通过排队论理论分析,提出一种自适应、可扩展静态HTTP请求调度算法LoadCache_rep。与现有LARD(局部敏感的请求分发)算法相比,LoadCache_rep算法的优势有两点:一个是自适应性;另一个是更准确地估计后端负载。其中,在对后端负载估计的对比测试中,应用在LoadCache_rep中的方法要比LARD算法中的方法最多好14.7%。经模拟器SimWebCluster测试比较,在现有各种静态HTTP请求调度算法中,LoadCache_rep算法确实是最好的一种。⑤由于动态HTTP请求处理的多样性,我们的设计原则是通用优化,而不是针对某个具体的动态请求处理。通过排队论分析,提出优化分离式调度策略。在理论分析中,优化分离式调度策略要比现有混合式策略的性能提高22%,而在实际测试中,性能提高了22.5%。

戴刚[9]2002年在《服务器集群关键技术的研究与实现》文中进行了进一步梳理近年来,Internet的发展步入黄金时期,网上信息交换的数量正在呈指数形式的增长。随着网络硬件设备的飞速进步,网络带宽的瓶颈效应日趋减弱,服务器的性能问题逐渐显现出来。单一的服务器系统处理客户请求的能力有限,利用服务器集群来处理快速增长的客户请求,提供可伸缩性服务,成为当前的热门话题。而服务器集群的负载平衡问题则是当前研究人员关注的重要问题。本文正是围绕这一重要问题展开了讨论。 首先从负载平衡的角度出发,讨论了服务器集群采用的各种负载调度方法,并以科学计算集群为模型分析了负载平衡的相关理论。特别是针对DNS负载平衡策略,详细分析了它的优缺点及改进方法,并在此基础上提出了一种新的DNS动态负载平衡技术。 DNS动态负载平衡技术采用了中心调度策略,分负载调度器和服务器池两层结构,DNS服务器与服务器池在同一个高速局域网内,由DNS服务器充当负载调度器。在该技术中,DNS服务器能够分别用叁种方法定时检测服务器的存活状况,根据服务器的存活情况,动态的决定是否对该服务器进行域名解析。在负载调度算法上,在DNS原有的轮转负载调度方法的基础上,我们增加了另外叁种负载调度算法,使DNS服务器能够根据服务器的硬件负载能力决定每个服务器的负载分配量。同时,本文提出一个动态反馈负载平衡算法,结合调度算法中的加权调度算法,根据动态反馈回来的负载信息来调整服务器的权值,从而有效地解决服务器间的负载不平衡。 结合DNS动态负载平衡技术,以远程教育为背景,本文设计实现了一个CSCW负载平衡集群系统模型。在该模型中,包含有WEB服务器、应用服务器和目录服务器,系统提供了一个虚拟教室的功能,客户能够自建虚拟教室。虚拟教室采用JAVA语言实现,应用了JAVA的APPLET技术;负载平衡采用了二层结构,一个是当客户访问WEB服务器时,采用DNS服务器作负载调度器,将负载均衡到各个WEB服务器上,二是当客户自建教室时,通过目录服务器作为负载调度器,把自建教室均衡地分配到各个应用服务器上。在第二层负载平衡结构中,目录服务器能够动态获得各应用服务器的负载情况,采用动态反馈负载平衡算法进行负载调度;同时目录服务器还能判断各应用服务器的存活状况以决定是否向服务器分配负载。 最后,我们利用JAVA语言设计实现了一个通用的通讯机制。

杨振宇[10]2007年在《Web集群服务器负载均衡与容错技术的研究与应用》文中指出本文研究主要集中在如何减少在Web集群服务器系统中请求响应的时间,如何提高系统容错性能。首先,本文提出一种C-Load Balancing算法。该算法的机制是根据客户端的请求对服务器的影响程度进行分类,并设定相应的权值,同时结合服务器的负载状态,将该次请求分配到负载最轻的服务器。实验结果表明本文提出的算法能够有效地均衡Web集群服务器的负载,尤其在异构集群服务器和动态网页上方面,能够取得很大的性能改进,且优于一些传统的负载均衡算法。其次,本文设计并实现一种具有良好容错性能的故障检测架构。该架构由自检模块、心跳模块、监控模块、故障处理模块和协同模块组成。在本系统中故障检测的主要目的是检测集群服务器系统是否正常工作。通常服务器中任何信息的丢失和破坏、服务器的异常停机都会对网络的服务能力产生重大影响,因此要求服务器有连续运行的能力。而本文设计的容错检测架构能够有效地增强系统的高可用性。

参考文献:

[1]. 安全服务器中Web集群负载平衡的研究与实现[D]. 刘华芳. 福州大学. 2002

[2]. 基于Linux的Web服务集群软件设计及实现[D]. 丁宇光. 上海交通大学. 2007

[3]. 电子商务平台的性能优化和高可靠性研究与实现[D]. 彭海平. 上海交通大学. 2007

[4]. 异构Web集群中基于动态反馈机制的负载均衡的研究与实现[D]. 陈伟. 重庆大学. 2008

[5]. 基于Web服务器集群的负载均衡系统研究与实现[D]. 梁锐. 大连海事大学. 2013

[6]. 基于网络存储的web服务器集群系统的研究与实现[D]. 李天翼. 四川大学. 2003

[7]. SSL/TLS Web服务器集群负载均衡技术的研究[D]. 郭少杰. 华北电力大学(河北). 2008

[8]. 可扩展、高性能Web服务器系统的研究[D]. 雷迎春. 中国科学院研究生院(计算技术研究所). 2001

[9]. 服务器集群关键技术的研究与实现[D]. 戴刚. 国防科学技术大学. 2002

[10]. Web集群服务器负载均衡与容错技术的研究与应用[D]. 杨振宇. 西安电子科技大学. 2007

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

安全服务器中Web集群负载平衡的研究与实现
下载Doc文档

猜你喜欢