分布式系统中的主机负载预测与动态负载均衡研究

分布式系统中的主机负载预测与动态负载均衡研究

许伟[1]2004年在《分布式系统中的主机负载预测与动态负载均衡研究》文中进行了进一步梳理动态负载均衡是网络计算的关键技术,如何提高动态负载均衡的性能,一直是网络计算人员研究的一个热点。传统的动态负载均衡方法总是收集结点负载的实时值作为任务在各结点分配的依据,但这种方法会产生决策时延,造成进程抖动现象,使均衡系统的性能大大下降。如果我们能准确地衡量和预测结点的负载,并结合负载均衡策略,将有效解决以上问题,大大提高网络计算的性能。 基于这种思想,本文运用数学、统计学、人工智能学等多学科的知识建立了多种预测主机负载的预测模型,主要包括传统的线性时间序列模型、特殊的自我平衡及趋势预测时间序列模型、神经网络BP模型。本文通过实验评估比较了这些预测模型的预测性能,获得了各预测模型的优劣,从中选择了具有较佳预测性能的时间序列AR、混合趋势预测MT、神经网络BP叁种预测模型构建了预测模型模板库。 在获得良好预测模型的基础上,本文建立了HLPS(Host Load Prediction System)模型体系,并开发了应用于LINUX分布式环境的HLPS软件包,可以对主机负载进行实时在线预测。然后,本文应用HLPS成果,提出了基于负载预测的任务运行时间预测理论,这和传统的针对特定应用构建性能模型以预测任务运行时间的方法相比,在预测简易性、可操作性上有了较大的提高。最后,本文把负载预测和动态负载均衡有效结合起来,提出了一种高效的基于负载预测的动态负载均衡算法,该算法使用预测的方法获得负载信息,并采取了改进型接收者驱动策略。经性能分析和实验评估,这种方法与传统的动态负载均衡方法相比具有一定的优越性,有效地提高了动态负载均衡系统的性能。

陈荣征[2]2008年在《基于主机负载预测的机群动态任务调度策略研究》文中提出机群系统的迅速发展使其成为并行计算系统中令人瞩目的一族。机群系统的异构性、开放性和网络延迟特性给网络并行计算带来了新的挑战。其中,任务调度策略是影响机群系统性能的关键,已经发展成为并行处理领域中的研究热点。任务调度问题就是指如何把一组任务分配给处理机去执行,获得最短的执行时间。有效的任务调度将使得机群系统中的各处理机能够更好地协调工作,从而充分发挥机群系统的计算潜力。由于机群系统上任务调度问题的一般形式和几种受限形式都是NP完全问题,为此,各国研究人员对其进行了大量的研究,提出了一系列动态任务调度算法。所有这些方法都从某方面改进了动态负载均衡,提高了机群的性能。但由于机群系统的任务是在各结点动态分配生成,并且各结点的负载会发生动态变化,这就给机群环境中任务的合理分配与调度提出重大挑战。如果在任务分配与调度之前能对主机负载进行精确的预测与度量,这必将很好的改进机群系统中任务调度的策略,提高机群并行计算的效率。准确预测主机负载是实现高效动态负载均衡的关键,也是判断负载是否出现异常的重要依据。传统的预测方法是将负载看作平稳时间序列,采用线性预测模型进行预测,方法简单但预测精度不高。由于主机负载具有非线性、非平稳的特征,而人工神经网络不需要建立精确的数学模型,具有较好的非线性特性,这就为主机负载预测开辟了新的途径。但人工神经网络存在易陷入局部极小值、全局搜索能力弱的缺点,而遗传算法具有较好的全局寻优搜索能力。遗传神经网络是将两者有机结合,利用遗传算法优化神经网络初始权值,既保留了遗传算法全局寻优能力强的优点,又兼有神经网络的非线性特性和快速收敛性。本文分析了采用时间序列方法进行主机负载预测时存在的不足,提出采用遗传神经网络预测模型进行主机负载预测,建立了预测模型并进行了实验评估。针对物探数据处理问题,将主机负载预测和动态任务调度进行有效结合,并对传统的集中式任务调度策略(CJD)进行改进,设计出基于PVM平台的动态任务调度策略(CJD-HLP),给出了该调度策略的实现模型和算法。最后,采用一个地质勘探中的电法勘探工程算例,对算法的性能进行了分析。

吕西红, 陈志刚, 曾碧卿, 曾志文[3]2005年在《叁层客户/服务计算技术研究及其应用》文中研究说明对叁层客户/服务计算技术及其相关技术进行了深入的研究,提出了几种新的负载均衡模型与算法,研究了叁层数据库所需数据库服务器和中间应用服务器数目的确定方法,提出了一些WebQoS服务性能优化的策略,并将所取得的研究成果应用于商品身份数码识别系统等软件的工程开发中,应用效果良好。

许伟, 陈志刚, 曾志文, 华强胜[4]2004年在《分布式系统中主机负载预测的一种普适性方法》文中认为分布式系统中为了获得高效的动态负载均衡,需要对主机负载进行有效的预测,这区别于网络流量的预测。论文从分析主机负载的特性入手,依据负载动态变化的规律,提出了一种具有普遍适用性的主机负载预测方法—线性时间序列模型法,并按该方法建立了HLPS(HostLoadPredictionSystem)模型,提出了HLPS的实现策略。

董运萌[5]2015年在《一种云计算环境下负载均衡敏感的聚类部署方法研究》文中研究表明随着当今互联网技术的快速发展,传统的计算模式已经无法满足当今用户的需求,云计算(Cloud Computing)的出现改变了这一现状,从云计算的提出到实现为企业和个人提供服务,云计算经历了漫长的发展历程。作为一种新兴的计算模式和商业模式,云计算是继效用计算、网格计算、分布式计算等最有前景和研究价值的方向,是一种新型的服务模式。云计算为用户提供了基础设施、平台以及软件的服务,并且通过互联网将服务按需的提供给用户。云计算的核心是基础设施即服务(Infrastructure as a Service,IaaS),它是云数据中心的底层框架,由于大量的物理主机资源具有一定的局限性,因此通过虚拟化技术创建批量的虚拟机以此来扩展底层IaaS云资源池,这样就可以为企业和用户按需的提供动态可伸缩的计算资源、存储资源等,虚拟化技术的出现改变了硬件不可扩展的缺陷。云资源池中部署了大量的物理主机和虚拟机资源为用户提供按需服务,用户的请求和资源的调度是很频繁的,每台物理主机的资源剩余量(包括CPU剩余和内存剩余)是时刻变化的,并不能保证每次都将任务放到资源剩余量最大的物理主机上。针对目前云数据中心大多数物理主机负载过重而导致云数据中心整体负载不均衡的问题,本文针对云计算数据中心负载均衡敏感问题对部署任务的物理主机选择问题进行深入研究。任务部署方法已经成为绿色云数据中心的研究热点,实际就是部署任务物理主机选择问题的研究。由于它是一个优化问题,那么就需要找到一个或多个评价标准。目前,针对部署任务的研究主要以节能或负载均衡作为衡量标准,而本文所要研究的是针对云数据中心负载均衡的任务部署问题。它旨在寻找这样一个部署方法,首先,使得根据该部署策略在与其它部署策略中部署任务的失效数相对最少;其次,根据该策略完成任务部署后云数据中心具有一个相对最佳的负载均衡度;最后,使用该任务部署策略与其他部署策略相比,云数据中心整体具有相对更高的吞吐率,优化了数据中心对外服务性能。最重要的是上述叁方面要在保证部署任务的性能和效率约束的前提下实现。为了实现任务的高效部署、云数据中心的性能最佳以及负载均衡,本文提出了一种云计算环境下的负载均衡敏感的聚类部署方法。它的主要思想包括两个部分:首先它根据物理主机性能的适应度函数,对云数据中心中的全部物理主机进行一个约束条件限制,从而实现一个具有全局搜索能力的任务部署策略。其次,将使用改进的聚类算法,进一步优化和完善最终得到的聚类结果。进而整个方法实现了云数据中心长期的负载均衡。本文的具体工作如下:(1)详细的阐述了本文的研究背景以及研究意义,介绍了当今国内外在实现云数据中心负载均衡方面的研究现状,着重介绍了动态负载均衡、静态负载均衡以及影响负载均衡的虚拟机动态迁移研究进展,并且详细的分析了相关研究的优点与不足。(2)首先介绍了云计算的架构和基本概念。并且详细的介绍了负载均衡的概念和一些实现负载均衡的算法。最后对本文所用到的聚类算法和CloudSim仿真平台进行了简要的介绍。(3)给出了任务部署方法模型、系统架构,并详细的描述了它的逻辑执行流程。在此基础上提出了一种云计算环境下负载均衡敏感的聚类部署方法LB-C(LoadBalancing Using Clustering)。LB-C是一个基于改进聚类的启发式任务部署优化算法。本文给出了LB-C的具体设计与实现,提出的任务部署策略既能高效的寻找部署任务最佳的物理主机,又能长期的实现云数据中心负载均衡。(4)通过对比实验对LB-C算法进行了有效的评估。实验结果表明,与现有的研究进行比较,LB-C明显减少了部署任务的失效数,提高了云数据中心的吞吐率,优化了数据中心对外服务性能,具有更好的负载均衡效果,使云数据中心的运营更加绿色、高效。

刘会明[6]2006年在《基于移动Agent的理性迁移与负载均衡研究》文中研究说明移动代理(Agent)技术涉及到计算机网络、分布式系统、通信技术、操作系统、计算机语言以及人工智能等诸多领域,为了更好地利用好移动Agent技术,必须解决好迁移、通信、编程语言、安全性、容错、管理、移动Agent的理论模型和协作模型等关键技术问题。移动Agent的移动性、自治性、反应性、导向目标性和针对环境性使移动Agent技术在Internet领域中显示了强大的优势,具有节约网络带宽和克服网络延迟、支持实时远程交互、封装网络协议、支持异步自主执行、支持离线计算(断连操作)、支持平台无关性、具有动态适应性、提供个性化服务、增强应用的强壮性和容错能力,广泛用于电子商务、网络管理、分布信息检索和发布、并行处理等各个方面。除了支持实时远程交互外,其余几点用传统的方法也可以实现,但移动Agent技术提供了一个能满足全部要求的体系框架。其中迁移策略是其基础核心技术,对迁移策略的研究日益成为移动Agent技术研究的一个重要方向。针对移动Agent的迁移策略,综合了移动Agent在迁移过程中出现的负载均衡和容错等关键技术,在蚁群优化算法的基础上改进了迁移路径的选择策略,提出了一种符合约束条件的均衡迁移方法,起到了网络均衡作用,提高了分布式并行计算的效率;综合分析了影响移动代理迁移的路由规避和插入点容错方法存在的问题,提出了根据网络软、硬件资源状况的动态插入点容错解决方案的见解和设想,可以有效地减少移动Agent丢失或泛滥,增强了迁移的可靠性;并且运用IBM东京实验室的Aglet平台构建的分布式并行矩阵乘运算实验,并对实验数据进行了分析,证明了对移动代理迁移策略的改进是合理可靠的,性能也有所提高。实验证明,利用路由规避规则、负载均衡,提高了迁移的效率,同时增加了动态插入点容错技术,保证分布式并行计算的可靠性。

柳旭日[7]2009年在《基于负载预测和过载迁移的动态负载均衡研究》文中认为在当今信息大爆炸的时代,新的应用程序不断涌现,无论是企业网、校园网还是在Inernet上,数据流量、访问量和计算强度都大幅增加。传统的单服务器模式显然已经不能满足高可伸缩性、高可用性网络服务中的负载处理能力不断增长的需求。因此,由高性能的服务器组成的服务器集群系统成为实现高可扩展、高可用网络服务的有效结构。集群技术就是将多台独立的服务器相连,以集群整体的形式对外提供服务。达到并行程序高效运行必须将服务请求分摊到各个服务器上,缩短访问时间,优化整体性能。负载均衡机制便是集群技术中的核心问题。有效的负载均衡机制能够扩展服务器带宽、增加系统吞吐量,但是集群系统中节点服务器性能参数的影响以及负载的动态性、不稳定性,使得单采用一种简单的任务调度方案很难达到整个系统的负载均衡。于是本课题对基于负载预测和过载迁移的动态负载均衡进行探讨研究。本课题的研究主要包括两部分:负载预测和负载迁移。通过对集群节点服务器的性能参数数据的动态反馈收集,使用ARMA(p,q)模型对各节点服务器的负载状况进行预测,针对预测模型的适应性问题及预测结束后的负载均衡问题,在对节点服务器负载预测的基础上,我们引入了改进的遗传模拟退火优化组合的算法选择相应节点服务器进行负载迁移作为均衡负载的补充,通过较准确地预测各节点服务器的工作负载,尽量合理地将任务分配到服务器节点,同时对负载过重的节点服务器采用负载迁移策略调配负载,使各节点服务器比较均衡地承担任务负载,从而提高网络服务的灵活性及其数据处理能力,从而实现整个系统的负载均衡,提高系统的服务质量。

路瑶[8]2018年在《Web服务移动主机负载均衡技术研究》文中研究说明移动设备在人们生活中的地位急剧增加,无线网络的发展使得在移动设备上提供的Web服务广受认可。然而,移动设备自身资源有限,导致某些Web服务在移动设备上执行效果不佳或服务请求无法执行。为了保证移动Web服务的正常运行,本文在Web服务移动设备中引入负载均衡技术,将服务请求分发到不同的移动设备上去执行以提高移动设备的执行能力。本文在对移动主机、Web服务、负载均衡以及服务划分等技术进行分析和总结的基础上,对Web服务移动主机负载均衡技术进行了深入研究。首先,设计了一个Web服务移动主机负载均衡框架,该框架给出了移动主机负载均衡的整个实现过程,达到了合理利用移动设备资源、提高Web服务执行效率的目的。提出了一个Web服务移动主机负载均衡算法并将其应用到Web服务移动主机负载均衡框架中。为了实现负载均衡,该算法将消耗资源较大的组合服务进行多次划分并分发到不同的辅助移动主机上并行执行,即将单主机无法执行的服务请求转化为多主机执行,以此提高辅助移动主机群的执行能力、缩短用户请求的响应时间。接下来,对Web服务移动主机负载均衡框架和负载均衡算法进行了实现并将提出的Web服务移动主机负载均衡算法与一些相关算法的研究进行了实验对比,总结了常用负载均衡算法的优势与不足。最后,给出一个大连生活助手应用案例,验证了本文研究的Web服务移动主机负载均衡框架和算法的有效性。

李春辉, 戚淑芬, 李静[9]2009年在《分布式系统主机负载预测方法的评估》文中指出动态负载均衡是网络计算的关键技术,如何提高动态负载均衡的性能,一直是网络计算人员研究的一个热点.通过实验评估比较了线性时间序列模型、特殊的自我平衡及趋势预测时间序列模型、神经网络BP模型的预测性能,获得了各预测模型的优劣,从中选择了具有较佳预测性能的时间序列AR、混合趋势预测MT两种预测模型构建了预测模型模板库。

马雪梅[10]2005年在《分布式系统中主机负载预测》文中认为在具有多个处理机的并行分布式系统中,当处理机所分配的任务不是对称的时候,就会出现各个处理机的负载不均衡的现象。为了有效地合理的利用各个处理机的资源,在并行分布式系统中引入了负载均衡机制。在分布式系统中,做好主机负载预测,是负载均衡的关键,本次课题的主要目的在于探讨主机负载预测的方法,基于离线和在线基础上,寻求准确性更高的预测方法,增加实时校正功能,并进行仿真模拟,充分论证方法的可行性,提出进一步工作方向。研究的总体目标为针对主机负载特点,提出合适的基于时间序列分析方法的实时预测算法,将比较多种时间序列分析方法,提出可行的预测误差估计方法,侧重于实时校正,在线预测的评价,实时选择合适的时间序列预测方法,大大提高主机预测效率和精度,更好的为负载均衡服务。

参考文献:

[1]. 分布式系统中的主机负载预测与动态负载均衡研究[D]. 许伟. 中南大学. 2004

[2]. 基于主机负载预测的机群动态任务调度策略研究[D]. 陈荣征. 广东工业大学. 2008

[3]. 叁层客户/服务计算技术研究及其应用[J]. 吕西红, 陈志刚, 曾碧卿, 曾志文. 计算机工程与应用. 2005

[4]. 分布式系统中主机负载预测的一种普适性方法[J]. 许伟, 陈志刚, 曾志文, 华强胜. 计算机工程与应用. 2004

[5]. 一种云计算环境下负载均衡敏感的聚类部署方法研究[D]. 董运萌. 吉林大学. 2015

[6]. 基于移动Agent的理性迁移与负载均衡研究[D]. 刘会明. 华中科技大学. 2006

[7]. 基于负载预测和过载迁移的动态负载均衡研究[D]. 柳旭日. 青岛理工大学. 2009

[8]. Web服务移动主机负载均衡技术研究[D]. 路瑶. 大连海事大学. 2018

[9]. 分布式系统主机负载预测方法的评估[J]. 李春辉, 戚淑芬, 李静. 科技创新导报. 2009

[10]. 分布式系统中主机负载预测[D]. 马雪梅. 吉林大学. 2005

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

分布式系统中的主机负载预测与动态负载均衡研究
下载Doc文档

猜你喜欢