李春华[1]2001年在《集群计算环境全局通讯优化的研究与实现》文中研究指明随着高速网络技术和高性能微处理器技术的发展，集群计算从局域网扩展到园区网甚至广域网，它正成为一种极具吸引力和挑战性的分布式并行计算平台。集群计算要达到实用化，首先需要解决的关键技术是提高通讯性能，包括点对点通讯和全局通讯的性能。本文主要研究如何在不改变硬件的前提下提高全局通讯性能。全局通讯的性能受计算机结点性能、网络性能、网络拓扑结构、全局通讯路径等因素影响，其中优化全局通讯路径是提高全局通讯性能的一个重要手段，尤其是对消息传递库的设计者而言。在集群环境中，计算机结点和网络存在着异构性，主要表现为计算机结点性能和网络性能各有差异、网络拓扑结构也不规则。这种异构性增加了全局通讯路径有效优化的难度。如果在优化全局通讯路径时不加以充分考虑，忽略了某些因素，往往会导致优化的效果不佳，甚至在某些情况下出现相反的效果，反而降低全局通讯的性能。而常见的消息传递库大多存在着这个问题。针对此问题，我们提出了全局通讯的多粒度优化解决方案，它包括LobP通讯模型、HLC(Hierachical Label Cluster)拓扑结构模型、多粒度优化MGO算法(Multi-Granularity Optimization)、全局通讯模拟器CCSim以及多粒度优化的MPICH-MGO实现。本文从理论研究和工程实现两方面系统地描述了我们所做的上述工作。 通讯模型描述了通讯的基本过程，它是全局通讯优化的基础。本文首先对通讯模型进行分析，指出已有通讯模型在完备性、描述的层次一致性等方面的不足，提出了LobP通讯模型。 拓扑结构模型描述了网络的拓扑结构，它是全局通讯优化的重要依据。在分析两层结构及简单多层结构的基础上，根据分布式集群环境物理拓扑结构的特点以及全局通讯优化的需求，本文提出了适合于分布式集群全局通讯优化的HLC拓扑结构模型，并描述了实现该模型的算法。 基于LobP通讯模型和HLC拓扑结构模型，本文提出了全局通讯的多粒度优化算法，简称MGO算法。MGO算法经过优化分别生成广播、分布、聚合、全聚合等全局通讯操作的通讯路径。在优化时MGO算法利用LobP通讯模型和HLC拓扑结构模型，充分考虑了集群中计算机结点性能、网络性能以及网络拓扑结构，适用于分布式集群环境。 我们实现了多粒度优化的全局通讯库MPICH-MGO。MPICH-MGO基于MPICH，是对MPICH原有全局通讯层的修改和扩充，使得它能够通过分布式测试获得集群的计算机结点性能、网络性能以及网络拓扑结构等信息，利用这些信息进行全局通讯路径的多粒度优化，并根据优化结果对涉及全局通讯的消息进行路由。 我们还实现了针对集群环境全局通讯的模拟器CCSim。模拟器CCSim可以生成不同配置的集群，调用不同的全局通讯优化算法来优化生成相应的全局通讯路径，并利用全局通讯路径模拟全局通讯过程的执行。利用该模拟器可以比较不同优化算法在不同集群配置下的优化效果，它已成为我们研究集群环境下全局通讯优化的一个重要分析工具。 模拟结果表明MGO算法优化效果显着。MGO算法与相关的BT、FEF、FCEF、LA算法相比，在广播、分布、聚合、全聚合等全局通讯操作的性能上，均有不同程 国防科学技术大学研究生院学位论文度的提高，并且性能提高百分比基本上随着集群中计算机结点数目的增加而加大。
简星[2]2016年在《基于区间数的QoS不确定性感知服务选择研究》文中指出面向服务计算(SOC)是一种以服务为基本单元快速构建跨平台、分布式软件系统的计算范型;面向服务架构(SOA)是实现面向服务思想的架构和方法;Web服务技术是基于SOA开发和制定的一系列技术标准和协议规范。随着互联网应用的繁荣和云计算的广泛应用,大量Web服务资源如雨后春笋般出现在互联网上。服务组合(Servcie Composition)作为SOA构建复杂应用,实现服务增值的解决方案,引起学术界和工业界的广泛关注。随着大量有着相同或相似功能,但服务质量(QoS)各异的服务的出现,“QoS感知的服务选择”成为服务组合研究领域的热门问题,其旨在从众多的实现同一功能的大量候选服务中,选出适当QoS的服务参与组合,使得组合服务的QoS最大化并满足用户全局QoS约束。尽管针对这一问题的大量研究已经提出了许多解决方案,但这些研究大多使用服务提供者发布的QoS,或假设QoS值的某种概率分布,忽略了隐藏在服务实时监测数据中的QoS不确定性信息。通过这些方法获得的组合服务,将面临QoS不确定性以及不恰当概率分布假设所带来的风险。本文围绕QoS不确定性问题展开研究,提出QoS不确定性感知的服务选择方法。通过将QoS的不确性作为QoS的本质特征参与到组合服务QoS优化与约束满足的计算过程中,提高组合服务质量稳定性,降低违反约束的风险。本文的主要研究内容和贡献如下:(1)针对服务组合中QoS不确定性问题,提出了QoS区间数模型及服务选择算法。该方法首先从QoS历史监测记录中提取QoS不确定性特征,建立QoS区间数模型。然后根据每对服务间QoS区间数的模糊支配度度量,采用PROMETHEE算法实现了区间型QoS值效益和稳定性权衡下的排序。最后基于这种排序方法我们改进了遗传算法的适值计算方法,提出一种基于遗传算法的全局QoS近似最优服务选择方法。实验证明该方法比传统单一实值的服务选择方法可以获得更稳定QoS的组合服务。(2)针对QoS不确定性感知服务选择问题中用户全局约束满足问题,提出了一种基于软约束模型的两阶段服务组合方法。该方法在对多属性决策问题中的约束满足问题相关理论方法研究的基础上,提出了QoS不确定性感知服务选择问题中的软约束模型,并定义了适用于该模型的软约束服务水平协议。在两阶段的QoS不确定性感知服务选择方法中,首先利用基于MIP方法的全局约束分解算法和服务QoS历史监测记录计算各服务的QoS属性的约束满足率。然后通过合并规则和匹配算法,具有不同约束满足率的组合服务被赋予不同的用户满意度。基于用户满意度值,文章采用一种带罚函数动态适值函数的遗传算法实现带约束的服务选择优化。实验证明该方法可以有效的满足不同约束强度下的近似最优服务选择。(3)针对QoS不确定性感知服务选择方法面对大规模服务组合的问题,提出一种基于聚类约简优化的QoS不确定性感知服务选择方法。该方法针对候选服务集中服务数量较多的情况,提出采用区间数模糊C均值聚类算法对候选服务集进行聚类划分。然后以簇代表服务代替簇内服务参与组合服务选择,并确定各候选服务集中最优簇。最后按最优簇中候选服务数量的规模,选择不同的簇内服务选择策略实现候选服务的选择。基于人造数据集和真实数据集上的实验表明,区间数模糊C均值聚类算法对于不同QoS区间数分布和稳定性的服务具有良好的区分能力,在面对较多候选服务的情况下聚类优化的QoS不确定性感知服务选择方法可以获得更优QoS的组合服务。
周峥[3]2013年在《基于集群计算环境的核外计算中间件关键技术研究》文中指出随着计算机科学的不断进步,使用集群计算来进行科学研究已成为一种发展趋势。这种大规模科学计算往往需要同时调用上千个节点进行运算,以确保用于计算的海量数据可以完全存放在计算机内存中。但是,对于一些大规模非结构计算,例如稀疏线性求解器,运行在上千个节点时,编程困难,高效性也难以保证,直接导致计算资源的浪费。核外计算技术可以通过将数据保存在外存的方式,对计算数据进行运行时的访问、调度和管理。中间件技术的发展也为大规模集群计算带来了更便捷、高效的途径。本文研究了针对集群计算中大规模线性求解问题的核外计算和中间件方面的相关技术,提出了一个支持核外计算技术的中间件,并且使用此中间件相对容易地建立了功能不同的、并行度高的、使用成本相对较低的大规模线性计算求解器。通过相关论证,有效证明了该中间件的通用性、易用性、高效性和进行绿色计算的能力等。本文的研究主要包括：分布式核外计算中间件的数据流与任务流体系架构；数据流处理中的任务调度策略研究；核外计算技术在大规模集群计算中的成本控制；分布式数据流处理系统的中间件构建方法等。本文的具体研究内容和创新工作主要包括以下几个方面：(1)分布式核外计算中间件针对大规模线性计算,本文在一个已有的分布式流处理中间件DataCutter的基础上,设计了一种新的分布式核外计算中间件。该中间件实现了多个节点之间的实时相互通信与协作；并通过全局地址管理模式,对于全部数据,包括远远大于计算平台内存容量的超大规模数组,实现了以数据块为单位的分布式数据核外技术管理；本文对数据流与任务流的管理进行了研究,设计了分布式核外数据管理系统与分布式任务分割、调度模式,实现了数据流与任务流的分离；本文研究的中间件,通过对任务的分割与派遣,达到了节点之间子任务序列的进程级并行,和节点内子任务之间的线程级并行。相对原有的DataCutter中间件,此中间件具有更先进的架构方式,更高效的管理策略,增加了对核外计算的支持,可以更为容易的构建分布式核外计算数据流处理系统。通过外存访问能力测试、核内计算性能测试,论证了中间件的外存访问能力与核内计算能力均达到了硬件条件允许范围内的最大值。(2)基于数据感知的任务调度策略针对中间件中的任务管理,本文设计了一种基于数据感知的任务调度策略。使用有向无环图建立任务之间的数据依赖关系,对任务进行划分并通过其相互之间的数据依赖建立任务序列。在任务总管模块中,根据任务依赖划分出多个子任务,分配至多个计算节点。计算节点接收到代表部分任务的有向无环图子图时,将子图中的每一个任务打散,重新排列形成任务链,并根据系统对于本地节点内存中已有数据的动态感知,实时调整任务链中的任务顺序。基于动态感知的任务调度策略可以优先触发当前满足数据依赖条件的任务,尽可能多的触发当前满足数据条件的任务,同时尽可能多的减少外存访问次数,以此提高系统整体运行效率。通过对比论证,基于数据感知的任务调度策略显着优于现有的MPI传统调度策略。针对基于数据感知的任务调度策略,本文还进行了一系列的提高算法执行效率的研究工作。其中,数据预读取机制,可以通过对任务序列的扫描,在计算当前任务的同时,提前装载下一个任务所需的数据,达到任务派遣与数据调度的联动,用计算时间掩盖数据迁移耗时；针对特定算法提出了同步迭加策略,可以同步触发有数据依赖关系的多个任务,达到执行时间的相互掩盖。这些研究工作均有效提高了中间件的任务调度和执行的效率。(3)中间件的绿色计算论文首先针对中间件的核内、核外计算混合计算能力和资源消耗情况进行了测试,根据总的资源耗费量=CPU占用数量*CPU占用时长的成本计算方式,论证了该中间件在绿色计算领域具备节省计算资源的能力。进而,论文将该中间件运用于一个具体的量子力学计算项目中,将具体的计算系统在搭载固态硬盘的高性能计算平台上进行了测试,系统以核外计算方式实现了MFDn系统的计算过程,相比现有的MFDn计算系统的核内计算模式而言,虽然延长了计算时间,但显着地减少了计算节点和CPU处理器的占用数量。从实验结果可知,中间件架构及相关策略较大程度地节约了计算成本,得到了明显的优于现有系统的结果。通过对比论证,证明了在核外计算模式下,该中间件可以有效地减少资源的消耗,能够达到绿色计算的目的。(4)线性代数编程框架分布式的大规模线性计算往往编程结构复杂,涉及到核外计算时,编程任务更是困难重重。本文基于分布式数据流系统中间件的架构模式,研究出了一种新的线性代数编程框架。该框架提供了多个编程接口,通过调用这些编程接口,程序员可以使用C或C++语言,以集中式、串行的编程方式,完成在集群环境对于大型线性核外计算的分布式、并行计算系统的构建。编程接口支持大量常用的线性代数的计算原语,通过这些原语的调用,中间件可以以相对容易的方式,实现规模庞大、逻辑复杂的多种算法。线性代数编程框架提供了新的分布式核外计算系统架构方式,很大程度上减少了在架构此类系统时的工作量,为大规模线性求解问题提供了一种通用的、易用的、高效的解决途径。本文以特征值求解过程为例,在该编程框架中通过原语的调用实现了相关算法,以非常简单的方式构建了分布式核外计算特征值求解器。并在搭载固态硬盘的高性能计算平台上进行了测试。实验中通过系统执行总时间、系统的外存访问时间、系统的计算时间叁者对比,论证了中间件可以有效的达到计算耗时与数据迁移耗时的相互掩盖,同时对比任务的建立与调度所消耗的时间,论证了中间件在任务创立、分配、调度时的高效性。
李君[4]2009年在《基于Web的分布式图像处理技术研究与系统实现》文中进行了进一步梳理数字图像以其存储方便、保存长久、易于网络传输、信息包含量巨大等特点,在科学研究、工程应用以及现代生活中占据了重要地位。同时,随着数字图像获取技术的进步和图像应用需求的快速增加,对数字图像处理技术提出了新的、更高的要求。一方面,获取的图像数据越来越来多,需要及时有效的处理;另一方面,应用领域的不断扩大,需要新的图像处理方法和技术,尤其是在大数据量、异地数据的共享和处理上,目前单机的、集中式的图像处理已经无法满足图像处理发展的需要;其次从图像数据和算法本身的分布性,从图像处理算法和处理技术的复杂性,都迫切需要一种分布式的处理系统,因此,采用分布式计算、网络技术等的分布式图像处理技术是解决问题的关键。本文主要研究基于Web计算模式的分布式图像处理技术。详细的阐述了与分布式图像处理相关的内容包括分布式计算理论、Web计算技术、Java高级图像处理技术等。在Web计算应用框架的指导下,结合图像处理的特点,提出了基于Web的叁种图像处理体系结构。根据实际研究工作,利用JAI高级图像处理技术实现了一个基于中型模式的分布式图像处理系统WebImaging,并对客户端数据模型、图像处理功能、数据通讯和传输等关键技术进行深入探讨。最后,利用MPICH微机集群计算技术,对服务器端比较复杂的图像处理算法进行计算优化,获取实验数据。从系统运行来看,基于Web的分布式图像处理系统具有异地处理、实时性、跨平台性、系统开放容易扩展等特点。复杂算法经过并行计算优化后,能够较好的提高计算速度,充分利用网络闲散计算资源。
张丽[5]2015年在《遥感影像协同处理体系及摄影测量应用研究》文中研究说明在遥感影像种类和数据量急剧膨胀的今天,融合高性能计算技术与数字摄影测量处理技术,研究建立快速、高效、可扩展的遥感影像处理平台具有非常重要的意义和实际应用价值。本文围绕高性能的遥感影像处理系统体系构建,探讨和研究了协同处理服务网格建立、科学工作流及其管理等关键技术,并面向摄影测量应用,构建了高性能遥感影像协同处理系统。论文开展的主要研究工作和创新点简述如下:1.深入分析了新一代数字摄影测量并行处理系统的特点与核心技术,全面总结了系统与技术的研究现状,梳理了有待进一步突破和深入研究的技术问题。2.从遥感影像处理的能力需求出发,提出了适合遥感数据处理特点和需求的可灵活扩展的软硬件体系结构;基于开放式体系设计思想,构建了遥感影像协同处理系统体系,明确了系统部署场景和部署结构,设计了系统运行模式、业务流程和数据流程。3.构建了具有灵活扩展性、动态适应性和使用便捷性的遥感影像协同处理服务网格;基于Condor设计了网格的总体结构,建立了基于服务的网格门户,研究提出了网格环境下任务动态调度的方法和策略。4.提出了具有良好可视性和动态可交互的科学工作流结构,设计了工作流系统相关元素的开发模型和网格环境下工作流调度流程,实现了遥感影像处理加工流水线的定制和流水线驱动下的任务和数据的自动流转。5.对多基线立体匹配算法和正射纠正算法进行了研究和优化,设计了一种多分辨率半全局影像匹配算法P-SGM,并结合“几何约束互相关”模型和“多视铅垂线轨迹法”模型,提出了一种新的GC3-P-SGM、MVLL-P-SGM多基线立体匹配模型;同时,设计了密集匹配任务的GPU粗粒度并行加速方案和重采样操作的GPU细粒度优化方案,进一步提高了算法处理的速度。6.根据摄影测量处理对象的特点和算法特点,确定了摄影测量的协同处理模式和内部并行方式;提出了通用的并行接口,为更多摄影测量与处理算法的并行化改造和集成提供了一条快捷的技术途径。7.将摄影测量处理算法与科学工作流管理、遥感影像协同处理网格平台进行了无缝集成,建立了面向大型复杂摄影测量处理任务的混合集群协同处理系统。多类型遥感影像数据的实验表明,系统规模化能力强,自动化水平高,整体处理效率高,使用便捷,实现了遥感影像处理能力的大幅跃升。
高新成[6]2016年在《基于云计算的逆时偏移数据处理方法研究》文中研究指明随着传统一些构造简单的油气藏逐渐减少,油气勘探难度日趋提高,主要表现为地层倾角大、储层埋藏深和介质纵横向速度变化剧烈等,因此,油气勘探对偏移成像方法的计算速度与精度的要求也日益增加。目前,迭前逆时偏移被认为是精确获得复杂构造的内部映像最有效的方法,但在整个偏移成像数据处理过程中存在着计算量和存储量巨大等问题,导致其难以大规模的应用于工业生产。如何降低地震数据存储量和提高计算效率是油气勘探偏移成像中重点研究的问题。目前主要采用集群计算方式实现地震数据的高性能处理,但集群计算受到资源限制,并且建设成本高,很难得到广泛的应用。近年来,随着云计算技术的发展与成熟,为逆时偏移提供了一种新的数据存储与管理的有效方法。本文分析逆时偏移数据处理特点及应用需求,在剖析国内外数据处理与云计算等技术和方法的基础上,提出一种基于云计算的逆时偏移数据处理方法,提供更加广泛的高性能计算应用服务。首先,设计基于云计算的逆时偏移数据处理整体架构模型,并分析模型中待解决问题；其次,针对这些问题,对云环境下地震数据分布式存储方法、云环境下数据并行处理方法和云环境下任务调度算法等内容展开深入研究,寻求解决方法,为整体模型提供技术支撑:最后,根据地震资料偏移成像业务需求,研发逆时偏移成像系统,将其应用到云环境中提供服务。主要研究内容如下：1、提出云环境下逆时偏移数据处理的整体架构模型C-RTMDPM针对逆时偏移数据处理特点和应用需求以及存在问题展开研究,重点研究云计算架构及其数据处理的关键技术,设计云环境下逆时偏移数据处理流程:提出一种适合云环境下逆时偏移数据处理整体架构模型(C-RTMDPM),详细描述模型中各层次的功能和待解决的问题;通过引入云环境下分布式存储、并行计算和任务调度等相关技术,实现对逆时偏移数据高效的存储和处理,为逆时偏移数据处理提供新的方法。2、重点研究C-RTMDPM中数据存储、数据处理和任务调度方法首先,研究云环境下地震数据的分布式存储方法。通过对地震数据的存取特点分析,引入分布式云存储思想,从数据存储结构、数据分配策略和节点选择机制等多方面考虑,设计云环境下地震数据分布式存储结构模型：并在模型基础上对地震数据分布式存储策略展开深入研究,设计基于节点动态选择的数据存储算法,实现云环境下地震数据的高效存取。其次,研究云环境下逆时偏移数据的并行处理方法。通过对逆时偏移数据并行处理特点分析,根出逆时偏移数据分布式式处理流程和基于粒度划分的并行数据处理方法；利用GPU计算优势,设计基于CPU/GPU协同逆时偏移计算和多GPU卡联合计算的工作模式；结合云计算MapReduce编程模型,提出一种云环境下GPU-MapReduce并行计算模型,实现云环境下多GPU节点间协同并行工作的高效数据处理机制。最后,研究云环境下任务调度优化策略。通过分析目前常用任务调度算法的优缺点及其适用范围,重点研究遗传算法和蚁群算法,结合逆时偏移计算中大规模任务调度需求,提出一种适合云环境下的遗传-蚁群混合优化算法的任务调度策略。该策略融合遗传算法和蚁群算法双重优点,实现云计算任务调度的高效执行,同时在系统负载均衡方面也有较好的性能。3、云环境下逆时偏移数据处理方法实证分析基于云计算的逆时偏移数据处理方法,结合数据分布式云存取模型、数据并行处理方法和任务调度优化策略等研究成果,开发迭前逆时偏移成像系统,为逆时偏移数据处理提供可视化界面,并将系统应用到云环境中。通过实验表明,系统利用多节点并行处理,不会影响成像精度,能够提高偏移成像的计算效率。研究结果表明,本文提出的基于云计算的逆时偏移数据处理方法能够较好的解决当前地震数据处理存在的数据存储与计算问题,同时对处理其他地震资料应用提供了高效的数据存储、数据管理和高性能计算服务。
杨际祥[7]2011年在《并行与分布式计算负载均衡问题研究》文中指出多核计算、集群计算以及新兴的云计算成为当前的主要计算模式。多核大众化并行计算成为未来计算的主流已成为工业界与学术界的共识,基于多核节点的多核集群成为高性能计算(HPC)的一种发展趋势,而云计算作为一种特定的分布式计算,近年来受到了工业界和学术界的广泛关注。随着多核、集群系统的核数与计算节点数目的不断增长,以及要求提供云服务的用户数量不断增多,对计算的性能和可扩展性的需求从来没有像目前这样迫切过。负载均衡作为提高并行与分布式计算性能和可扩展性的一个关键技术,相关问题亟待得到研究与解决。本文主要从可应用性驱动、结构驱动和软件驱动叁个方面对并行与分布式计算的负载均衡问题展开了研究。本文的主要研究工作如下：(1)针对动态负载均衡(DLB)的基本问题,给出了DLB的主要目标和基本定义,在此基础之上,给出了DLB问题的一种形式化描述；根据DLB策略的主要特征提出了-个综合分类方法。(2)针对负载均衡策略的可应用性问题,研究了在简单性和性能之间可获得一个较好折中的贪婪动态负载均衡(GDLB)策略。将GDLB策略应用于基于BP和SVM的大规模交通流并行预测问题,可提高预测速度和规模。(3)传统的Work-Stealing(简称WS)策略在面临需要传输大量数据的应用和具有层次结构的平台时,它的通讯时间通常令人无法忍受。针对该问题以及分治计算问题,本文提出了一种层次结构的WS (DaCHWS)策略,实验结果验证了DaCHWS策略性能优于Work-Sharing和Satin-CRS策略。(4)考虑了大规模分布式计算系统的通讯延迟开销和延迟时变性特征,提出一种基于广义神经网络的层次结构动态负载均衡(GNNDLB)策略,仿真实验验证了GNNDLB策略优于同类策略：针对多核集群通讯的层次结构特征,考虑了节点内冲突代价,提出了以最小化计算代价、节点间通讯代价和节点内冲突代价的总代价为目标的多核集群任务分配问题,通过建立任务分配问题与最小费用流问题的等价关系来分析并证明节点内冲突代价对问题复杂性的影响关系,并给出了一个求解模型,理论分析和实验结果验证了相应理论结果的正确性和求解模型的有效性。(5)针对多核大众化并行计算的提高多核应用程序开发产能同时获得并行性能收益这个核心目标,设计并实现了一个轻量级的基于用户层次的WS调度策略的多核多线程并行编程库(UCMLib)。该库基于任务原语概念,提供了数据并行性和任务并行性两种并行模式,对多线程编程的复杂性进行了封装和抽象,为开发者提供高级的编程方法而不必显示地考虑锁和竞争,简化并行编程难度,提高开发效率。性能测试表明,当计算规模较大时,UCMLib在数据并行性与任务并行性两方面获得了比TPL库略优的加速比。此外,分析了未来多核软件研究的几个关键问题。
任伶[8]2008年在《SAGE：简单自适应的网格引擎》文中研究表明SAGE:简单自适应性的网格引擎(Simple Adaptive Grid Engine),是我们实现的一个基于纯C++的分布式网格中间件,其主要是用于构建在桌面应用和集群计算服务之间的分布式通讯应用。本文提出了SAGE分布式并行计算模型,并介绍了SAGE中间件的具体实现,包括底层通讯平台、通讯管理、IDL、用户接口、服务端与客户端的实现、集群计算支持、命名服务和光纤支持。SAGE已应用于上海网格二期智能交通系统中。在性能表现方面,SAGE达到了传统工业中间件ICE的80%,并为Web Service的4倍。
宋效东[9]2013年在《基于DEM的可视性分析综合模型及其并行算法研究》文中研究指明可视性分析是空间分析不可或缺的内容,在诸多的地学分析与生产建设领域中发挥重要的作用。然而,现有的基于GIS的可视性分析往往注重单点的可视而忽略多点的复合可视,注重静点的可视而忽视动点的可视,注重直线的可视而忽略曲线的可视,因此,构建一个在可视性分析中能综合考虑多种要素综合作用与影响的可视性分析综合模型,不但可望取得GIS空间分析方法的理论创新,也对提升GIS空间分析能力与水平具有重要的意义。此外,目前基于单核串行的GIS软件,面对大数据量的可视性计算存在技术瓶颈。如何适应计算机多核集群计算能力的提升,构建面向分布式并行计算的可视性分析并行算法,也已经成为数字地形分析亟待突破的关键技术。本文在对可视性分析的主要影响因素的归纳与整合的基础上,构建可视性分析综合模型,并对并行可视性分析算法进行研究。主要内容和研究成果如下：(1)系统地总结了可视性分析的计算原理、计算方法与分析模型,对可视性分析的基本概念进行了扩展,从分析对象(可视性分析的各种实体及属性)、视线属性(分析对象间的视线轨迹)、约束条件(分析对象与视线之间的分析规则与控制参数)叁大基本要素入手,系统综合地剖析了可视性问题。在此基础上,针对可视性分析的具体应用,提出了可视性分析综合模型的理论框架。(2)基于可视性分析综合模型,以庐山地区的格网DEM作为实验数据,对可视性分析的应用模式进行了研究,设计了动点可视、特定视角可视、曲线可视等算法。基于这些算法与已有的相关研究基础,本文对可视问题,如景观评估、最佳选址、索道设计等问题进行了实验验证。(3)提出面向并行可视性计算的粒度模型,该模型系统地将并行问题划分为数据粒度、任务粒度、结构粒度与容错粒度四大基本要素。本文重点对数据粒度进行了详细的分析与探讨。通过对并行数据粒度的量化与动态调度机制,数据粒度模型能够提升地学分析的计算效率。(4)本文对分布式并行计算环境下的可视性分析算法进行了并行化设计。对不同性质的并行可视性分析算法进行通用的DEM数据部署与算法调度设计。提出了一套通用的并行可视性分析数据划分方案。该方法适用于分布式并行计算环境,不要求各计算节点分配所有的分析数据,能够实现低冗余、高效率的通用数据分配机制。实验结果表明,并行算法不仅取得了较高的加速比,而且具有较好的可扩展性。本研究主要研究栅格DEM条件下的可视性分析,但在研究领域上,还适当进行了概念的拓展与应用领域的延伸。这些研究丰富与拓展了GIS空间分析的理论与方法体系,也是并行数字地形分析一次有益的创新实践。
武新宇[10]2006年在《不确定环境下水电系统多维优化理论和应用》文中研究表明水电系统中的预报和调度中涉及大量优化问题，这些优化问题通常具有多维、不确定等特征。如何根据问题的特点研究具有实际应用价值的计算方法，对于水电系统经济、高效的运行具有重要意义。水电站水库(群)优化调度和水文模型参数优选是水文水资源领域两类重要而具有代表性意义的优化问题，本文从这两类问题入手，对这类常见的受到不确定因素影响的多维数优化问题进行了研究。主要成果概述如下： (1)通常采用的参数率定方法中采用的单目标难以全面的评价模拟数据和观测数据的差异。针对这一问题，本文提出新安江模型参数率定的多目标单纯多边形进化算法(Shuffied Complex Evolution，SCE-UA)和遗传算法(Genetic Algorithms，Gas)，并在连续径流模拟和场次洪水模拟两种环境下实现。在连续模拟时，以常用的统计指标间合适的组合作为优化率定的目标。在场次洪水模拟时，从实际应用出发，采用洪峰流量、峰现时间和洪水总量的合格率作为评价目标。结果表明本章采用多目标SCE-UA和遗传算法较好地处理了参数率定中的目标不确定问题，在率定计算中具有较好的效率和稳定性。 (2)水文模型参数的率定是一项计算量大，比较耗时的工作，如何提高率定的效率与质量非常重要。考虑到GA和SCE-UA等许多全局优化方法具有内在的并行性，本文提出了新安江模型参数率定的并行GA和分布式SCE-UA算法。算法的核心是在集群条件下将GA与SCE-UA并行化以提高参数率定效率，算法采用JAVA语言编程，利用JPVM技术实现微机集群的并行处理。实例结果表明采用并行算法可以大大提高参数率定的速度和质量，特别是多种群的并行遗传算法由于迁移的引入可以进一步提高效率，缓解过早收敛问题。 (3)针对水文模型参数和模型评价指标的双重不确定性，本文提出结合模糊优选方法的普适似然不确定估计(Generalized Likelihood Uncertainty Estimation，GLUE)新安江模型不确定分析方法。该方法以多目标模糊优选中的优属度作为似然判据估计各参数的敏感性以及径流模拟的不确定性范围。模糊优选GLUE方法应用于双牌流域，并与以不确定系数为似然判据的连续模拟情况比较。结果表明，该方法对于多目标似然判据的不确定估计问题是可行的。叁水源新安江模型参数的不确定性在场次洪水模拟中更为突出，这也带来模拟结果的不确定性。研究模型的不确定性对于水文预报模型的选择、模型参数的率定以及预报调度的风险分析具有一定的实际意义和应用前景。 (4)针对状态离散和水文信息随机描述的缺陷所带来的不确定性，提出了一种水电站水库调度的模糊随机动态规划(Fuzzy Stochastic Dynamic Programming，FSDP)方法，该方法考虑了调度中模糊性和随机性两种不确定性。将库容、入库流量作为模糊变
参考文献：
[1]. 集群计算环境全局通讯优化的研究与实现[D]. 李春华. 国防科学技术大学. 2001
[2]. 基于区间数的QoS不确定性感知服务选择研究[D]. 简星. 重庆大学. 2016
[3]. 基于集群计算环境的核外计算中间件关键技术研究[D]. 周峥. 武汉大学. 2013
[4]. 基于Web的分布式图像处理技术研究与系统实现[D]. 李君. 浙江工业大学. 2009
[5]. 遥感影像协同处理体系及摄影测量应用研究[D]. 张丽. 解放军信息工程大学. 2015
[6]. 基于云计算的逆时偏移数据处理方法研究[D]. 高新成. 东北石油大学. 2016
[7]. 并行与分布式计算负载均衡问题研究[D]. 杨际祥. 大连理工大学. 2011
[8]. SAGE：简单自适应的网格引擎[D]. 任伶. 上海交通大学. 2008
[9]. 基于DEM的可视性分析综合模型及其并行算法研究[D]. 宋效东. 南京师范大学. 2013
[10]. 不确定环境下水电系统多维优化理论和应用[D]. 武新宇. 大连理工大学. 2006
标签：计算机硬件技术论文; 数据处理论文; 并行处理论文; 大数据论文; 集群技术论文; 分布式架构论文; 分布式算法论文; 中间件技术论文; 分布式技术论文; 分布式处理论文; 云计算论文; 优化策略论文; 服务设计论文; 分布式部署论文; qos论文;