戴华东[1]2002年在《并行分布操作系统共享存储管理及其优化技术的研究》文中研究说明本文研究了并行分布操作系统中共享存储管理及其优化技术，主要包括共享存储抽象层的设计与实现、线程一致性模型以及基于即态访问信息的动态页迁移技术等。 经过对并行分布操作系统面临的机遇和挑战以及相关理论和具体实现技术的深入剖析，本文着重对共享存储管理技术进行了研究。针对不同体系结构所呈现出的不同存储共享的性质，我们提出了一个共享存储抽象层的概念，用以统一SMP等系统中的真共享、CC-NUMA等系统中由硬件支持的分布共享以及工作站机群系统中的虚共享等情况，并在此基础上探讨和设计了并行分布操作系统的逻辑结构框架。 共享存储管理中最关键的问题之一就是如何维护存储一致性的问题。针对现有的存储一致性模型大都存在可扩展性不足和不适于在操作系统级实现的缺点，我们提出了一个基于同步点的存储一致性模型及实现的框架——S~3C框架，通过它来更好的研究和比较不同的存储一致性模型及其优化的实现方式，为设计和实现新的存储一致性模型提供指导，以弥补现有存储一致性模型存在的不足。在该框架中，我们通过定义叁个同步点和一个一致性维护点的概念，对不同存储一致性模型中正确的存储访问事件顺序进行了描述。 在S~3C框架的基础上，我们提出了一种新的以操作系统为中心的存储一致性模型——线程一致性模型。该模型通过程序执行过程中线程状态的变化来观察和限制存储访问事件的正确顺序，因而有机的将操作系统存储管理和执行体管理的功能结合在一起，更适合于在操作系统级进行实现。同时，线程一致性模型能够充分利用多线程系统中计算与通信重迭从而隐藏通信延迟的优势，特别适合于多线程操作系统内核和多线程CPU。此外，我们通过对线程一致性模型条件的进一步放松，提出了模型的懒惰实现方式，从而减小系统维护一致性的消息传递开销，提高了系统的可扩展性。 我们针对共享存储管理的优化技术展开了探讨。高效的页迁移策略能够动态改善数据局部性，提高存储系统的性能。因此，我们重点针对页迁移技术进行了研究。现有的页迁移策略大都需要特殊的硬件支持(如访问次数计数器)，因而硬件开销大且软件模块的可移植性不够好。为了提高策略的通用性，我们设计了一种无需特殊硬件支持的基于即态访问信息的动态页迁移策略，在策略的信息收集阶段采用直接从cache中获取的即态访问信息来代替传统策略使用的历史访问信息，在此基础上形成页面动态复制或迁移的策略，从而消除了硬件开销。测试结果表明该策略能接近甚至达到传统页迁移策略的优化效果。
曾文英[2]2011年在《面向移动环境的数据存储管理方法关键技术研究》文中研究表明随着移动网络技术的快速发展和移动用户数量的持续增长,移动环境下的各种业务应用已经日趋广泛。伴随而来的是移动应用环境下产生的数据信息呈指数式的增长,它带来了对移动环境下的大量数据信息进行存储管理的新技术需求,因此,有关面向移动环境下的数据存储管理问题的研究已经变得越来越重要。现有的有线网络中的分布式存储管理方法主要是针对带宽稳定、可持续服务、可扩展和高性能节点等都比较稳定的应用环境;但它在面对移动环境的异构性、分布性、高维性、动态性带来的移动数据管理的复杂性等方面具有明显的不适应性,因此,不能直接应用于移动环境下的数据存储管理。由于移动环境的多源性、多宿性、自治性、上下文感知性和环境依存性,且面向移动环境的数据存储管理具有集中与分布的特点,因此,可以考虑借助移动Agent技术、移动数据库、分布式网络、跨层协作、网格计算及云计算等多种技术来构建移动环境存储管理与服务系统。另外,随着各种网络互通和融合技术的日益成熟,在移动环境下设备与网格和云计算系统协作可以构建海量、持久、无限可扩展的存储资源与服务系统的市场前景巨大,并且良好的数据存储管理方法将会为移动应用的运行服务提供高效、安全的数据存储基础。因此,面向移动环境的数据存储管理方法的研究有重要的理论意义和实际意义。本文对移动环境下的移动网格体系结构与资源选择方法、移动分布式数据存储服务结构模型、移动数据库技术、基于无线Mesh网的层次化存储系统和移动环境下的存储服务QoS等关键技术问题进行了系统而深入的研究,取得了一些有创新性意义的研究成果;其主要研究工作和创新性成果体现在以下几个方面。1.提出了一种移动网格结构模型(MGAM,Mobile Grid Architecture Model)和移动网格资源管理算法(MGRMA,Mobile Grid Resource Management Algorithms)。首先提出了一种结合移动计算和网格计算、支持移动环境存储服务的移动网格结构模型,其次,对移动网格的逻辑构成和形式化模型进行分析,给出了移动网格资源选择与分配方法和相关的移动网格资源协作算法,最后给出了移动网格的原型和应用实例,并进行了模拟测试和性能分析。2.提出了一种基于移动环境的自适应分布式存储服务的系统结构模型(SDSSAM,Self-Adaptive Distributed Storage Service Architecture Model),SDSSAM是一种结合移动计算的跨层协作式存储结构模型。首先描述了SDSSAM的各层次的功能;其次提出了SDSSAM结构中的跨层协作方式;最后给出了SDSSAM的分布式存储协作服务和自适应存储等算法。研究表明SDSSAM具有自适应、移动计算、分布式计算和自组织的特点,是一种具备了灵活性、自主性、协作性和群体智能的移动存储系统结构。3.提出了一种基于移动数据库的移动数据管理结构(MDMA,Mobile Data Management Architecture)和存储管理方法(SMS,Storage Management Solution)。移动数据库是移动分布式环境数据组织和存储的最有效的方式,为移动业务运行提供了数据支撑,移动应用一般基于移动数据库而实现。针对移动环境的特点,首先提出了一种基于移动数据库的移动数据管理结构和存储管理方法;其次研究了移动数据库中数据的预取与复制、缓存同步、事务处理、并发控制、广播机制等多种关键技术,为移动环境下数据存储与管理相结合提供可行的管理方法。4.提出了一种基于无线Mesh网的层次化存储系统(HSSWMN,Hierarchical Storage System over Wireless Mesh Network)模型。首先提出了基于无线Mesh网的层次存储系统(HSSWMN)模型,并对其存储模型、存取算法、性能优化等方面进行了分析和研究;其次研究了HSSWMN的名字空间与元数据服务、搜索与查找服务、注册与注销,可扩展性、负载均衡、容错机制、数据安全、复制与缓存机制和拓扑重构等关键问题;最后通过仿真分析,对时延、吞吐量、误码率等进行了模拟测试,并对HSSWMN存储系统的可行性、可用性和可靠性进行了性能分析。5.提出了一种面向移动环境数据存储服务QoS跨层模型(QCLMSS,QoS Cross Layer Model of Storage Services)和移动环境存储服务QoS确保算法(QASS,QoS Guarantee Algorithms of Storage Service)。首先对移动环境数据存储服务QoS技术进行了研究,分析了各层次QoS的特征及关系;其次提出了QoS实施算法及性能模型,并对移动环境下存储QoS保证算法进行了研究;最后提出了全局优化、局部优化、多阶段优化、自适应优化等算法,并分析了移动存储系统的QoS实例,对有线网络、无线网络接入方式下磁盘I/O性能进行了模拟测试和分析研究。
汪东[3]2007年在《异构多核DSP数据流前瞻关键技术研究》文中研究表明异构多核DSP通过在一块芯片内集成多个DSP核和其他处理器核,可以将不同类型的计算任务分配到不同类型的处理器核上并行处理,是一种功能强大、灵活高效的嵌入式SoC处理器。异构多核DSP在处理数据流密集型应用时,相比单核DSP需要更大的存储带宽和更灵活的存储结构,对片上存储系统和数据通路具有更高的性能要求。如何有效减轻“存储墙”问题对异构多核DSP性能和扩展性的限制,成为异构多核DSP体系结构研究中的重要课题之一。数据前瞻技术是提高计算与存储并行性,缓解多核处理器中“存储墙”问题的有效手段。它通过前瞻地执行远程数据访问,将计算所需的数据提前送入距离处理器较近的局部存储器(例如数据Cache)内,能够有效减少本地访存失效,隐藏远程访问延迟。本文针对异构多核DSP应用中数据流密集的特点,从隐藏远程访问延迟、优化片上存储层次、改进数据管理效率和提高数据输入/输出带宽四个方面,有针对性地研究了几种数据流前瞻技术,并结合异构多核DSP实验平台SDSP和PolyDSP进行了性能分析与评测。本文的主要工作与创新点体现在以下几个方面:1)结合多核DSP课题组的工作,构建了共享存储结构的异构多核DSP“SDSP”,并以SDSP为超节点扩展出了大规模多核DSP系统原型“PolyDSP”。本文完善了SDSP和PolyDSP在各个层次上的同步与通信机制,以及系统的并行编程框架和DSP应用程序的并行映射方法。2)全面分析了典型DSP应用程序中的数据流分布特征。分析结果表明:单个DSP核运行所访问的数据、多个DSP核之间共享的数据以及Cache一致性失效涉及的数据中都分布着大量数据流;同时,多DSP核共享的数据流之间具有相似的生产顺序、消费顺序和相似的访问局部性。3)为了减少Cache一致性失效,隐藏远程访问延迟,提出了一种面向共享存储多核DSP结构的数据流分簇前向(forwarding)技术DSCF。DSCF技术采用专门的硬件模块执行软件原语发出的核间前向传输请求,将“消费者”DSP核所需的数据块提前分簇传送到它的私有数据Cache中,传输速度与消费速度相匹配。实验结果表明,DSCF技术有效降低了Cache一致性失效率,提高了共享存储多核DSP的计算性能,总体性能优于已有的Koufaty方法和Wenisch方法。4)为了优化异构多核DSP的片上存储层次,提出了一种适用于小规模多核DSP的快速共享便笺存储技术,并构建了其结构模型FCC-SDP。FCC-SDP以多体并行的小容量便笺存储器为传输媒介,采用基于硬件信号灯的同步机制,支持多个DSP核的并行访问和点对点事件同步,访问速度与一级数据Cache相当,能够快速实现DSP核间细粒度共享数据的传输。实验结果表明,FCC-SDP相比已有的VS-SPM结构具有明显的性能优势;采用FCC-SDP与共享Cache相结合的数据映射方式,将DSP核间的细粒度和不规则共享数据映射到FCC-SDP上,能够进一步提高片内的数据重用性和系统的计算性能。5)为了改进系统的数据流管理效率,设计了异构多核DSP的数据流传输控制引擎(DSTCE),并提出了一种利用DSTCE实现数据流前瞻传输的方法。DSTCE采用了可编程的后台传输机制,针对异构处理器核之间的数据流传输、超节点之间的数据通信和系统的并行编程与映射都进行了专门的设计优化。本文采用专用的前瞻操作原语,利用DSTCE实现了不同端口之间的数据流前瞻传输。DSTCE有效提高了异构多核DSP系统对数据流的管理效率,相比基于CC-NUMA结构的超节点扩展方案,基于DSTCE和片上网络的扩展方案在计算性能和数据带宽两方面都具有更好的扩展性。6)设计实现了异构多核DSP的外部存储器控制接口(EMCI)并提出了一种基于链表式数据流预取技术的访存带宽优化方法。EMCI的设计采用了多项关键技术,能够同时支持高速的DDR2存储器和多种异步存储器。本文采用两个基于链表结构的数据流预取缓冲器,识别并预取与二级Cache失效相关的数据流。实验结果表明,相比已有的两种预取方法,本文的方法以较低的硬件开销实现了比较令人满意的预取命中率、预取有效性和性能提升,具有更高的能效比。
李琼[4]2009年在《面向高性能计算的可扩展I/O体系结构研究与实现》文中提出数值模拟计算是进行科学研究和探索的主要技术手段之一,其对计算机的计算和数据处理能力提出了巨大的、不断增长的需求,推动着并行计算机系统的发展。高性能计算已进入PetaFlops时代,与此同时,数据存储也进入Petabyte(千万亿字节)时代,对I/O性能、可扩展性、可靠性、可用性和易管理性提出了严峻挑战。大规模并行计算机系统的I/O效能已经成为阻碍系统获得高效能的重要瓶颈。这主要表现在两个方面,一是I/O设备速度、I/O体系结构等因素的制约,使系统I/O性能和计算性能严重不匹配;二是系统规模的扩展导致I/O设备高故障率和数据恢复时间的增长,使I/O系统的可用性问题日益突出。为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。针对高性能计算I/O需求与挑战,结合高效能并行计算机系统的研制任务,论文首先研究了I/O体系结构,从体系结构上保证并行I/O的性能及可扩展性。其次,在实现机制上,研究了涵盖I/O的存储一致性模型及实现技术、智能I/O控制、电磁混合存储加速和事务型存储管理等技术,达到提高并行I/O性能和系统可用性的目的。论文的主要研究工作和创新点如下:1. I/O受限的并行加速比模型针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,提出了I/O受限的并行加速比性能模型,以此为基础对叁类常见的I/O体系结构的可扩展性进行了分析;最后用性能模型指导I/O体系结构设计,设计了一种面向高性能计算的可扩展并行I/O系统结构,提出了提高系统可扩展性的几种策略。2.涵盖I/O的广义域存储一致性模型及协议实现技术针对支持全局DMA操作的共享存储系统存储一致性问题,从I/O与存储体系结构一体化设计理念出发,定义了涵盖I/O的广义程序概念,研究了广义存储一致性,建立了广义顺序一致性模型、广义释放一致性模型和广义域一致性模型,基于广义域一致性模型设计并实现了Cache-Memory-I/O数据一致性协议,在大规模CC-NUMA系统上实现了支持全局并发DMA的全局共享I/O系统。实测结果表明,该系统I/O吞吐能力和扩展能力强,实测并行I/O带宽高达20.2GB/s,并行I/O带宽随着进程个数良好扩展。3.基于强化学习的智能I/O调度算法RL-scheduler针对实际应用中磁盘阵列的I/O服务效率问题,将机器学习领域中的强化学习技术引入RAID控制器中,提出了基于强化学习的智能I/O调度算法RL-scheduler,利用Q-学习策略实现了面向并行应用的自治调度策略。RL-scheduler综合考虑了调度的公平性、磁盘寻道时间和MPI应用的I/O访问效率,并提出多Q-表交叉组织方法提高Q-表的更新效率。实验结果表明,RL-scheduler缩短了并行应用的平均I/O等待时间,提高了大规模并行计算机系统的实用I/O带宽,增强了系统的可扩展性。4.支持事务语义的电磁混合存储管理算法针对高性能计算对I/O性能和可用性的双重需求与挑战,在存储设备一级将事务型存储管理和电磁混合存储加速技术有机结合,研究支持事务语义的电磁混合存储技术,提出了基于令牌的并行事务冲突处理协议和自适应动态逻辑分区管理算法。模拟结果表明,支持事务语义的电磁混合存储系统能够有效利用事务访问规律提高固态盘缓存命中率,隐藏版本管理、冲突检测等开销,获得I/O性能和可用性的双重改善。
施巍松[5]1999年在《软件分布式共享存储系统的性能优化》文中研究表明软件分布式共享存储系统(又称为虚拟共享存储系统)由于结合了共享存储系统的易编程性和分布式存储系统的可伸缩性而成为近十几年来的一个重要研究方向。设计软件分布式共享存储系统最主要的目标是对应用程序不作修改或很少修改就可以在该系统上运行，并能取得令人满意的性能。但为了维护共享数据的一致性和通信的透明而引入的系统开销使得现有的很多系统很难达到这个目标。 本文着重研究如何提高软件分布式共享存储系统的性能，分别从高速缓存一致性协议、存储器组织方式、系统开销、循环调度、任务迁移、和通信优化六个方面提出了相应的优化技术。 通过对传统的侦听协议、目录协议和几种不同的释放一致性协议进行的详细分析，本文提出了一个新型的基于锁的一致性协议，它的独特之处在于“主结点”的概念不仅应用于共享数据信息，而且还应用于一致性信息，如写记录，每个一致性信息根据相应的同步对象都有一个主结点。与基于目录的协议相比，该协议中所有与一致性相关的操作都在同步点上，因此对于普通的访存操作几乎没有任何额外的开销。更重要的是，基于锁的协议中无须维护一个目录，从而更具有可伸缩性，基于这个一致性协议，本文设计并实现了一个简单而实用的软件分布式共享存储系统JIAJIA。JIAJIA采用了一种类似CC-NUMA的存储组织方式，即同一页在所有处理机上都有相同的虚拟地址，因而在发生不命中时，无须象其它系统一样进行两次复杂的地址转换。另外，JIAJIA是第一个真正能够把多个机器的存储器组织起来形成大内存空间的系统，基于JIAJIA系统，本文并行化了一个电磁场计算的实际应用程序，效果与国际上同类程序的消息传递版本可比。另外，本文还提出一种基于置信区间的数据分析方法。 通过对软件分布式共享存储的系统开销进行的详细分析，发现远程数据不命中时间和同步时间是两个最主要的开销。因此提出读记录技术、唯cache写检测技术、层次式栅障实现等叁种优化技术。分析结果表明，前两种技术对性能的提高是明显的，层次式栅障实现在系统规模较大时效果会比较好。 本论文第一次在软件分布式共享存储系统中分析和比较了各种自调度算法，发现一些以前的结论在这样的系统中不再成立，甚至完全相反。在分析前人工作的基础上，提出了一种基于耦合度的自调度算法ABS。该算法在调度时充分考虑了数据的静态分布和计算任务之间的关系，从而尽量保持处理机与存储器之间的耦合关系。ABS算法结合了集中式任务队列和分布式任务队列的优点，与分布式任务队列相比，大大减少了在负载不平衡时因调度引起的同步开销。
刘峰[6]2003年在《仪用主从耦合分布式并行处理容错系统体系结构研究》文中认为信息社会的物质基础是信息获取、处理、显示、存储传输和交互技术，其中仪器系统是最重要的技术内容之一。现代医学仪器和科学仪器技术是传统仪器技术的继承和发展，它以信息获取、处理和控制为基础达到对客观对象内在的、本质的客观规律、功能和结构的认识，进而人机交互，最终实现有效使用的目的。现代仪器系统是在传统基础上更强调系统信息处理能力。信息获取过程需要实时动态地观测客观对象的多参数和多层次的信息，信息处理过程需要对这些获取到的信息进行高效和高质量的快速实时处理。两者紧密地结合从而保证了现代仪器系统完成信息融合和系统特征建模的任务。为了构建高性能/价格比的现代医学仪器和科学仪器系统，本文对现代仪器用主从耦合分布式并行处理容错系统体系结构进行了较为深入的研究。 本文概述了信息化仪器系统的发展过程、现状和方向，并综述了主从耦合和分布式并行处理系统体系结构的主要研究。 首先论述了系统体系研究和构建的方法学，提出了适用于现代仪器系统设计构建的重要原则和系统化设计构建的生存周期模型。在研究了主从耦合和通用分布式并行处理体系结构的基础上，根据现代仪器信息化系统的重要特征，创新地提出了基于通信体系和容错体系融合的、适度集中的主从耦合分布式并行处理容错系统体系结构。 主从耦合分布式并行处理系统的设计和构造是一项巨大的系统工程，具有投资大、周期长、涉及技术领域广和复杂性高等特点。因此本论文在系统体系研究和构建的方法学的指导下，以Petri网理论和离散事件仿真技术为基础，构建了模块层次式系统性能评价系统，对系统进行层次化的性能建模仿真和瓶颈分析，获得了系统在不同工作负载条件下的性能特征，为仪器系统体系结构的设计和实现策略提供了重要的性能量化指标和指导依据。 通信体系结构的设计与构建是本文研究的重点。主从耦合并行处理系统是具有两个或多个处理单元(Process Element)的集合，它们相互通讯以协同求解一个给定的复杂因果问题的计算建模处理系统。通信体系与处理单元之间的高效融合是解决主从耦合并行处理系统中所有问题的基础。 主从耦合并行系统中处理的并行性提高了系统性能，但同时处理的时空局部性也能提高性能，这是构建主从耦合并行系统过程中需要平衡的重要问题——并行程度。具有更高并行特性的细粒度处理需要处理单元间高性能的同步模型和所提供机制的强大支持。本文提出了高效硬件同步系统方案——全动态栅栏同步模型，并给出了相应的编程原语。 在本文提出的主从耦合和的分布式并行处理体系结构中，适度集中的并行处理节点通过多通道共享总线的拓扑互联形成了高性能的关键处理环节。共享并行总线是处理节点之间高性能通信的重要资源，为了提高资源的利用效率，本文提出了基于时间优先权并具有仲裁事务缓冲机制的仲裁方案。 现代仪器用主从耦合并行处理系统需要更加灵活和更高性能的单元间通信服务作为支撑，为此本文研究并构造了分布式活动信箱(Distributed Active Mailbox Messaging，DAMM)通信子系统。DAMM对主从耦合的并行系统的高性能通信网络功能进行了必要抽象，减少了协议的处理层次，使得通信网络的性能特征可以直接为用户所调用，满足了用户对实时性事件处理的需求。同时DAMM提供了必要的共享核心资源管理(中断、时间、协议和缓存管理等)能力，提高了通信服务原语的抽象层次，方便了应用编程和核心实现。 系统运行可靠性要求主从耦合分布式并行处理系统必须具有可靠的故障容错能力。复杂的主从耦合并行系统产生了主从耦合和适度的分布式容错管理问题，以及现代仪器系统的特点是数据量大和处理模型复杂，这些要求系统在尽量少的冗余资源条件下力求保证自身的浙乞〔口弋学体d匕学t立七仑文可靠性。在理论上要求系统局部故障条件下，避免产生系统整体失效的可能性，所以系统中的处理问题主要集中在监测系统失效和故障事件的机制(硬件和软件、局部和系统)、系统状态阶段性保存、系统状态较完整恢复等方面，这些都是研究重点。其中关键在于主从祸合的自动转换机制。 为此本文提出了层次式(硬件和软件层次)多机制(状态空间监测和超时监测)系统错误和失效监测体系方案，以及在与通信系统融合的基础上提出了适用于系统状态阶段性保存的轻量级和重量级结合的校验点方案和恢复方案。 现代仪器用主从藕合分布式并行处理容错体系结构的研究涉及面广，涉及问题复杂，构造实现难度大，除了研究了仿真系统及其集成问题以便在系统未构成前可以在仿真系统上进行深入和广泛的实验研究之外，并描述了仿真系统的整体结构。本文最后给出了未来研究发展方向。
吴齐跃[7]2016年在《教育部数据中心数据管理优化策略研究》文中认为针对教育数据的快速增长和巨大分析需求,考虑信息安全和基础网络、软硬件资源等因素制约,本文研究教育数据存储的优化管理、任务调度、容错部署等问题,以降低教育数据在管理上的总体成本,提升系统效率和可靠性。论文的主要研究成果有：(1)针对教育数据中心的传统竖井式建设模式成本高、无差别数据存储造成存储空间利用率不高的问题,选取在成本和横向扩展能力上更合适的分布式并行处理方式,提出了基于相关性的列组合聚类及列组合配置策略。在界定搜索查询热度值的基础上构建带有查询热度值的数据列组合,考虑集群中节点负载情况,提出了最小存储成本策略,在降低存储空间成本的同时有效提高教育数据查询分析效率。(2)针对教育数据查询分析面对的巨大压力和响应要求,对教育数据分析任务进行量化和优先级划分,综合考虑服务成本,量化节点分析承载能力,提出了“基于综合效用的教育数据调度模型”。基于系统的整体负载率,提出了优化的任务调度优化策略。(3)针对教育数据的列组合特性,提出数据重要性的界定方法,基于节点负载和数据重要性提出了数据选择性恢复策略,提高了系统的可用性。(4)针对教育分析系统分布式数据节点故障问题,提出了节点故障下资源优化部署模型和部署策略,保证数据的完整性和可用性,并给出了教育数据中心的运维保障策略,以提高系统的服务可靠性。
黄春[8]2007年在《面向分布共享存储体系结构的高效能OpenMP关键技术研究》文中指出高端计算发展到今天,已经从单一地追求高性能转向致力于实现系统的高效能,包括提高系统的性能、可编程性、可移植性和健壮性,同时降低系统的开发、运行以及维护成本。高效能计算机系统离不开高效能的程序设计环境,尤其是未来的百万亿次、千万亿次计算机系统所面向的应用是多学科和多尺度的,这些应用的复杂性要求各学科的科学家和软件专家一起设计、管理和维护应用程序。各学科专家的参与对程序设计环境的性能、可编程性、可移植性以及容错性提出了更高的要求。OpenMP具有易编程、支持增量式程序设计模式、可维护性好以及可移植性高等特点,在未来很长一段时间仍将是主流的并行程序设计语言。论文紧紧围绕如何为大规模并行系统开发高效能OpenMP程序设计环境这一主题,对大规模分布共享存储(Distributed Shared Memory,DSM)系统上OpenMP实现的关键技术、面向DSM系统的OpenMP语言扩展、编译指导的数据预取、OpenMP的检查点/续算技术以及面向OpenMP的低功耗优化展开研究,取得了以下创新性成果:1、针对大规模并行计算机体系结构,设计实现了OpenMP并行编译器CCRGOpenMP。提出了编译时和链接时协同的OpenMP共享数据放置策略,不仅克服了在分布操作系统上需要显式分配共享内存的缺点,而且为检查点的数据局部性优化提供了有力支持。在OpenMP实现上,采用了大量的源级优化策略以提高程序性能。对于科学计算和模拟程序,在我们的SCCMP系统上,CCRG OpenMP性能与采用最新的Intel 9.1编译器的SGI Altix相当。2、提出了两个新的OpenMP指导命令BARRIER(thread_id)和ALLREDUCTION,降低了OpenMP并行程序在障碍同步和归约等全局操作上的开销:给出了新指导命令的实现算法。对于实际科学计算程序粒子云,在64个线程时,性能提高了76%。3、提出了面向OpenMP的编译指导的两阶段数据预取算法,克服了DSM系统上远程访存与本地访存延迟不一致引起的预取不准确的问题。建立了一个静态的性能分析模型,对预取算法进行了评估。在SCCMP系统上,采用本文的两阶段数据预取算法后,在32个线程时,SPEC OMP2001中swim程序在我们的系统上性能提高了14%;在64个线程时,性能提高了9%。4、建立了系统级和应用级协同的OpenMP检查点/续算机制,设计了阻塞的OpenMP检查点协议。基于该机制实现了一个CCRG OpenMP检查点/续算系统。该系统完全支持OpenMP 2.0 API,具有良好的可扩展性和实用价值。5、研究了面向OpenMP的功耗优化技术。在结点具有动态电压调整(DynamicVoltage Scaling,DVS)能力的并行系统上提出了叁种低功耗优化方法及其实现算法。在基于最差执行时间的功耗优化中,提出了基于同步段的OpenMP程序最差执行时间分析与DVS方法。该方法将同步段作为分析和电压调整单位,有效避免了障碍同步引起的负载不平衡对程序执行和功耗的影响。建立了一个能量消耗分析模型,模拟分析显示,针对OpenMP并行应用的功耗优化技术能有效地减少并行系统运行OpenMP程序时的能量消耗。
周伟波[9]2002年在《基于Linux环境下的分布式存储系统的研究与实现》文中研究指明在过去的二十年里，分布式系统已经成为一种重要的并行计算平台。虚拟共享存储系统(SVM)用软件的方式在物理分布的存储器上实现了一个逻辑上统一的虚拟共享存储空间。它结合了MPP和SMP的优点，具有良好的可扩展性和可编程性。本文就是在Linux环境下对分布式共享存储系统进行研究。 在SVM中，存储一致性是关键问题之一。我们在仔细分析各种存储一致性模型的基础上，提出了一种以操作系统为中心的存储一致性模型——线程一致性模型(TC)。线程一致性模型通过将并行程序执行过程中的同步点和线程状态结合起来，从操作系统的角度来观察和限制存储访问的正确顺序，从而保证了并行程序的正确执行。线程一致性模型将执行体管理和存储管理这两个方面有机地结合在一起，有利于并行程序数据局部性的开发。另外，多线程机制的一个显着优势就是能把计算和通信重迭起来，从而有效地隐藏通信延迟，提高系统性能。 最后，我们提出了基于线程一致性模型的多线内核虚拟共享存储系统MTK的实现方案，并对其系统开销进行了分析。系统开销分析表明，线程一致性模型可以有效的提高虚拟共享存储系统的性能。
谢向辉[10]1999年在《软件DSM中的数据行为分析及系统性能优化》文中研究指明软件DSM系统以其易构造性和易编程性成为高性能计算技术的研究热点之一。由于过高的远程访问代价软件DSM系统的性能受到极大的制约。本论文重点研究了软件DSM中的共享数据行为，并从存储一致性协议、访存算法、应用程序特征等方面研究了优化软件DSM系统性能的技术，论文的主要工作有六个方面： ① 对共享变量的描述、共享数据的表示、存放、基本活动方式、以及一般访问过程进行了描述，提出了数据空间的访问冗余度的概念。并对假共享、存储粒度与程序的并行性和通信代价之间的关系进行了系统分析。 ② 分析了用于软件DSM系统研究的典型应用程序的特征，认为软件DSM对应用程序的适应是有限度的。具有粗粒度的远程访问和规则的访问方式的应用比较适合软件DSM的环境，细粒度以及大量不规则的远程访问会使软件DSM极不适应。 ③ 以同步操作为尺度，以通信开销为基础，描述了软件DSM系统中各种主要的时间和空间开销，给出了开销分析的方法和部分定量分析结果，并结合具体的一致性协议和应用，给出了时间开销的估算方法。 ④ 对国外最新软件DSM系统(CVM)进行了深入的研究。在分析消化了叁万多行源程序的基础上，建立了运行于工作站群环境下的试验平台，为各种方法的验证铺垫了基础。 ⑤ 在对应用程序的多写形式分析的基础上提出了有限多写方法(LMW)，并在基于工作站群的环境下实现了多种原型实验环境。LMW方法在DSM层面融合了单写和多写，使LRC和RC协议在程序运行过程中动态转换，简化了多写的实现。LMW方法对于适应于软件DSM系统的应用是有效的，在通信带宽较高的情形下可以很好地改善系统性能。 ⑥ 提出了数据预送(Pre-sending)的技术，并分别在HP和SUN两种工作站群的环境下实现了实验原型。数据预送是由数据拥有者将数据放置到可能的使用者的存储空间中的技术。实验表明对于访问较为规则的应用大数据块的预送是有效的，远程访问次数大幅减少，应用性能得到改善。但对于访问极为不规则的应用，大数据块预送反而会使系统性能下降。
参考文献：
[1]. 并行分布操作系统共享存储管理及其优化技术的研究[D]. 戴华东. 国防科学技术大学. 2002
[2]. 面向移动环境的数据存储管理方法关键技术研究[D]. 曾文英. 华南理工大学. 2011
[3]. 异构多核DSP数据流前瞻关键技术研究[D]. 汪东. 国防科学技术大学. 2007
[4]. 面向高性能计算的可扩展I/O体系结构研究与实现[D]. 李琼. 国防科学技术大学. 2009
[5]. 软件分布式共享存储系统的性能优化[D]. 施巍松. 中国科学院研究生院（计算技术研究所）. 1999
[6]. 仪用主从耦合分布式并行处理容错系统体系结构研究[D]. 刘峰. 浙江大学. 2003
[7]. 教育部数据中心数据管理优化策略研究[D]. 吴齐跃. 北京科技大学. 2016
[8]. 面向分布共享存储体系结构的高效能OpenMP关键技术研究[D]. 黄春. 国防科学技术大学. 2007
[9]. 基于Linux环境下的分布式存储系统的研究与实现[D]. 周伟波. 国防科学技术大学. 2002
[10]. 软件DSM中的数据行为分析及系统性能优化[D]. 谢向辉. 中国科学院研究生院（计算技术研究所）. 1999
标签：计算机软件及计算机应用论文; 存储管理论文; openmp论文; 分布式存储系统论文; 并行处理论文; 分布式技术论文; 分布式处理论文; 分布式算法论文; 技术协议论文; 优化策略论文; 分布式部署论文; 分布式一致性论文; 数据库一致性论文; dsm论文; dsp论文;