PC机群环境MPI并行DFT运算的研究

PC机群环境MPI并行DFT运算的研究

牛涛[1]2003年在《PC机群环境MPI并行DFT运算的研究》文中指出并行DFT是解决大数据量DFT运算耗时过久的重要途径,在PC机群上实现并行DFT是一种低成本、高效率的解决方案。本论文首先介绍了并行计算的基本理论,然后介绍了计算机机群系统和MPI(Message Passing Interface)消息传递机制。在此基础上,建立了基于LINUX和MPI的PC机群实验环境。MPI并行程序设计与传统程序设计存在显着差异,本文讨论了在机群系统上进行MPI并行程序设计的过程和方法,并且具体用于实现MPI并行DFT运算。讨论了PC机群环境下MPI并行一维和二维DFT的编程实现,并利用建立的平台,对并行算法进行了测试,比较了并行DFT和传统DFT运算耗时的差异。同时,比较了并行算法的设计中网络通信(消息传递)因素对并行效果的影响。最后,根据理论研究和实际测试的结果,总结了利用PC机群系统进行并行DFT运算的可行性,得出了一些有意义的结论。

卢可佩[2]2015年在《基于MPI和Linux机群环境的FFT算法的并行设计与实现》文中认为在数字时代,几乎所有的实际系统都离不开数字信号中的频域处理。快速傅里叶变换是数字信号处理的核心技术,是频域处理最常用的方法,得到了广泛地应用。伴随着通信领域的快速发展,利用FFT处理的数据量越来越大,利用串行FFT进行大数据量运算耗时过久,这已无法满足现实要求。当处理的数据量非常大时,并行计算是应对运算消耗时间太长的有效方法,并且机群系统是并行计算编程实现的主流平台,那么以机群系统为平台实现FFT并行化的研究具有重要的意义。本文首先阐述了课题研究背景意义及主要工作,然后介绍了庞大复杂的并行计算相关知识中的并行机体系结构和几种典型的并行机系统,在并行机系统中着重介绍了当前的主流平台机群系统,然后详细介绍了并行算法相关理论,分析对比了几种并行编程模型,结合机群的体系机构选择了消息传递编程模型,并选择了其中应用更为广泛的MPI作为通信标准。基于理论研究,利用实验室条件分别具体实现了基于Windows和Linux两种操作系统环境下的PC机群的搭建。接着对FFT算法的原理进行研究,主要研究了FFT算法的蝶式运算结构特点,同时对胖二叉树网络拓扑结构进行分析,根据两者之间相似的结构特点,提出了基于胖二叉树逻辑结构将FFT并行化的思路,在理论上详细分析了此并行化思路的可行性,并基于MPI进行了编程实现。在实验部分,本文首先介绍了所利用的实验环境,然后将并行编程实现的FFT并行算法和串行算法在曙光集群TC5000进行了多组多次实验测试,得到一系列实验数据,比较了在不同处理数据量的情况下并行FFT和串行FFT运算时间的不同。根据实验结果体现出来的情况,验证了基于胖二叉树逻辑结构将FFT并行化在机群环境下实现的可行性,并得到并行计算方面一些有意义的结论。最后,论文对前面所做工作进行了概括总结,并结合机群系统的体系结构特点,提出了进一步提高FFT并行算法性能的一些方法。

刘劲, 杨平华[3]2006年在《PC—Cluster下的FFT并行算法分析》文中指出在地震资料处理中,大数据量的FFT运算非常耗费机时,在PC机群上实现FFT的并行运算,是一种低成本高效率的解决手段,但并行算法设计不是简单地串行运算的推广,仅仅考虑计算功能的实现是不够的,还需要考虑到通信的设计等与并行环境相关的因素才能充分挖掘并行系统的计算能力。本文讨论了FFT在PC机群环境下的MPI并行算法的设计思路,并对实际运行效果比较分析,得出了一些提高FFT并行效率的解决方法。

贺杰, 韩洪木[4]2011年在《机群环境下傅立叶变换的并行算法研究》文中认为并行FFT是解决大数据量FFT运算耗时过久的重要途径,在PC机群上实现并行FFT是一种低成本、高效率的解决方案。本文讨论了PC机群环境下MPI并行FFT实现,并利用建立的平台,对并行算法进行了测试,得出了一些有意义的结论和方法。

贺杰, 潘学峰, 刘智珺[5]2006年在《机群环境下二维傅立叶变换的并行算法研究》文中研究表明并行2D-FFT是解决大数据量2D-FFT运算耗时过久的重要途径,在PC机群上实现并行2D-FFT是一种低成本、高效率的解决方案。本文讨论了PC机群环境下MPI并行二维FFT实现,并利用建立的平台,对并行算法进行了测试,得出了一些有意义的结论和方法。

来淼[6]2003年在《并行算法性能评测及并行监测工具关键技术的研究与实现》文中研究说明高性能计算广泛应用于国民经济、国防建设和科学研究等各个领域.实际上,并行软件的性能远远落后于硬件和体系结构技术的发展,并行软件开发及并行程序的设计、开发、调试、优化仍是高性能计算领域研究的重点。本文重点进行并行算法性能评测以及并行监测工具关键技术的研究与实现。对于并行算法性能分析,我们主要采用两种方法,一是基于模型的性能分析方法,另一种基于测试的性能分析方法,从理论和实际测试中分析典型算法的性能问题,找出性能瓶颈,优化算法,以提高算法在系统上的运行性能。 针对工作站机群体系结构,我们用基准测试程序分别测试并行计算模型LogP和BSP模型的性能参数,并且分析性能参数对并行程序性能的影响。在此基础上,分析典型并行算法的性能,并在PC机群环境上进行测试,从任务划分、负载平衡和通信优化出发,提出优化算法的策略。另外。动态负载平衡问题能够高效实现并行计算到并行计算机系统的映射,自动完成各处理单元的任务分配,也是本文的一个研究重点。 并行监测工具测试应用程序的性能是通过向应用程序中插入测试代码进行的,所以并行监测工具的测试技术直接影响了并行程序性能分析的准确程度。本文另一方面重点分析了并行监测工具Paradyn的动态测试技术和AIMS事件跟踪技术,并对它们的关键技术进行比较,然后针对以太网相连的工作站机群体系结构,基于Paradyn动态测试技术设计并实现一个支持BSP函数库的并行监测工具原型。

危疆树[7]2006年在《图像处理算法分析及其并行模式研究》文中研究表明随着网络技术和多媒体技术的飞速发展,以Internet应用为核心的网络多媒体技术成为信息时代的关键技术之一。在图像处理领域,高速和超高速的数字图像处理技术应运而生,成为解决科学研究和工程领域诸多应用的重要手段。数字图像处理所涉及的知识非常广泛,具体的方法种类繁多。传统的图像处理技术主要集中在图像的获取,变换,增强,恢复,压缩编码的方面,并且随着新工具,新方法的不断出现,这些图像处理技术也在不断发展。由于图像信息丰富,数据量大,用最小的时间开销和最小的空间开销是图像处理的关键所在。因此,对图像处理算法进行并行化研究是非常重要的和有价值的研究方向。计算机单机技术发展的有限性和科学工程计算需求的无限性之间的矛盾决定了计算机发展必然走上多机并行的道路。这就导致了并行计算将成为未来主流计算模式,并行处理技术的发展将成为未来国防建设、国家科技发展的主要推动力量。相应地,这种对工程计算能力与日俱增的需求也是促使并行处理技术在近二十年来得到蓬勃发展的主要源动力。目前通用的消息传递环境有Express, P4, PVM和MPI等几种。其中MPI(消息传递接口)是目前最重要的编程工具,它具有可移植性好、功能强大、效率高等多种优点。本文以网络并行计算技术为主要研究对象,重点研究了并行算法及其在图像处理中的应用。本文概述了并行处理技术和图像压缩技术;并详细阐述了并行算法及图像处理算法的基本概念和模型;详细讨论了网络并行LogP模型及并行算法的开发环境;并进行了FFT并行编码算法、小波并行编码算法,中值滤波,图像二值化等图像处理的并行算法的设计与分析。

李兴盛[8]2010年在《地震资料处理PC集群并行效率研究》文中进行了进一步梳理石油地震资料处理需要海量存储和巨量计算,一直是高性能计算的重要应用领域。基于Linux的集群计算机系统由于在性价比、可靠性和可扩展性方面的明显优势,已成为目前地震资料处理的主流平台。对地震资料处理PC集群的并行效率进行研究,可以充分利用现有的软硬件资源,提高地震资料处理集群的整体效能,提高地质效果和经济效益,具有重要的实际意义。本文在分析地震资料处理系统的特点的基础上,找出了影响地震资料处理PC集群并行效率的关键因素,主要是I/O瓶颈问题和串行程序在并行环境中的低运行效率。为了解决上述问题,本文主要从并行文件系统和并行编程两方面开展研究工作。本文首先利用普通PC机和MPI技术构建了一个PC集群,对其进行了LINPACK基准测试,分析了影响集群性能的几个关键因素并提出了相关建议。为了解决地震资料处理集群中日益严重的I/O瓶颈问题,本文在研究并行文件系统理论的基础上,将Lustre并行文件系统部署到了实验集群中,利用iozone对NFS和Lustre进行了对比测试。结果表明,Lustre能够更好地适应并发I/O的要求,可有效缓解I/O瓶颈问题。为了提高Lustre的安全性,本文设计了一个基于PKI的Lustre安全模型。在研究相关并行程序设计和开发理论的基础上,对地震资料处理软件中的核心算法快速傅里叶变换和矩阵乘法操作,利用MPI、OpenMP和CUDA等技术进行了并行化,并与相关串行程序在执行耗时方面进行了比较。测试结果表明,通过对计算密集型算法进行并行化,可以明显缩短程序运行周期。将Lustre并行文件系统和并行编程技术应用到实际地震资料处理系统,通过对实际地震资料的处理测试表明,Lustre和并行编程技术可以显着缩短地震资料处理周期,提高程序运行效率。此外,本文还研究了编译器、运行环境、数学库等因素对程序效率的影响,得到了一些有意义的结论,并对进一步提高并行效率提出了几点建议。

王延玲[9]2009年在《基于MPICH的并行计算系统负载平衡技术的研究》文中研究指明随着大型复杂计算需求的扩大,人们把高性能计算更多的应用于数据挖掘、图像处理业务、基因测序对比处理等数据处理领域。科学计算规模的迅速膨胀,传统的串行计算已不能满足需求,从而提出了并行计算的概念。并行计算是相对于串行计算来说的,它将进程相对独立的分配在不同的节点上,由各自独立的操作系统调度,享有独立的CPU和内存资源,进程间通过消息传递相互交换信息。但是,除了近年来逐步完善并走向实用化的数据流计算机之外,50年来计算机系统结构虽取得重大进展,但并没有发生革命性的变化,现在实用化的计算机是以冯.诺依曼机器为原型,在此基础上加入并提高并行处理实现的手段和并行处理的能力。MPI是1994年5月宣布的一种消息传递接口,为消息传递程序提供的标准程序库,MPI以独立的语言形式来定义这个接口库,并提供了与Fortran和C语言的绑定,是目前高效率的超大规模并行计算最可信赖的并行计算平台。因此,本文从研究任务分配、负载平衡出发,改进了MPICH任务分配上的缺点,构建了一个基于MPICH的负载平衡模型。模型使用相对处理速度的概念,把每个节点的处理能力进行量化,调度节点根据每台节点处理能力的权重值来分配任务,以达到整个系统的负载平衡。为了充分利用Internet上广泛分布的空闲资源,目前已有多个分布式计算项目,如:SETI@Home,GIMPS等等,这些项目己经证实了这种计算模型的可行性。但这些系统的缺陷是:资源高度不稳定、用户信任度低、通信带宽有限、延迟大。为了弥补并行计算机系统这个缺陷,负载均衡技术得到了人们的关注并迅速发展。本文对变换关键路径算法进行改进,提出一种基于有向非循环图的任务调度算法,先从理论上分析了调度思想的差异和调度结果的不同,然后借助并行计算环境对该算法与修改关键路径算法作了比较与分析。

周益民[10]2006年在《图像处理并行算法的研究》文中进行了进一步梳理当代面临着的重大科学技术问题要依赖于计算技术协助解决,一方面要作大型计算以得到更精确的解,另一方面要作计算机模拟,以便进一步了解所探讨问题的结构与运动规律。这两个方面都离不开并行处理技术。并行处理技术领域非常广泛,包括并行体系结构、并行软件和并行算法等。由于图像处理过程中的数据量巨大,而且各种算法中大量卷积运算和矩阵乘法运算的存在,就为图像处理过程中的并行算法设计和实现提供了可能。提高图像处理的速度就是一个重大的挑战,这是由图像数据的特点和图像处理算法的复杂性引起的。并行计算是提高处理速度的有效手段之一,随着高性能并行处理系统的发展,图像并行处理技术为提高图像处理速度提供了更大的空间。本文将以并行算法在图像处理中的应用为研究对象,重点研究了并行算法在FFT和DCT变换和图像编码问题中的一些方法和应用。首先,根据快速傅立叶变换的串行算法(FFT),重点设计了在机群环境下求解计算傅立叶变换的并行算法,详细描述了设计思路,设计策略。文中选用的任务划分方法为均匀分配方法。在并行算法的设计中,根据傅立叶变换中固有的倒排位特性,本文给出了一种区别于位操作的递归方法来实现了初试序列的排序和划分,也给出了详细的并行算法描述和并行算法的复杂度分析。然后,根据离散余弦变换的串行算法(DCT),重点设计和分析了在机群环境下,计算离散余弦变换的并行算法并给出了详细的算法描述和分析。最后,在图像的编码方面,本文选用了常见的哈夫曼编码方法进行并行算法的设计。并在压缩图像的过程中采用了DCT变换和哈夫曼编码结合的方法。在数值实验的过程中,通过各个处理节点上的归约操作和主机的广播操作,实现了多机同时根据哈夫曼编码表进行图像数据压缩。文中设计的并行算法已经在NOW上的MPI平台上实现。理论分析和数值实验表明本文设计的并行算法具有较高的并行效率和实用价值。

参考文献:

[1]. PC机群环境MPI并行DFT运算的研究[D]. 牛涛. 华南师范大学. 2003

[2]. 基于MPI和Linux机群环境的FFT算法的并行设计与实现[D]. 卢可佩. 曲阜师范大学. 2015

[3]. PC—Cluster下的FFT并行算法分析[J]. 刘劲, 杨平华. 工程地球物理学报. 2006

[4]. 机群环境下傅立叶变换的并行算法研究[J]. 贺杰, 韩洪木. 微计算机信息. 2011

[5]. 机群环境下二维傅立叶变换的并行算法研究[J]. 贺杰, 潘学峰, 刘智珺. 中国水运(理论版). 2006

[6]. 并行算法性能评测及并行监测工具关键技术的研究与实现[D]. 来淼. 国防科学技术大学. 2003

[7]. 图像处理算法分析及其并行模式研究[D]. 危疆树. 电子科技大学. 2006

[8]. 地震资料处理PC集群并行效率研究[D]. 李兴盛. 中国石油大学. 2010

[9]. 基于MPICH的并行计算系统负载平衡技术的研究[D]. 王延玲. 曲阜师范大学. 2009

[10]. 图像处理并行算法的研究[D]. 周益民. 电子科技大学. 2006

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

PC机群环境MPI并行DFT运算的研究
下载Doc文档

猜你喜欢