网格环境下数据库查询的原型与实现

网格环境下数据库查询的原型与实现

林海华[1]2004年在《网格环境下数据库查询的原型与实现》文中进行了进一步梳理随着网格技术的日益发展,作为对数据应用需求的回应,在计算网格之后出现了数据网格的概念。在网格环境下如何访问已有的数据库,如何提供一个访问不同数据资源的统一接口,并且在这个基础上将已有的数据库动态地组成一个虚拟数据库完成一个特定任务,是一个非常值得研究的问题。查询是数据库应用中一个使用非常频繁的功能。在网格应用中,查询操作在这个动态组成的虚拟数据库之上进行。由于每个节点上的数据库都只包含所需信息的一部分,查询操作还涉及到数据库异构性、通信开销等问题,这些都给网格环境下的数据库查询带来了新的困难。网格环境下的数据库查询原型研究了在网格中如何访问分布在不同节点的关系型数据库。为了屏蔽不同数据库之间的差异,用统一的数据格式(可扩展标记语言)来表示和传输数据,采用模块化的设计方法,以网格服务的形式实现原型系统,服务之间通过标准的接口进行通信。这种接口和实现分离技术屏蔽了不同节点的异构性,使不同节点上的数据库动态形成一个虚拟数据库成为可能。在分析和研究已有的并行数据库和分布式数据库查询技术的基础上,提出和实现了一种查询计划生成和执行的算法,并为虚拟数据库提供了标准的结构化查询语言访问接口。通过对原型的测试,表明原型系统的设计合理,达到设计要求。

罗永兴[2]2008年在《基于网格技术的医疗信息系统集成研究》文中提出网格(Grid)是20世纪90年代提出的新技术,它的目标是将地理上分布、异构的各种资源通过高速互联网络连接并集成起来,实现资源的高度共享,共同完成一些重大应用研究问题。数据网格(Data Grid)则是网格技术在数据管理方面的延伸,它试图隐藏分布、异构的数据资源在存储介质、存储方式、存储位置等具体细节上的不同,提供给用户统一的逻辑视图,使他们可以方便、快速、高效地访问数据。作为一种新兴的技术与架构,数据网格将为数据库集成系统研究带来新的解决思路与方法。本文紧紧围绕着网格环境下的医疗信息系统集成这一主题,研究利用数据网格技术对分布异构的医疗信息系统数据库进行集成。首先,本文设计了适于网格环境的医学数据库集成系统的元数据模型;然后,基于该元数据模型和其它功能模块,提出了一种基于网格技术的医疗信息系统集成模型,并在实验环境下组建了原型系统以测试模型的有效性;最后,针对信息系统集成过程中存在语义异构问题,本文进一步探讨了医疗信息系统的数据库属性的语义匹配问题,提出了一种基于人工神经网络的属性匹配方法,从而将对医学数据库集成的研究从一般的数据集成深入到了语义集成的范畴。论文的主要内容以及创新点包括:1)网格环境下医学数据库集成系统的元数据建模元数据是数据管理中的重要技术环节。根据医疗信息系统的数据特点,本文设计了适合于网格环境的医疗信息系统数据库集成的元数据模型。根据不同的用途和访问需求定义相应的元数据类型,从而扩展了数据管理范围,增强了数据访问的安全性,使数据对象之间的关系表达更加自然;采用层次式的元数据管理结构,适应了网格环境的特点,提高了数据访问效率,从而为医疗信息系统数据库集成模型的设计奠定了基础。2)网格环境下医疗信息系统数据库集成模型的设计与研究结合医学数据库的特点,本文提出了一种适于网格环境的医疗信息系统数据库集成模型,通过相关的网格组件和服务,使各种异构的医学数据库可以被当作单一的逻辑资源来进行访问。在介绍了模型的总体架构之后,根据模型的基本功能划分,分别对数据集成、查询处理、数据传输以及元数据管理等功能模块的设计实现进行了详细的阐述与分析。在实验环境下组建的原型系统上进行的模拟数据查询测试验证了模型设计的有效性。3)异构医学数据库的语义集成研究异构数据库语义集成的基本任务就是在不同的数据库中找出语义相关的属性,解决数据冲突,提供给用户一个统一的逻辑视图。这对于建立适合于动态网格环境的元数据模型,进一步改进医疗信息系统数据库集成的效果,提高系统的可用性,扩展系统的应用范围十分重要。本文将人工神经网络技术运用于医学数据库属性的语义集成研究,经过量化及规范化处理的属性的元数据信息和内容值的统计信息等组成该属性的特征向量,用于对神经网络进行训练,训练好的神经网络系统即可用于对具有语意关联性的数据库属性进行识别。为了提高属性匹配的准确率,本文在对神经网络进行训练前,首先根据各属性之间的相似性建立多个分类器,利用分类器的输出作为训练样本,从而有效地降低了训练数据的规模,缩短了训练时间,同时提高了属性匹配的准确率。在模拟环境下进行的实验显示了该方法的有效性。

孙妍姑[3]2006年在《基于OGSA的数据库网格查询系统的研究与实现》文中研究指明目前,科学计算领域和商业应用领域中的数据呈爆炸式增长,实现对海量异构数据的统一访问和管理已经成为越来越迫切的需求。而随着网格技术的日益发展,在网格环境下如何访问已有的数据库,如何提供一个访问不同数据资源的统一接口,并且在这个基础上将已有的数据库动态地组成一个虚拟数据库完成一个特定的任务,是一个非常值得研究的问题。 本文结合相关的XML技术和网格技术,分析了利用网格对异构数据库进行集成的优势,研究了基于网格的对异构数据库进行访问的数据库网格查询系统的设计和实现。在研究OGSA-DAI的构架和内部流程的基础上,设计并实现了用户自定义的元数据管理服务(MDS)和分布式查询处理服务(DQP),通过这两个模块的交互实现了对异构数据库的分布式查询。 MDS模块实现对元数据的定义和管理。MDS模块根据网格的特点对元数据进行了定义,建立服务缓冲区以提高服务发现的效率,分析了如何从GDSF提供的服务数据元素中抽取数据库服务元数据。DQP模块在与MDS模块交互的基础上实现对异构数据库的查询。DQP模块对用户的查询主要通过命令分析、查询任务分解和查询执行叁个子模块实现,详细介绍了查询请求的内部表示与算法实现,给出了查询任务分解的一般过程,分析了查询执行子模块在实现过程中细节。最后,基于以上模型,构建原型系统并进行测试,测试结果表明系统的设计合理,达到了设计要求。

高健[4]2007年在《网格环境下数据库系统查询技术的研究》文中研究表明网格环境下的数据库技术是目前计算机技术的一个新的前沿研究领域,受到了计算机科学界的极大的关注。本文对网格、网格数据库的发展和特点进行了深入的讨论,提出了对网格数据库的访问和查询原型的模块化设计方案,在OGSA-DAI的构架和内部流程基础上,设计了元数据管理服务(MDS)和分布式查询处理服务(DQP),并通过MDS和DQP这两个模块的交互实现了对异构数据库的分布式查询。其中的MDS模块主要实现了对元数据服务的定义和管理,引入了服务日志,并对服务发现机制与服务缓冲区的置换提出了解决方案。DQP模块由命令分析、查询分配和查询执行叁个子模块组成,本文在给出查询的内部表达和算法实现的同时,对设计查询任务的分配过程和查询执行中的细节进行了研究。

吴浩[5]2009年在《网格数据库自适应查询处理技术研究与实现》文中研究说明网格数据库是将数据库技术和网格技术相结合而形成的一个新的研究内容,是随着网格的发展而提出的新需求,其目的是把分布异构的数据库有效地集成到网格环境中。查询处理技术是网格数据库研究的核心,而传统的基于静态优化的查询处理技术无法适应于动态变化的网格环境。因此,如何在网格环境中进行自适应的查询处理、动态调整执行计划等问题逐步成为该研究领域的热点。本文对网格数据库中有关自适应查询处理的相关技术进行了研究。提出了一个基于流水线并行处理的网格数据库连接查询自适应处理算法,并在网格数据库原型系统NHGridDB中实现了该算法。本文的主要工作和创新点如下:⑴介绍和分析了网格数据库的应用环境和应用需求,提出了一个基于OGSA的网格数据库原型系统NHGridDB的体系结构,在此基础上设计了一个基于移动Agent技术的查询处理架构。⑵针对网格数据库运行环境的动态特性,提出了一个自适应查询处理框架。给出了网格数据库连接查询流水线处理的代价模型,并在此基础上提出了一个基于流水线、自适应的连接查询处理算法AJAR。AJAR算法利用随机抽样技术实时地估计各候选查询计划的代价,当发现存在更优的查询计划时,则对当前流水线的处理顺序进行动态调整,以适应网格环境的变化。⑶设计实现了网格数据库原型系统NHGridDB的查询处理系统,并在系统中实现了AJAR算法,在不同的数据集和网格环境参数下,对算法的性能进行了实验。实验表明,多数情况下,AJAR算法优于传统的查询处理技术。

石柯, 林海华, 徐彬[6]2006年在《AnyQuery:网格环境下基于服务的分布式查询处理系统》文中提出AnyQuery是一种适用于网格环境、基于服务的分布式查询处理系统,使用统一的数据格式(可扩展标记语言)来表示和传输数据,所有组成模块以网格服务的形式实现,网格服务之间通过标准的接口进行通信.这种接口和实现分离技术屏蔽了不同数据库及其运行节点的差异,为用户提供一致的虚拟关系数据视图和分布式数据查询支持.在分析和研究已有的并行数据库和分布式数据库查询技术的基础上,AnyQuery提出和实现了一种适用于动态网格环境的分布式查询计划生成和执行算法,该算法能够根据网格环境中各节点及其连接网络的实际情况确定查询计划,支持跨数据库的连接查询.基于Globus3.0开发了AnyQuery的原型系统,性能测试表明该系统具有较好的可扩展性,尤其适合计算密集型的复杂查询.

康栋贺[7]2017年在《日地空间可计算时空框架》文中研究指明日地空间物理是以科学数据为核心的学科,该学科的科学发现与预报保障等业务均依赖于对科学数据的处理、共享与计算分析。除了具有海量、多源、异构的大数据特征外,日地空间物理数据资源还具有空间圈层分布、多时空分辨率等明显的时空特征,且根据面向的问题不同使用多种不同的时空坐标系。此外,时空特征还是日地空间物理的研究目标,精细结构识别、耦合关系研究、时空关联与演化分析等数据时空特征分析研究日益突出。学科内现有数据资源通常采用基于语义的数据组织方式而忽略了数据间广泛存在的时空关系,因此数据组织和计算应用分别由独立系统完成,难以实现数据组织与应用的无缝连接。本文提出了时空数据组织、存储与计算一体化的日地空间可计算时空框架,分析了框架的基本构成以及亟待解决的热点问题,并针对框架中的时空数据组织模型和时空计算算子开展具体分析,通过时空数据组织模型支持日地空间物理数据的时空离散化组织、分布式存储,利用时空计算算子提供科学数据的时空查询、度量计算以及拓扑关系计算等基础性时空计算,基于上述研究内容构建了日地空间可计算时空框架的原型系统从而验证了框架的有效性和高效性。论文围绕以下方面展开工作:1.日地空间可计算时空框架概念分析与设计。本文在分析了日地空间物理数据时空特征与现有的空间和时空数据组织模型的基础上,提出了日地空间可计算时空框架的设计目标、基本概念以及组成结构,将框架划分为时空数据组织模型和时空计算算子,明确了组织模型的设计原则、研究基础和路线,同时简要总结了框架支持的时空计算算子类型。2.HTM-ST时空数据组织模型设计。针对日地空间物理数据圈层结构、多时空分辨率的时空特征,本文在HTM网格的基础上进行了时间等长剖分扩展从而构建了HTM-ST模型的时空剖分方案,并设计、比较了模型中网格单元的耦合编码和非耦合编码方案,同时结合耦合编码和日地空间物理数据语义特征设计了符合HBase数据库RowKey存储规则的日地空间物理数据时空存储方案。3.基于HTM-ST数据模型的时空计算算子设计。在HTM-ST时空数据模型的基础上设计了多种时空计算算子,以实现日地空间可计算时空框架对上层数据服务应用的基础计算支持。本文研究了时空数据查询、空间度量计算与时空拓扑关系计算3类常用计算算子。4.原型系统构建与关键技术验证。基于HBase分布式数据库与现有日地空间物理数据资源设计并实现了可计算时空框架原型系统,重点实现了HTM-ST时空数据模型和时空计算算子并在其之上构建了数据服务应用,分别从数据模型、数据查询以及基于地方时的全球数据插值等方面对框架进行验证。

裘君[8]2005年在《DartConsole:数据库网格管理平台的设计与实现》文中指出网格是下一代Internet上的计算平台,其核心任务是管理分布在Internet广域环境中的各种类型的数据与服务资源,并为基于Internet的分布式应用提供一个统一的、虚拟的共享资源的计算平台。作为网格计算模型的一个重要组成部分,网格上的数据库管理问题一直以来是网格研究的一个热点。来自于科学与商业领域的大量网格应用迫切需要数据库系统的支持,因此,如何管理数据库网格环境、以及满足更广泛的网格应用的数据管理需求,已经成为一项亟待解决的新课题。本文从动态开放的网格环境下数据的资源共享与协同管理的应用需求背景出发,综合了现有的Internet下的数据资源的信息共享与整合管理的解决方案,DartConsole数据库网格管理模型提出了一套面向数据库资源的管理方案,解决了如下问题:统一的数据库资源访问、动态数据库网格环境的监控及性能管理、基于VO的数据库网格环境的安全管理等。在设计上,DartConsole平台基于OGSA框架的网格服务体系进行设计,并充分利用Eclipse的插件机制进行开发,满足了网格管理软件严格的可靠性、稳定性、规范性和高性能等方面的各项要求,同时又具有很好的可重用性和可扩展性,便于根据用户需求进行裁剪和定制。它以采用基于语义的资源融合为主线,提出了资源在语义层次上的规则推理,不仅使用户可以高效地为计算任务寻找合适的资源,更重要的是能够对资源语义信息进行管理,以及更高层次的语义推理,并为故障监控、自修复等服务提供接口。本文阐述了数据库网格管理的基本思想,描述了管理服务模型架构的设计及实现。本文还介绍了DartConsole在传统中医药研究领域的一个应用测试床。最后,本文进行了总结并提出了进一步的工作展望。本文得到以下基金资助:国家973计划(2003CB316906) -“语义网格的基础理论、模型和方法研究”之子课题“语义网格在中医药知识共享与服务的应用研究”;国家863计划(2001AA113142) -“支持中医药数据与知识深度共享的中医药应用网格”。

黄昶[9]2004年在《Database Grid:面向网格的数据库资源管理平台》文中研究指明网格是下一代的Internet上的计算平台。它的核心任务是管理分布在Internet广域环境中的各种类型的软硬件资源,为基于internet的分布式应用提供一个统一的、虚拟的共享资源的计算平台。作为网格计算模型的一个重要组成部分,网格上的数据管理一直以来是网格研究的一个热点。目前网格数据管理的研究对象主要集中在基于文件的信息资源,很少涉及数据库资源。然而,来自于科学和商业领域的大量网格应用迫切需要数据库系统的支持,因此如何将数据库资源并入现有的网格架构,满足更加广泛地网格应用的数据管理需求,已经成为一项亟待解决的新课题。 本文从动态开放的网格环境下数据的资源共享与协同管理的应用需求背景出发,综合了现有Internet下的数据资源的信息共享与语义整合解决方案,提出了数据库网格的概念。数据库网格是一个基于现有网格体系标准(OGSA)的,面向动态、开放分布式计算环境的数据库资源管理平台。数据库网格以数据库资源的语义融合为主线,提出了一套解决数据库资源访问、语义发现、动态整合等一系列网格资源管理问题的解决方案。本文阐述了数据库网格的基本思想,服务分层模型框架,并以协议的方式定义了网格环境下数据库资源的共享行为规则。本文介绍的数据库网格协议是课题研究的核心内容,旨在为数据库资源管理问题提供一套可参考的规范。本文还介绍了依照数据库网格协议,设计并实现的数据库网格原型系统DartGrid,并介绍了DartGrid在传统中医药研究领域的一个应用测试床。最后,本文进行了总结并提出了进一步的工作,并且对Database Grid的发展进行了展望。

李志刚[10]2005年在《面向数据库网格的数据集成与查询技术研究与实现》文中进行了进一步梳理数据网格为地理上分布、海量数据的一体化访问,传输与管理提供了一种有效的途径,是目前学术界和业界关注的热点问题之一。数据库网格是数据网格的在数据库集成领域的新发展,主要致力于在网格环境下,如何将数据库集成到网格中,通过网格对分布的异构数据库数据资源实施方便、统一、快速的发布、访问和管理等操作。将原有分散的、异构的各职能部门的数据进行有效的集成是很多公司企业面临的一个问题。网格技术兴起以后,很多研究者探索利用网格来实现数据库集成和共享的问题。 本文比较了传统的数据库集成与数据库网格的异同。阐述了数据库网格中数据集成的关键问题。同时对基于数据库服务的数据查询问题作了研究。XML语言是目前网络上的通用数据交换格式,在网格和数据网格的发展中起到巨大的作用。本文提出了基于XML的数据集成模型和数据转换方法。在此基础上,给出了数据库网格的统一用户视图构造方法。动态性是网格最主要的特征之一,因此数据库网格所面临的查询问题是传统的数据库查询和分布式查询技术不易解决的问题。本文研究了网格环境下自适应查询的问题和基于XML的二次查询问题。 在以上基础上,设计和开发的一种数据库网格系统GridDaen-DAI,可以整合广域环境下异构海量的数据库资源,实现系统的全局命名、提供全局的用户视图及统一的数据访问服务等,并采用分布、独立的多域服务器技术和服务器注册机制,可以灵活的部署,具有很强的可扩展性和可用性。

参考文献:

[1]. 网格环境下数据库查询的原型与实现[D]. 林海华. 华中科技大学. 2004

[2]. 基于网格技术的医疗信息系统集成研究[D]. 罗永兴. 上海交通大学. 2008

[3]. 基于OGSA的数据库网格查询系统的研究与实现[D]. 孙妍姑. 河海大学. 2006

[4]. 网格环境下数据库系统查询技术的研究[D]. 高健. 贵州大学. 2007

[5]. 网格数据库自适应查询处理技术研究与实现[D]. 吴浩. 南京航空航天大学. 2009

[6]. AnyQuery:网格环境下基于服务的分布式查询处理系统[J]. 石柯, 林海华, 徐彬. 小型微型计算机系统. 2006

[7]. 日地空间可计算时空框架[D]. 康栋贺. 中国科学院大学(中国科学院国家空间科学中心). 2017

[8]. DartConsole:数据库网格管理平台的设计与实现[D]. 裘君. 浙江大学. 2005

[9]. Database Grid:面向网格的数据库资源管理平台[D]. 黄昶. 浙江大学. 2004

[10]. 面向数据库网格的数据集成与查询技术研究与实现[D]. 李志刚. 国防科学技术大学. 2005

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

网格环境下数据库查询的原型与实现
下载Doc文档

猜你喜欢