异构数据源集成及转换方法研究与实现

异构数据源集成及转换方法研究与实现

陈继东[1]2003年在《异构数据源集成及转换方法研究与实现》文中进行了进一步梳理本文首先对异构数据源集成进行概述,然后介绍了异构数据源集成过程中的数据迁移与转换,详细地分析比较了异构数据转换的叁种常用方法。最后结合实例,即我在研究生阶段设计开发的异构数据源数据转换产品——“通用数据转换工具”,详细地讨论了它的设计方法和实现过程。通用数据转换工具已经运用在国家重点实验室项目“油藏经营管理”系统中,并作为国家863项目国产数据库系统Kingbase的一个重要工具。经过综合应用测试,通用数据转换工具在进行异构数据转换时具有较强的可靠性、易用性、灵活性、可扩展性、容错性和良好的错误处理能力。

赵君[2]2005年在《基于XML的异构数据源的数据集成研究》文中指出XML正迅速成为Web上数据表示和数据交换的标准。作为自描述的标记语言,XML能够根据具体应用灵活地表现异构数据源中的各种信息,包括应用程序之间的数据交换、结构化和半结构化文档以及数据库中数据的输出。本文通过对关系数据源和面向对象数据数据源完整性约束研究,提出了基于XML的异构数据源集成中间件的解决方案。该中间件为用户查询、数据共享和应用对集成信息的访问提供了底层支持。 目前基于XML的异构集成很少考虑到不同异构源数据间的语义约束,因而给出了关系模式和面向对象数据模式分别对应的XML语义约束形式,Lr和Loo。其中Lr包括主键约束和包含约束,Loo包括主键约束,ID约束,外键约束,外键集合约束和逆反约束。由于主要研究的异构源是关系源和面向对象数据源向XML的集成,并且可能出现两种数据源的数据相互约束的情况,因此还需要一个统一的约束集合这就是Lo-r,本文给出了它的定义。 本文介绍了一种集成关系数据的方法——属性集成语法(Attribute Integration Grammar,AIG)。AIG通过语义属性、语义规则和约束来扩展给定的DTD。语义属性的作用是把DTD中的元素联系起来,并且语义属性之间的关系可以控制生成XML树时节点之间的依赖关系。本文借鉴了语义属性的表达方式,并对AIG进行扩展,针对面向对象数据源,提出基于OODB的属性集成语法AIGO。本文给出的基于XML的异构集成中间件实现了这种处理异构数据的方式,并给出了实现的算法。 查询分解在属性集成语法的实现中起到了至关重要的作用,因此也是本文主要研究的方向之一。全局查询以XQuery的方式给出。为了实现对XQuery的分解,本文提出一种新的概念,即路径模式。它相当于关系表中的属性。通过参考多数据库系统中用于查询分解的模式映射树和查询树,给出了基于路径模式的模式映射树和查询树,以及查询分解的算法。

王秀鸾[3]2004年在《基于CORBA的异构数据源集成系统研究》文中提出本文以异构数据源的集成为研究背景,简要介绍了目前异构数据集成所面临的问题及相应的解决方案;提出了基于CORBA技术的异构数据集成系统,详细分析了异构数据集成系统的整体功能要求;重点探讨了集成系统中采用的公共数据模型和数据集成的层次结构;设计实现了异构数据集成系统的功能结构,并应用到试题库系统中。 集成系统采用叁层C/S体系结构,中间层由包装器-仲裁机构组成,完成集成系统的主要功能。系统通过CORBA封装技术结合公共数据模型对局部异构数据源进行包装,包装后的CORBA对象对外提供统一的访问接口和标准的数据交换格式,对象间的数据通信是在ORB软总线上完成的。在客户端,用户看到的只是一个全局公共模型和全局的数据操作;在集成系统内部,实际的用户数据操作被集成系统分解为针对各数据源的子操作,子操作结果再由集成系统汇总返回给用户。另外,为了降低集成系统的复杂度,解决集成过程中的权限管理问题,引入两类角色(各异构数据源管理人员和系统负责集成人员)来辅助集成系统完成功能定义和业务逻辑的实现。各异构数据源管理人员完成所在异构数据源的注册和共享内容的定义;系统负责集成人员则只负责对已共享的异构数据源进行整理合并。 在公共数据模型方面,主要给出了OIM数据模型的定义,并以关系数据表、XML文档和Word文档为例说明了局部数据模型与OIM公共数据模型之间的转换规则。对于Word文档的转换是针对具体的试题库系统中的试卷展开的。 在系统的应用方面,介绍了基于CORBA的异构数据集成技术在试题库系统中的实现,重点介绍了Word试卷存档模块中的数据集成。根据Word文档与文本文件的转换关系,采用添加标记的方法,从Word文档存储的半结构化数据中抽取出所需的信息,存放到结构化的数据库中,在此基础上再利用集成系统中关系数据模型和OIM公共数据模型的转换规则进行转换。实现了Word文档到关系数据库的转换,也证明了我们提出的转换方法的有效性。

曾国林[4]2011年在《异构数据库访问与集成模型的应用研究》文中研究表明随着信息产业和通信技术的发展,企业在信息化建设过程中构建起多个异构的信息系统。为了解决网络环境中异构数据库的数据集成和共享问题,更有效地利用这些资源,需要在一个统一的平台上对这些资源进行集成和访问。目前,国内外已经存在一些异构数据访问与集成的技术。但总的来说,他们在支持异构数据源之间的互操作性及用户查询等方面存在着许多的不足,并不能完全满足用户的访问需求。为了解决多用户环境下数据库访问需求,本文以XML、中间件技术等相关领域为研究背景,对现有的数据集成方法、XML技术等异构数据集成理论进行了研究,在XML和JavaBean的技术基础上,利用模块化设计思想,提出了一种基于XML和数据库连接池的异构数据库集成中间件模型。论文首先全面地综述了目前异构数据库访问与集成所涉及的主要技术,对数据库访问方法与集成技术进行研究,并对目前方法的特点和不足之处进行了探讨,提出对异构数据库访问与集成技术进行改进的必要性;其次分析在集成系统中引入中间件和XML技术所带来的优越性,以及关系数据库与XML之间的映射问题,总结出数据集成应解决的关键问题和关键技术,设计一个具有全局数据库管理功能的访问与信息集成模型,在此模型中设计了翻译模块、分发模块、集成模块,分别用于数据的格式转换、分解和合并,并对模型实现过程中的关键技术给出了详细描述;然后利用模块化设计思想,对中间件中各个子模块进行了功能描述和设计,并对关键模块的设计与实现进行了详细说明,通过一个实例,详细介绍了异构数据库集成系统的使用过程;最后对数据库访问中间件的安全性进行探讨,并对当今云数据库数据集成的研究和发展提出自己的见解。为了进一步提高数据库访问的安全和效率,本文引入了异常处理机制和数据库连接池技术,实现了分布式异构数据库的透明访问和联合查询。整个模型作为一个“即插即用”的中间件组件,屏蔽了数据库之间的异构性,能与各异构数据库系统建立高效的连接。

李玉翠[5]2009年在《多源异构数据集成技术研究》文中提出随着信息化程度的深入发展,各个企业可供利用的信息总量以惊人的速率增长。然而,这些为不同应用服务的信息都存储在许多不同的数据源之中,其管理系统也各不相同。为更有效地利用这些信息,需要从多个分布、异构和自治的数据源中集成数据,同时还需要保持数据在不同系统上的完整性和一致性。因此,本文提出了以XML为数据交换格式,使用XML Schema建立公共模型,Mediator集成模式的异构数据集成中间件的设计和实现方案,屏蔽了各个异构数据源的平台、系统环境、内部数据结构等方面的异构性,对它们进行无缝连接,为用户提供一个统一和透明的访问接口。论文首先讨论了异构数据集成的相关理论,并分析了其中存在的问题,然后分别从JAVA技术以及XML的数据模型角度,阐述了基于XML和Java的异构数据集成中间件的可行性,提出了异构数据转换算法,在此基础上给出了一个基于XML和Java的异构数据集成中间件解决方案。文中分功能详细论述了各个模块的设计和实现过程。通过实现关系数据到XML数据的集成,该中间件为数据共享、发布和应用提供了底层支持。论文最后通过应用该中间件实现学生信息查询系统的实例。验证结果证明了该中间件解决方案的可行性和正确性。

杨波[6]2007年在《基于Web Service异构数据集成技术的研究》文中指出随着Internet的飞速发展,网络迅速成为一种重要的信息传播和交换的手段,在Web上出现了丰富的数据资源。为了更有效的利用这些数据资源,需要在一个统一的平台上对这些数据资源进行集成和访问。传统的数据库集成方法已经逐渐不能适应人们获取数据的需求,它们在动态的添加或删除数据源方面、支持异构数据源之间的互操作性方面及如何模型化源数据内容和用户查询等方面存在着许多的不足。因此,本文提出了一种以XML为数据交换格式,使用XML Schema建立全局模型,Mediator集成模式的基于Web Service框架的异构数据库数据集成中间件HDIM。通过在分布式环境下建立一个公共的集成环境,屏蔽了各个异构数据源的平台、系统环境、内部数据结构等方面的异构性,对它们进行无缝连接,为用户提供一个统一和透明的访问接口,实现了对异构数据源间关联数据的访问和发布。本文主要研究内容如下:1)提出异构数据源集成中间件HDIM体系结构的设计。提出并设计了以XML为共享数据的交换格式的模式异构数据库数据集成中间件HDIM。2)将Web Service技术融入到异构数据集成的系统框架中,实现了应用系统前端和局部数据源包装的零维护。3)关系模式到XML模式转换算法的设计和实现。通过对数据库关系模式和XML Schema分析,提出了合理有效的关系模式到XML Schema模式转换算法。4)数据查询处理器和结果集成器的结构设计及算法流程;提出了查询分配算法,对基于GAV方法的查询分配算法在权限控制方面进行了改进。

罗金群[7]2007年在《异构数据源数据交换引擎的设计与实现》文中研究说明高校信息管理系统普遍存在着多平台运行、多种数据库、分散凌乱等弊端,建立统一的信息平台是数字化校园建设的核心课题之一。由于异构数据源在结构、数据、DBMS、硬件、网络协议等方面的差异性和自治性,构建多数据源数据交换引擎是实现多数据源数据集成与共享的有效解决途径。本文采用XML数据模型,根据目录服务的思想,将P2P与分布式网络有机地结合起来进行资源管理,最终形成异构数据源数据交换引擎。XML是一种采用开放的自我描述方式定义的数据格式。它包括了文档格式化标准(Schema)、文档显示模式定义(XSL)、文档查询标准(XQuery)、文档解析标准(SAX)和文档链接标准(XLink)。作为一种元标记语言,XML可针对不同应用环境和要求定制标记,并以统一、开放、基于文本格式的模式来描述和交换数据。XML Schema是一种规范的XML文档,通过使用XML作为描述手段,使之具有很强的描述能力、扩展能力和处理维护能力。XQuery是对XML数据集进行查询的功能语言,简单灵活,易于理解和实现。P2P(peer-to-peer)又称为对等网,它让用户可以与网络上的其他计算机直接连接,进行文件共享与交换。P2P是由物理上分布的节点组成,所有节点都是对等的(称为对等点),各节点具有相同的责任和能力,并协同工作共同完成任务。对等点之间直接相连,共享信息资源,无须依赖集中式服务器。在P2P模式中,对等点具有很高的自治性和随意性,它们既是信息的消费者(客户端),也是信息的提供者(服务器端),在执行计算、提供和消费时分担相同的作用。基于以上理论基础,论文提出了异构数据源数据交换引擎的总体方案设计,包括总的体系结构、系统功能模块、系统总体流程以及开发环境。论文给出了数据交换引擎的设计模型,该数据交换引擎采用32EE架构,以Java为编程语言、以XML Schema定义数据模型,开发了数据交换引擎的简单实现模型。该模型提供模板定制功能。相对于其他的系统需要用户熟悉查询语句,在提交查询时需输入详细的查询语句,本系统为用户提供模板定制服务,用户只需在友好用户界面上选择需要查询的数据,即可提交查询,并将该查询定制为模板,以便今后直接调用模板进行查询。查询处理器提供了数据查询的功能,将整个查询过程定义为查询规范化、查询分解、查询重写以及结果合成几个部分,并给出实现算法。最后介绍了异构数据源数据交换引擎简单原型系统的工作原理及主要类。论文构建了异构数据源数据交换引擎的简单原型系统,对Access、SQL Server2000和Oracle 9i中的例子数据库进行数据交换的应用,给出了一个应用的具体实例系统以及介绍该系统的特点。最后,对本文的工作做出了总结,并讨论了下一步要进行的研究工作。本文的研究课题来源于广东省教育厅科研基金项目“基于多校区办学的高校教学管理信息化运作模式研究与实践”。

韩民智[8]2008年在《基于WebService的动态可调整的异构数据集成》文中研究指明随着计算机应用的发展及网络的普及,企业对于异构数据集成的需求越来越强烈,而且集成的对象不仅局限于传统的数据库系统中的结构化数据,而且还包括XML等半结构化和非结构化数据。人们也更加重视异构数据集成的研究和实现。我们首先介绍了异构数据集成的研究背景,国内外研究现状等信息。接着在研究一些数据模型的基础上,提出了一种基于XML的实体节点数据模型(XML-based EntityNode Data Model)(简称XEDM)。然后在分析研究现有的异构数据集成系统架构的基础上,采用中介器/包装器模式,在异构数据源之上提供一层Web Service,来完成对数据源的操作。在集成过程中,使用了四层架构:源模式层,局部模式层,全局模式层,用户模式层。各架构层之间有叁层转换,源模式层到局部模式层的转换是基于源模式层的Web Service,转换为统一的数据模式XEDM;局部模式到全局模式的转换通过模式融合和冲突解决来实现的;全局模式到用户模式层的转换是根据用户权限和实时情况动态调整的。文章还详细介绍了集成引擎和数据集成过程,查询引擎及查询的优化处理等内容。最后给出了系统的详细设计与实现的情况。我们在异构数据集成方面所做的研究工作对于解决异构数据源的动态加入和删除方面有很大的帮助。到目前为止,我们己经在异构数据集成的数据模型、体系结构、系统的设计与实现等方面取得了阶段性的成果。不足的是在数据模式集成的过程中还需要人的参与来识别语义等价的实体和消除模式之间的冲突。在此基础上我们对下一阶段研究工作的目标和重点做出了展望。

韩民智[9]2008年在《基于Web Service的动态可调整的异构数据集成》文中提出随着计算机应用的发展及网络的普及,企业对于异构数据集成的需求越来越强烈,而且集成的对象不仅局限于传统的数据库系统中的结构化数据,而且还包括XML等半结构化和非结构化数据。人们也更加重视异构数据集成的研究和实现。我们首先介绍了异构数据集成的研究背景,国内外研究现状等信息。接着在研究一些数据模型的基础上,提出了一种基于XML的实体节点数据模型(XML-based EntityNode Data Model)(简称XEDM)。然后在分析研究现有的异构数据集成系统架构的基础上,采用中介器/包装器模式,在异构数据源之上提供一层Web Service,来完成对数据源的操作。在集成过程中,使用了四层架构:源模式层,局部模式层,全局模式层,用户模式层。各架构层之间有叁层转换,源模式层到局部模式层的转换是基于源模式层的Web Service,转换为统一的数据模式XEDM;局部模式到全局模式的转换通过模式融合和冲突解决来实现的;全局模式到用户模式层的转换是根据用户权限和实时情况动态调整的。文章还详细介绍了集成引擎和数据集成过程,查询引擎及查询的优化处理等内容。最后给出了系统的详细设计与实现的情况。我们在异构数据集成方面所做的研究工作对于解决异构数据源的动态加入和删除方面有很大的帮助。到目前为止,我们己经在异构数据集成的数据模型、体系结构、系统的设计与实现等方面取得了阶段性的成果。不足的是在数据模式集成的过程中还需要人的参与来识别语义等价的实体和消除模式之间的冲突。在此基础上我们对下一阶段研究工作的目标和重点做出了展望。

余乐清[10]2011年在《基于XML的多源异构数据集成系统的研究与实现》文中研究表明随着Internet的迅速发展,网络上可共享的资源日益增多,对数据的描述千差万别,如何从这些分布的、异构的和独立的数据源中集成数据,同时还要保证这些数据的完整性和一致性就成为一个十分重要的研究课题。针对该问题,本文提出了一个以XML作为数据交换格式,结合Mediator/Wrapper体系结构并通过语义缓存来实现查询优化的多源异构数据集成系统。论文首先介绍了异构数据集成的相关技术,接着对整个研究工作做了具体介绍:对现有数据集成方法进行分析,提出了可扩展的异构数据库集成系统,并给出了其体系结构图与各模块分析;采用XML作为中间数据转换格式,将局部数据源转换成XML数据进行集成,屏蔽了底层数据源的异构性,为用户提供统一和透明的访问接口;采用XQuery作为全局模式上的查询语言,便于查询分解和转换成SQL语句;基于语义缓存技术对查询进行优化,提高了查询响应速度;将各个数据源封装成Web服务,屏蔽掉数据源的平台差异,使集成系统具有松耦合、易扩展的良好特性。最后,通过实验对本文提出的系统进行了验证,实验结果证明了该集成系统的可行性和正确性。

参考文献:

[1]. 异构数据源集成及转换方法研究与实现[D]. 陈继东. 西南石油学院. 2003

[2]. 基于XML的异构数据源的数据集成研究[D]. 赵君. 中国海洋大学. 2005

[3]. 基于CORBA的异构数据源集成系统研究[D]. 王秀鸾. 山东科技大学. 2004

[4]. 异构数据库访问与集成模型的应用研究[D]. 曾国林. 广东工业大学. 2011

[5]. 多源异构数据集成技术研究[D]. 李玉翠. 西安电子科技大学. 2009

[6]. 基于Web Service异构数据集成技术的研究[D]. 杨波. 河北工业大学. 2007

[7]. 异构数据源数据交换引擎的设计与实现[D]. 罗金群. 华南师范大学. 2007

[8]. 基于WebService的动态可调整的异构数据集成[D]. 韩民智. 上海交通大学. 2008

[9]. 基于Web Service的动态可调整的异构数据集成[D]. 韩民智. 上海交通大学. 2008

[10]. 基于XML的多源异构数据集成系统的研究与实现[D]. 余乐清. 西安电子科技大学. 2011

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

异构数据源集成及转换方法研究与实现
下载Doc文档

猜你喜欢