基于XML的数据集成中间件研究

基于XML的数据集成中间件研究

袁小华[1]2007年在《Intranet上基于XML的数据集成中间件研究与实现》文中认为在Intranet上进行数据集成,是很长时间各个企业致力于其中的难点项目。显见数据集成对于企业发展意义重大,许多数据通过集成才可能真正发挥作用,但是不同文件、数据库格式以及不同地理位置的数据给企业带来很大的集成方面问题,尤其是对于那些业务数据源不断增加的企业。业界使用了很多数据集成方法来完成企业数据的共享和互通,Intranet上基于XML的数据集成中间件应用是其中的一种方法,具有相对简便的功能,对业务逻辑的改动可能只涉及到一部份就可在短期内形成数据的各项业务的应用。本文通过在数据集成、应用环境、XML、SOAP和数据安全方面与Intranet上基于XML的数据集成中间件相关的基础问题分析及体系结构,提出了Intranet上根据公共数据模型模式完成主模式提取,数据查询的组件;依据中间件可分层及伸缩和迁移的特点,表述了基于XML的企业端对端数据通信、数据安全方面的数据集成中间件的一些特性。这些提出和表述结合了数据集成中间件的原型研究与实现方法:构建对本地数据库、数据文件、XML文件的主模式提取、查询处理组件;利用P2P计算模型和SOAP消息组件来向对端发起搜索请求和回应对端的搜索请求,实现异地之间的数据互传的分布式查询处理,并使用业务逻辑定制的方式;利用.Net的XML安全性扩展,在授权认证,数字签名和加密等方面提供安全方面的组件。最后,将本文所提及的工作作一梳理,总结已完成工作,对下一步工作方向诸如主模式冲突消除、传输与安全等进行简要叙述。

孙国磊[2]2008年在《基于Web Service的异构数据集成中间件的研究与应用》文中指出随着Internet的飞速发展,企业陆续建立了具有不同功能的信息管理系统。这些系统各自独立运行,形成信息孤岛,企业迫切需要对其中大量的异构数据,进行统一的处理。建立异构数据集成系统是解决这些问题行之有效的办法,因此,异构数据集成系统的研究、设计与构建己经成为当前业界以及学术界研究的热点。对异构数据集成的研究从上个世纪七十年代发展至今,已经出现了许多种集成方法。其中,将Web Service应用于异构数据集成凭借Web Service自身的诸多优点得到了人们越来越多的关注。本文正是从某物流企业在信息化过程中造成数据异构的根源出发,利用Web Service和中间件技术成功地建立了一个异构数据集成中间件,实现了对关系型异构数据库的集成,并在一定程度上减少了集成成本和难度。最后将该中间件应用于实际项目,对新添加系统数据库的实际集成,取得了良好的集成效果和集成性能。本论文主要研究内容包括:在研究以往异构数据集成原理、方法的基础上,并从项目数据集成的实际需求出发,确定将Web Service与中间件技术相结合的数据集成方法;研究中间件运行所在系统的整体框架,在传统的叁层架构中添加中间件层;然后对中间件进行重点分析设计,并选择合适的开发工具,完成对该中间件的实现;最后将本文开发的基于Web Service的异构数据集成中间件应用于实际物流企业项目的数据集成中。在完成对该物流企业新开发系统的数据库集成后,验证本文研究的异构数据集成中间件能够有效解决平台和应用异构。

洪筱菡[3]2003年在《基于XML的数据集成中间件研究》文中进行了进一步梳理数据集成是企业之间或企业内各部门协同合作的需要。它的目标是实现各个异构数据源之间的数据共享,从而有效地利用资源,提高整个应用系统的性能。 目前随着计算机技术特别是计算机网络技术的发展,传统的数据集成技术(如多库方法)已无法满足人们获取更多更新数据的需要。人们要求数据集成系统不仅能集成数据库系统中的数据,而且能集成非数据库系统中的数据;不仅能集成传统的结构化数据,而且能集成半结构化甚至非结构化数据,这是传统的数据集成技术难以实现的。 本文针对上述背景,首先讨论了异构数据集成的相关理论,并分析了其中存在的问题,然后分别从中间件方面以及XML在数据模型角度和数据交换规范角度阐述了基于XML构建数据集成中间件的可行性。最后在此基础上给出了一个基于XML的数据集成中间件模型,并且着重阐述了在此中间件模型中如何基于XML实现异构数据集成的视图定义和查询处理。 XML本身具有的与平台无关、易于扩展、交互性好、语义性强等特性,使得基于XML的数据集成中间件模型能够较容易地实现对各数据源的描述以及数据源之间的数据转换,从而解决目前异构数据集成中存在的联邦查询优化欠缺、以及对基于Web的异质数据源集成的扩展性较差等问题。

刘基阳[4]2018年在《面向多源异构数据的数据集成中间件的设计与开发》文中进行了进一步梳理随着市场竞争从单个企业间的竞争向供应链与供应链之间的竞争演变,以及大数据重要价值逐步凸显,支持产业链企业群精准管理与决策能力的大数据技术成为面向汽车行业的重要研究方向,而大数据分析的质量和有效性则在很大程度上依赖于产业链条中各环节数据的整合与集成质量。但国内汽车产业链中,以汽车制造企业为核心的产业链协同数据存在数据不完整、数据多源异构两大突出问题,而这两大问题恰恰是进行跨企业、跨部门产业链协同数据整合与集成的难点问题。因此,如何在分布、自治的环境下,将产业链上多源异构的业务数据进行全面的集成与共享成为汽车行业大数据分析的关键核心问题,也是前提和基础。为此,本文依托四川省科技支撑计划课题“面向汽车服务生命周期(SLM)的第叁方制造服务云平台支撑技术研究”(2015GZ0076)以及“分布式资源巨系统及资源协同理论”(2017YFB1400301),在对数据集成技术进行深入研究的基础上,提出了分布式多源异构数据集成解决方案,最终开发出跨平台数据集成中间件,以支持产业链上分布式多源异构数据的集成。本文的主要工作包括:(1)根据汽车产业链现有的业务数据交互特点及数据集成的具体需求,在研究现有国内外数据集成技术的基础上,提出基于中间件法的数据集成思路,并分析了多源异构数据集成中间件实现的关键需求问题,在此基础上,完成了数据集成中间件的功能设计、总体设计及详细设计。(2)围绕数据集成中的两个关键核心问题:多源异构数据的多模式冲突消解以及异构模式下分布自治数据源间通信与访问的一致透明化问题,提出了模式树方法描述异构数据的公共数据模式、通过树形变换解决异构冲突问题;提出了统一通用的请求执行通信方法,提出了查询请求验证、分解、分派算法,实现了以统一的方式请求数据源;提出了一种动态适配器管理方法,对“一数据源一适配器”的传统体系结构进行了优化,降低了适配器维护代价,扩大了适用范围。提出了基于跨平台XML的统一数据表示方法,完成了数据迁移与重组。(3)采用与平台无关的JAVA、XML等技术,开发了支持汽车产业链协同平台的异构数据集成中间件,并在汽车产业链协同平台中得到初步应用。本文的中间件具有平台无关性与配置灵活性等特点,因此可在类似的汽车产业链协同平台环境中应用,也可推广到其他分布式多源异构环境的数据集成。

张建江[5]2010年在《基于XML的异构数据库集成中间件的研究及实现》文中研究说明随着信息化建设的迅速发展,越来越多的应用需要访问多种异构数据源。这些数据源由于地理位置分布不同、所处平台及操作系统不同、采用的数据库模式不同、数据语义表示的不同、数据库管理系统(DBMS)的不同等,造成了数据访问上的困难。因此,如何应用现有的信息技术,动态整合与集成这些异构的数据资源,实现高效的信息共享是亟待解决的问题。数据集成能够满足不同业务的需要,实现对异构数据源的共享及数据的透明访问。目前,数据集成有很多方案,然而这些方法不但复杂而且是面向主题的。传统数据库中间件虽然显得比较灵活,但其紧耦合应用模式使得中间件独立性差,部署与使用较为困难,难以用于信息系统的集成。如何构建一个高效、通用、可扩展、低成本的数据库中间件,是当前数据库中间件领域研究的一个重要方向。本文以XML在数据集成和交换上的优势,提出了一个基于XML的异构数据库集成中间件的解决方案。本文首先讨论了异构数据集成的相关知识,详细分析了现有的数据集成技术和方法、并对比其优缺点。通过XML集成模型,着重阐述了基于XML的异构数据库集成中间件的设计思路和各个功能模块的实现过程。通过实现局部模式到全局视图的的映射、转化、集成,该中间件屏蔽了各个异构数据源的平台、系统环境、内部数据结构等方面的异构性,为用户提供了一个统一和透明的访问接口。同时,在异构集成环境下如何更好地解决各个子库之间的跨库查询,交叉查询、联合查询等复杂关联的查询,是本课题研究的重点和难点。为此,在讨论集中式数据库和分布式查询的一般方法后,本文给出了一种针对全局虚拟视图的查询分解算法,该算法能够很好解决多库之间的关联查询请求。由于集成系统涉及到大量的数据传输,在有限的网络资源环境下,如何减少数据在传输中的数据量?如何降低查询的响应时间?这些都是必须考虑的问题。在基于半连接查询优化算法的基础上,本文对该算法进行了改进,通过定性和定量方面的分析,改进的半连接算法比一般的半连接算法在传输的数据量和响应时间方面都大为减少,性能更为优越。最后,通过实验实现了基于XML的集成中间件系统,应用表明,基于XML的集成中间件能够更好的集成异构数据,实现资源的共享,提供高效、透明的访问。

朱锋[6]2005年在《异构数据源集成中间件的设计与实现》文中指出本文研究异构数据源集成的问题,其目的就是在分布式环境下建立一个公共的集成环境,屏蔽各个异构数据源的平台、系统环境、内部数据结构等方面的异构性,对它们进行无缝连接,为用户提供一个统一和透明的接口,实现对异构数据源间关联数据的访问、发布。本文首先分析了已有异构数据集成的方案和面临的主要问题;然后结合XML、Java 和中间件技术,提出了基于XML 的异构数据源集成中间件(HDSIM)的总体设计,并简要的阐述了HDSIM 的各个功能模块及其内部处理流程思想;接着给出了各模块中的关键部件的详细设计与实现,主要包括:全局模式集成,查询语言的转换,查询的分解,子查询计划的定义,局部数据源访问。论文最后对HDSIM 的设计与实现做了总结,并提出今后需要进一步研究的内容。

许承毅[7]2010年在《基于SOA异构数据集成中间件的研究与设计》文中研究表明当代企业的业务随着市场环境的变化而变化,企业信息系统中的异构数据也越来越多,如何有效地集成并利用企业内部的异构数据,使其在不同的系统之间能够共享,且能够提高系统业务变更的敏捷性,已成为亟待解决的问题。传统的解决方案是从各底层数据源中提取数据,经过一致性转换后形成一个集中库,这种方法需要重复存储大量的数据,且难以对业务的变更做出快速的响应和实现企业数据的最大商业价值。如何设计一个可伸缩的、可靠的、业务敏捷的、可复用的异构数据集成中间件,并使之能通过服务总线与其它应用集成在一起,协同工作和共享数据资源,是当前异构数据集成中间件研究领域的热点。本文分析了当前企业异构数据集成中存在的主要问题,以及现有的解决办法,采用SOA的设计思想,在层次上采用了SOA的层次划分,在功能上采用了SOA的服务设计思想,对业务逻辑进行了服务分离,引入Web Service、XML等技术,提出了一种异构数据集成的方法,给出了一个基于SOA的异构数据集成中间件(SOA-based Heterogeneous Data Integration Middleware,SHDIM)的框架,介绍了这个框架下各个服务的接口和主要功能模块,并给出了框架的整体工作流程。通过自定义SHDIM中间件SQL操作语句和建立异构数据之间的全局映射,屏蔽了不同异构数据源的操作系统平台、数据库运行环境、内部数据结构方面的异构性,以服务的形式提供对异构数据进行查询、添加、删除、修改操作,从而为用户提供了在各种异构数据库上进行二次开发的访问接口,实现了异构数据的有效集成。最后对SHDIM中间件的应用场合作了简单介绍,并给出了测试方法和测试实例,初步验证了基于SOA的异构数据集成中间件的理论正确性和技术可行性,能够解决平台异构、数据库系统异构和部分语义级异构的情况,提高了系统应对业务变更的敏捷性。

张凯[8]2007年在《基于XML的异构数据库集成中间件系统研究及其在电子政务中的应用》文中研究说明数据集成是企业之间或企业内各部门协同合作的需要。它的目标是实现各个异构数据源之间的数据共享,从而有效地利用资源,提高整个应用系统的性能。今天,越来越多的企业应用需要集成各种不同的数据库资源。在构建企业异构数据库集成系统时,主要会面对异构性、完整性、语义冲突和集成内容的限定等方面的问题。针对这些问题,本论文首先讨论了异构数据集成的相关理论,并分析了其中存在的问题,然后分别从JAVA技术方面以及XML在数据模型角度阐述了基于XML的异构数据库集成中间件的可行性。最后在此基础上给出了一个基于XML的异构数据库集成中间件的解决方案,通过实现关系数据到XML数据的转化、集成,该中间件为数据共享、发布和应用对集成信息的访问提供了底层支持。然后分功能逐一论述了各个模块的设计和实现过程,最后论述了一个有关人事信息查询系统开发过程中使用中间件的应用过程。

马俊, 王晓磊[9]2015年在《XML技术在数据集成与共享中的应用》文中研究表明文中利用XML技术,构建了基于XML的数据集成模型,并根据上述模型,设计并实现了基于XML的数据集成中间件,重点介绍中间件的体系结构、基本原理、构建过程以及组成模块,通过上述中间件的实现,解决校园网不同应用系统中异构数据库之间的数据集成与共享问题,避免了校园网中"信息孤岛"的发生。

贾晖[10]2005年在《数据集成中间件研究与实现》文中指出数据集成是为了消除企业内部信息孤岛以及实现企业之间信息共享,实现异构数据透明访问,是目前研究热点之一。本文提出并研究了异构数据集成中间件——HDIM,其作用是提供一个访问异构数据源的中间平台,使用户不必考虑数据模型的异构性、分布性,透明的访问异构数据源。 本文作为2004年度科技型中小企业技术创新基金《基于异构系统的电信级客户关系管理系统》核心技术预演。主要目的是解决数据源的系统异构,模式异构,位置异构,以及部分语义异构问题。 本文的主要工作如下: 1.设计了异构数据集成中间件体系结构:以典型的Mediator-wrapper体系结构与基于本体的异构数据集成体系结构相结合作为本文研究的数据集成中间件——HDIM的体系结构。 2.采用两种本体描述,两级本体映射的GCA方式实现全局本体到数据源的映射。两种本体是全局本体和局部本体。全局本体作为局部本体的统一视图,描述中间件在特定领域范围内可集成的所有数据。局部本体是对特定数据源的本体描述,是进行本体映射的基础。两级映射分别是全局本体到局部本体的映射,局部本体到数据源的映射。通过两种本体,两级映射实现了以全局本体为核心的(GCA)查询模式。 3.采用Web服务解决中间件与数据源的通讯问题,屏蔽了数据源的位置异构,实现数据源的增、删、改与中间件分离。 本文工作的意义在于采用新技术为解决异构数据集成问题提出新的解决思路,使用户及其它应用程序可以只通过访问全局本体就能得到领域内所有的相关数据,为数据共享,数据分析,决策支持等应用提供支持。

参考文献:

[1]. Intranet上基于XML的数据集成中间件研究与实现[D]. 袁小华. 同济大学. 2007

[2]. 基于Web Service的异构数据集成中间件的研究与应用[D]. 孙国磊. 大连海事大学. 2008

[3]. 基于XML的数据集成中间件研究[D]. 洪筱菡. 河海大学. 2003

[4]. 面向多源异构数据的数据集成中间件的设计与开发[D]. 刘基阳. 电子科技大学. 2018

[5]. 基于XML的异构数据库集成中间件的研究及实现[D]. 张建江. 重庆大学. 2010

[6]. 异构数据源集成中间件的设计与实现[D]. 朱锋. 苏州大学. 2005

[7]. 基于SOA异构数据集成中间件的研究与设计[D]. 许承毅. 重庆大学. 2010

[8]. 基于XML的异构数据库集成中间件系统研究及其在电子政务中的应用[D]. 张凯. 南昌大学. 2007

[9]. XML技术在数据集成与共享中的应用[J]. 马俊, 王晓磊. 信息技术. 2015

[10]. 数据集成中间件研究与实现[D]. 贾晖. 西北大学. 2005

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  

基于XML的数据集成中间件研究
下载Doc文档

猜你喜欢