对数据仓库运行过程管理的研究

对数据仓库运行过程管理的研究

陈永明[1]2008年在《基于.NET组件和复用技术的水质管理软件开发》文中研究说明水质信息是水质控制和管理领域最重要的数据来源,采用计算机软件技术对水质信息进行管理的当前的主要水质管理方式。而管理信息系统MIS和决策支持系统DSS是计算机软件技术在水质管理领域的主要应用方式。为了提高这两种软件系统的开发效率、可维护性和可扩展性,使它们更广泛地被应用到水质信息管理的各个方面中,本论文研究采用软件复用技术和.NET组件技术开发水质管理的管理信息系统和决策支持系统软件。本论文主要围绕着复用工程和.NET组件两个方面进行研究,内容涉及复用工程步骤、复用制品模型、复用库、.NET组件模型、接口、内部结构和版本控制等。本论文通过研究复用工程步骤的核心内容和复用制品的产生过程,提出了基于层次划分的多种复用制品(包括了子系统、模块和组件)的统一模型,创建了复用工程八个步骤在复用制品产生过程的主要工作和步骤之间的相互关系。特别提出了VCCRC的组合概念,使复用工程各个步骤连接起来。为了把大量的复用制品保存起来以及进一步的推广使用,本论文尝试定义以复用制品统一模型为基础的复用库的数据保存对象,并设计了复用库的使用功能。针对复用组件模型的特征,同时为了满足组件开发的要求,本论文选用了.NET组件技术,研究.NET组件模型的技术特点如何实现复用制品统一模型。为了满足实现与设计统一的要求,论文引入多种组件模型的定义、多种组件接口的定义和提出了组件内部组成结构模型。为了提高各种复用制品的使用效率和满足.NET组件代码运行的实际需要,论文还设计了相应的版本控制过程。本论文还描述了采用上述研究成果开发的水质数据管理系统(WMS)。该系统软件开发过程以瀑布型和复用工程为基础,使用准项目管理的思想和理论。本论文也介绍了WMS的特点,包括污染和污染处理记录的引入,划分上下级决策支持与执行功能,系统运行过程的全程数据操作监控。文章的最后,结合水质数据管理系统的实际开发过程,详细叙述了复用工程步骤规范模型、复用制品统一模型、.NET组件模型等各研究结果的主要特点和应用效果。

张柯[2]2005年在《联邦全过程全系统管理方法及技术研究》文中进行了进一步梳理仿真中的管理问题起源于仿真系统的运行管理,主要研究如何有效地组织和控制仿真系统的运行。本文将仿真管理研究的范围扩展到仿真系统生命周期全过程和全系统,重点对基于HLA的仿真系统(即联邦)的设计、开发、测试、运行全过程和全系统的管理进行了研究,目的是解决如何利用共享资源来“快、好、省”地建立和应用仿真联邦。实际上,联邦生命周期全过程和全系统的管理问题,即是仿真资源(仿真数据、仿真模型和仿真工具等)的综合应用问题。为此,论文面向仿真用户和系统设计开发人员,研究了HLA下构建仿真管理控制环境的方法,使用户能够有效的管理和调度各种数据、模型和工具等资源来完成各个阶段的仿真工作。在此基础上,论文针对HLA的特点,对涉及的关键技术进行了研究,并对HLA仿真联邦运行管理等工具进行了设计和实现。 论文对HLA管理问题的研究进行了扩展,针对仿真技术发展的趋势和应用需求,提出了联邦全过程和全系统管理的思想方法,把联邦看作一类特殊的分布式软件产品,根据工业设计制造领域的并行工程以及软件并行工程的理论和方法,将工作流管理技术和产品数据管理技术用于联邦开发运行过程(FEDEP)的管理以及系统生命周期的数据管理,提出了以FEDEP工作流管理和联邦数据管理为核心的全过程和全系统管理实施方法。 论文在研究HLA的应用模式的基础上提出仿真综合环境的概念,分析其结构和组成,对联邦全系统管理对象、方法进行了研究。针对仿真综合环境中的仿真管理控制环境进行了体系结构分析和设计,将联邦全过程全系统管理以管理控制环境的形式来实现,指出了其组成和关键技术。对管理控制环境中的联邦全过程管理,论文将工作流管理技术与FEDEP过程结合,提出FEDEP工作流模型,分析了联邦工作流的特点及实施方法,结合软件工作流的研究及工作流管理系统的功能、结构确定了联邦全过程工作流管理方法。对联邦全系统管理以全过程中的数据管理为方法来实现,结合并行工程中的产品数据管理,研究了联邦数据体系结构,提出联邦数据管理FDM,并对FDM的功能、结构及模型进行了研究,最后研究了基于FDM的工具集成和数据管理标准问题。 在管理关键支持技术方面,论文对基于XML的数据交换技术、组件式的成员开发技术以及负载平衡技术、数据采集存储技术等进行了重点研究,提出了仿真想定、脚本的基于XML描述标准和转化、检验方法、基于总线的组件式成员模型、负载的静态动态分配方法和基于序列化的数据存储技术,在这些技术上对相关管理工具进行了设计实现,完善了管理工具体系,实现了联邦运行全过程的管理。 在联邦运行管理监控方面,论文继承了DIS下仿真管理研究成果,在关键技术研究的基础上,构建了运行全过程管理工具集。借鉴仿真网格思想设计开发了仿真试验总控台来负责系统软硬件资源的全面管理调度,同时以MOM为基础,设计开发了具有可扩展的插件式接口的联邦运行管理工具KD-FMT。另外对工具集的重要组成部分

王卓[3]2008年在《基于决策支持系统的化工企业销售分析模型研究》文中认为在加入WTO之后,我国化工企业比以往任何时候都面临着更为复杂的生存环境,竞争的压力对化工企业高层管理者制定决策的质量和速度都提出了更高的要求。在这样的大背景下,困惑决策者的问题是:如何动态跟踪市场,怎样准确制定销售计划。本文围绕我国化工企业销售分析模型现状,提出了多因素关联销售分析模型,并通过实证分析验证了模型的可行性。论文阐述了决策支持系统、数据仓库、销售预测的有关理论,通过对国际化工行业市场和我国化工行业市场发展现状以及未来趋势、国外化工企业和我国化工企业销售管理现状的分析,找出我国化工企业销售管理中存在的问题以及原因。在此基础上,分析了我国化工企业销售模型的应用现状,从而找出目前销售模型的四个局限:实现模型的技术手段落后、模型功能单一关联性差、辅助决策的销售分析模型有待开发、数据特征多样用户选择方法难度大。论文从四个方面提出了基于决策支持系统的化工企业销售分析模型的实现目标:数据来源、预测和分析方法、模型功能、模型智能化程度方面,并且阐述了该模型实现的前提条件。在此基础上,论文提出了多因素关联销售分析模型,对该模型技术支持、原理、前提假设、构造、适用范围和功能等分别进行阐述,从而成功构建基于决策支持系统的多因素关联销售分析模型。最后对该模型进行实证分析,通过实际数据运行模型,并就数据进行分析,从而实现了辅助销售计划制定的功能,验证了模型的可行性。

林华珍[4]2003年在《数据仓库在ERP中的应用研究》文中进行了进一步梳理近年来,随着科学技术的发展和市场环境的变化,ERP又有了新的发展方向——智能化ERP,而数据仓库、联机分析处理和数据挖掘成为智能化ERP的核心技术。把数据仓库、数据挖掘技术运用到ERP中去,以数据仓库作为企业底层的数据源,再配合各种数据挖掘技术,结合ERP的管理思想,发挥数据仓库与数据挖掘技术在决策支持方面的长处,将给企业带来战略性价值。 本文主要包括以下内容: 1.论述了数据仓库在ERP中应用的发展现状及不足,指出了已被认为是DSS有效的解决方案——DW+DM+OLAP结构也可以用于ERP系统,用来给企业提供决策支持。 2.介绍了ERP和数据仓库的基本理论,并阐述了数据仓库和ERP的关系,研究了两者之间的互补性。 3.分析了建设ERP数据仓库所涉及到的技术:数据访问分析技术、数据抽取转换加载技术、中间件技术、Net.Remoting技术以及Web Service技术。 4.分析了数据仓库建设的技术路线的不足,并针对这些不足探讨了一种互逆的数据仓库建设的技术路线,并对基于ERP的双层数据仓库的体系结构进行了研究。 5.介绍了ERP系统决策支持功能实现的方法,并以超市的ERP数据仓库的建设为主线,探讨了ERP数据仓库的具体实现。在ERP数据仓库的实现过程中总结了数据仓库设计中的关键技术以及数据仓库运行管理方面的一些问题。

殷俊[5]2006年在《基于ETL技术的电信业数据仓库质量控制模型的研究及应用》文中研究指明数据仓库作为支持决策制定过程的重要手段,近几年来得到了迅速地发展,并已经成功地应用到制造业、零售业、金融服务、电信、运输等多个行业,正显示了其勃勃生机和强大的生命力。但是在数据仓库的建设过程中,一个被广泛认识但又常常被忽略的问题是数据仓库中的数据质量的控制。高质量的决策必然依赖于高质量的数据。为了避免得出错误的结论,数据的正确性是至关重要的,否则就会出现所谓的垃圾进,垃圾出(garbage in ,garbage out)的现象。如何检测并排除潜藏在进入数据仓库中数据的错误,以保证数据仓库中数据质量,进而为正确的决策打下坚实的基础,这是在建设数据仓库时必须重点考虑的核心问题,也是本文阐述的重点。本论文提出了基于统一工作流的ETL模型进行数据质量控制的方法,基于这种模型每个数据表的ETL流程都按照ETL的特性统一分为3个标准步骤,即数据抽取/变换(Extract/Convert)、数据转换(Transform)和数据加载(Load—ing),每个步骤需要记录完整的处理中间状态及完善的日志信息。并详细介绍了在ETL各个过程中采取的数据质量的控制方法。然后介绍了这种ETL模型在实际项目中的架构设计及应用。通过对这种ETL模型的扩展应用,设计出了基于ETL技术的数据仓库数据质量的稽核模块。通过该模块的应用可以将数据质量问题分类,建立相应的校验规则及阀值,并支持规则的动态增加。这样就使得数据仓库系统数据质量的控制上升到了一个更高的层次。

刘丽娟[6]2008年在《基于CWM的ETL元数据管理系统研究与实现》文中指出随着信息技术的普及和数据库技术的高速发展,企业面临构建数据仓库、集成多种异构数据源、为决策者提供决策支持、提升企业竞争力的需求。元数据是数据仓库的重要组成部分,贯穿于数据仓库系统的创建、维护管理和使用的各个环节之中,对数据仓库系统中的元数据进行有效的管理是决定数据仓库项目成败的关键。由于ETL工具价格昂贵,且手工编码具有较大的灵活性和较强的适应性,大多数据仓库开发商采用了手工编码方式,而手工编码存在的最主要问题就是元数据管理混乱。针对上述问题,本文提出了基于CWM(公共仓库元模型)的ETL元数据管理系统的思想。该系统最主要的特点是关注ETL的数据流程而不是控制流程,清楚地告诉用户数据的来源是什么、经过怎样地转换、得到了哪些数据集,从而帮助用户高效地管理ETL过程。本文首先介绍了ETL的基本概念和处理架构,以及元数据的概念、分类、管理模式和作用。接着分析了CWM的概念、设计原则、元模型框架、关系包、转换包等理论依据。接下来,设计了ETL元数据管理系统功能模块、元模型、元数据库物理模型。最后,研究、设计并实现了基于CWM的ETL元数据管理系统,并对系统WEB框架、总体实现方案以及实现过程中用到的关键技术做了详细的介绍。本文的重点在于设计和研究ETL元数据管理模型,对其原理、元模型设计与实现的相关技术做了一些探索,具有一定的实际应用价值。

周丹晨[7]2004年在《面向网络化制造的资源共享服务平台构建原理与实施技术研究》文中研究指明网络化制造是适应网络经济和知识经济的先进制造模式,它强调企业间的协作和全社会范围内的资源共享,并以此达到提高企业的产品设计的创新能力,实现产品设计制造的低成本和高效率的目标。因此,通过网络将分散在各个企业中的制造资源实现共享和优化利用是网络化制造模式的重要特征之一,构建能集成多方面资源、具有多种功能的资源共享服务平台将成为网络化制造的一种重要技术使能工具,可以有效地支持企业实施网络化制造。 本论文在分析国内外对网络化制造研究成果的基础上,提出了一种面向网络化制造的资源共享服务平台的功能体系结构,重点研究了网络化制造模式下资源建模、获取和集成技术、面向制造企业的信息集成化管理技术、基于Web服务的虚拟企业应用系统集成技术、基于ASP模式的网络化制造服务技术、基于资源共享的异地企业协同工作技术以及面向企业决策的数据挖掘技术等资源共享服务平台实施的关键技术,并通过原型系统的开发和初步应用验证了所提出的资源共享服务平台功能体系结构的可行性和实用性,为我国制造业在网络化制造模式下的资源共享与服务技术进行了有益的探索。论文在理论与实践中的主要研究成果和特色如下: (1) 提出了面向网络化制造的资源共享服务平台的功能体系结构,即在公共数据中心所管理的可共享资源支撑下,利用应用工具集,为联盟企业提供资源集成与管理、企业间协同工作支持、网络化制造服务、UDDI使能的四川大学博士学位论文注册中心以及共享资源维护与安全控制等服务功能。通过对资源共享服务平台实施的关键技术的分析,研制开发了由公共数据中心、远程协同设计中心和远程制造服务中心等功能模块组成的资源共享服务平台原型系统。 (2)应用面向对象的资源建模方法和多Agent技术,提出了一种基于资源共享服务平台的网络化制造资源模型。研究了基于语义Web技术的制造资源获取方法,讨论了网络化制造模式下资源集成和快速重构方法,提出了资源共享服务平台支持下的网络化制造资源获取和集成模型。 (3)通过对面向制造企业的信息集成化管理技术的分析,研究并开发了基于W七b的工艺信息集成化管理系统,主要包括工程项目管理、工艺文件管理、工艺资源管理、图文档管理、工装管理、任务管理以及工时管理等七个独立的子系统,实现了工艺信息在企业内不同部门之间的集成和共享。 (4)针对虚拟企业中盟员和其应用系统不断动态变化的特点,通过对W己b服务技术架构的深入分析,提出了一种面向虚拟企业的柔性工作流管理技术方法,实现了虚拟企业应用系统集成,提高了各联盟企业工作流管理的柔性和适应性。 (5)以应用服务提供商(Applieation Serviee provider,Asp)模式为技术支撑,针对有限元分析的特点,创造性地提出了建立有限元分析远程服务系统的技术方案,研究了系统的体系结构、工作流程和关键使能技术,以充分利用宝贵的有限元分析计算资源,将分散在不同地域的制造企业和FEA服务商有机地连成一体,为各中小型企业提供快捷、便利和可靠的高水平FEA远程技术服务。 (6)在分析企业间协同工作的特点的基础上,阐述了基于多Agent的企业间协同工作机制,研究并提出了资源共享服务平台支持下的企业间协同工作系统的体系结构和运作流程,为异地企业之间的协同产品开发、协同设计和协同制造等过程提供了技术支持。 (7)提出了在企业ERP和CRM系统基础上应用数据仓库和数据挖掘技术,对企业信息资源进行深层次开发利用的理念和方法,为推动制造企业逐渐从“信息管理”走向更高层次的“知识管理”进行了初步的探索。关键词:网络化制造资源共享服务平台虚拟企业协同工作数据挖掘

牛筱峰[8]2008年在《基于元数据的数据仓库任务调度原型系统的设计与实现》文中研究指明数据仓库系统建设可以分为四个过程:数据采集,ETL1,ETL2,数据展现。这些过程内部、过程之间存在着复杂的关系。如何设计一个较好的调度系统,使其在保证数据正确性的前提下尽可能的提高系统效率,是数据仓库调度系统所要解决的问题。元数据及元数据管理的相关研究为解决数据仓库任务调度问题带来了新的思路。OMG组织提出的公共仓库元模型(Common Warehouse Metamodel,CWM)提供了一个描述数据仓库领域数据源、数据目的、转换、分析以及数据仓库管理元数据的通用框架,为异构产品和工具之间进行元数据通信和共享提供了标准。近年来,工作流技术日益成熟,为实现业务流程管理和流程自动化,提高系统效率提供了切实可行的解决方案。基于以上背景,作者深入研究了铁路试点数据中心的建设过程,分析了铁路试点数据中心的实际环境、任务调度现状和存在的问题,据此提出了一种基于元数据的数据仓库任务调度系统的设计方案。该系统基于CWM元模型,以调度元数据库为核心,将数据仓库调度过程集中起来,由一个调度系统来统一管理。为了提高系统的处理效率,作者将工作流技术引入到数据仓库任务调度过程,用来协调调度活动的执行。之后,作者描述了任务调度实现的流程,并讨论了系统实现中业务规则表示、并发控制、任务管理、任务指派、依赖检查、转发控制等关键问题。

王哲[9]2009年在《高校辅助信息决策支持系统的研究与实践》文中研究说明基于智能卡技术建立的各种信息系统已逐渐被应用于高校管理的各个方面,但就目前而言这些系统往往仅能满足某一特定环境的应用,同时各系统之间一般相对独立,数据无法共享,无法综合利用及处理,要解决该问题就必须建立以数据仓库及数据挖掘技术为支撑的决策支持系统。在这一背景下,论文针对目前高校基于智能卡辅助管理中存在的系统众多、无法统一管理、数据资源丰富却无法有效集成利用等问题,构建了一个高校辅助信息管理决策支持系统,主要的研究工作及取得的成果有以下几个方面:(1)以基于数据仓库的一般决策支持系统的体系结构为基础,结合高校管理的特定需求和实际特点,构建了高校辅助信息管理决策支持系统的体系结构,并规划了该系统的主要功能。(2)针对基于智能卡技术的高校信息系统的数据特征,设计并确定了高校辅助决策数据仓库的组织模式及结构方案,划分了决策的主题域;方案中着重对数据的粒度及元数据这两个影响决策系统性能的关键因素进行了分析研究,并实现了数据仓库的ETL功能。(3)针对高校学生消费数据的特点,以Apriori算法为基础,改进并设计实现了一种消费决策算法,该算法在计算候选集支持度时具有较好的收敛性,并对该算法的有效性进行了验证。(4)以决策树理论为基础,结合ID3、C4.5以及SPRINT算法的优点,设计实现了一种就业预测算法,实验结果表明该算法可较为准确的对学生就业信息进行分类与预测。

李杰[10]2008年在《甘肃移动经营分析系统的研究与设计》文中研究表明为适应日趋激烈的市场竞争环境,提升中国移动的企业核心竞争力,应充分利用以BOSS系统为主的源数据系统产生的大量宝贵的数据资源,甘肃移动决定按照集团总部统一部署,建立移动企业经营分析系统,实现对信息的智能化加工和处理,为市场经营工作提供及时、准确、科学的决策依据。本文在阐述新建系统设计原则及功能的基础上,重点对数据获取、数据存储、数据访问各模块的功能及性能要求进行了详细描述和定义,对主机系统的性能和设备配制、存储系统的存储方案和设备配制进行了详细计算设计,并且对网络组织及带宽、IP地址规划、应用软件系统、接口等的设计原则进行了论述,同时对系统普通用户数据操作浏览,后台管理用户运行管理、用户管理、系统监控、操作日志、质量管理等用户界面进行了设计。在本项目中,我主要参与了对数据获取、数据存储、数据访问等各模块的功能及性能要求的详细描述和定义,重点完成了对主机系统的性能和设备配制、存储系统的存储方案和设备配制进行了详细计算设计,在进行设备选型及工程设计过程中,借助于TPCC值对设备和系统的性能进行量化,并且提出对网络组织及带宽、IP地址规划、应用软件系统、数据库系统等的设计原则。

参考文献:

[1]. 基于.NET组件和复用技术的水质管理软件开发[D]. 陈永明. 广东工业大学. 2008

[2]. 联邦全过程全系统管理方法及技术研究[D]. 张柯. 国防科学技术大学. 2005

[3]. 基于决策支持系统的化工企业销售分析模型研究[D]. 王卓. 哈尔滨工程大学. 2008

[4]. 数据仓库在ERP中的应用研究[D]. 林华珍. 武汉理工大学. 2003

[5]. 基于ETL技术的电信业数据仓库质量控制模型的研究及应用[D]. 殷俊. 上海交通大学. 2006

[6]. 基于CWM的ETL元数据管理系统研究与实现[D]. 刘丽娟. 西北大学. 2008

[7]. 面向网络化制造的资源共享服务平台构建原理与实施技术研究[D]. 周丹晨. 四川大学. 2004

[8]. 基于元数据的数据仓库任务调度原型系统的设计与实现[D]. 牛筱峰. 北京交通大学. 2008

[9]. 高校辅助信息决策支持系统的研究与实践[D]. 王哲. 兰州大学. 2009

[10]. 甘肃移动经营分析系统的研究与设计[D]. 李杰. 北京邮电大学. 2008

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

对数据仓库运行过程管理的研究
下载Doc文档

猜你喜欢