数据仓库的设计与实现

数据仓库的设计与实现

田蕊[1]2017年在《保险业经营管理系统中ETL的设计与应用》文中研究指明经营管理系统是保险公司经营管理的一项重要的基础性工具,目的是为了在公司战略与全面预算管理之间建立嫁接平台,促进各级管理部门用共同的数据语言服务指导公司的全面预算管理,以达到盈利目标、实现绩效激励。论文给出结合保险行业特点的经营管理系统的设计与实现。本文对该保险公司的经营管理系统需求进行了分析与设计,并对系统总体架构设计进行介绍。在ETL(Extract Transform Clear Load)详细设计与实现阶段,首先对ETL进行规则设置,再对ETL流程进行详细设计,采用ORACLE存储过程和JOB调度作为ETL工具,实现了源数据到目标数据库的ETL过程和任务调度。最后进行数据仓库模型设计以及功能的实现。联机分析处理工具采用IBM公司的Cognos以及前端展示开发工具采用微软Silverlight和Cognos完美结合实现商务智能应用可视化。针对保险行业规模大,分支机构多、业务复杂这些特点,该课题解决的最重要的问题,就是系统能够将各种业务系统的数据进行集中整理和汇总,使得用户能够从多种维度和多种数据综合程度来查看数据,从而做出正确的决策。同时为了实现经营管理系统公开、透明、多维、动态的建设要求,同时保证数据的安全性和预算的严谨性,本文给出了系统的权限设置管理办法。由于决策者将使用此工具对数据进行实时分析,就要考虑其易用性,设置简洁而又要功能强大。论文的研究工作将实现商业智能多维数据表与保险行业相结合,提出一套完整的设计方案。经营管理系统经过部署、测试和实际应用的检验,系统的功能和性能都均能达到要求,系统的设计、实现和应用能够满足需求,系统运行稳定。

李可夫[2]2008年在《邮政名址数据仓库中ETL的设计与实现》文中指出随着邮政信息化进程的加快和网络应用的日益广泛,建设一个数量多、质量好、分类科学、覆盖面广、使用便捷的名址信息库,是发展邮政业务的迫切需求,也是邮政持续健康发展的基础条件和宝贵资源。邮政名址信息库建设需要依托已有的邮政综合网信息网络,充分利用先进的数据仓库技术,以地址为基础,以客户名址信息为核心,整合关联邮政各种与名址相关的业务数据,并从这些业务数据中提取、丰富名址信息,注重名址信息的质量。名址信息数据仓库,尤其是ETL的设计与实现是保证邮政名址信息库信息有效性及信息价值的关键。本课题主要针对构建邮政名址信息库的业务需求,对系统架构及数据仓库部分的构建策略进行分析和设计,并重点按照数据仓库ETL工程的一般方法,对名址信息库的ETL过程进行相应的设计和实现。论文详细阐述了以下几方面内容:●数据仓库技术基本理论●Teradata数据仓库产品特点、功能●邮政名址信息系统总体需求分析●邮政名址信息系统总体设计●邮政名址信息系统ETL的设计和实现:包括ETL过程设计、ETL环境准备、ETL自动化流程建立、ETL作业、ETL测试和投产、ETL日常管理等。本系统已经应用在中国邮政,为中国邮政商函等业务的发展提供了有力的信息支持,提高了邮政系统运行效率和服务质量,并逐步成为国民经济的基础信息资源,取得了较好的社会效益与经济效益。

何宇峰[3]2008年在《基于CWM的ETL工具的设计与实现》文中提出ETL(Extract Transformation Loading,ETL)就是从多个异构数据源获取业务数据,进行数据清洗和和转换,存储到数据仓库的过程。ETL是BI/DW的核心和灵魂,按照统一的规则集成并提高数据的价值,是实施数据仓库的重要步骤,ETL的开发也是整个数据仓库系统开发过程中工作量最大、耗时最长的部分。然而,在目前开发ETL系统的过程中,存在着一些问题,其中最典型的就是元数据管理混乱问题。针对这个问题,本文提出一种基于公共仓库元模型(Common Warehouse Metamodel,CWM)来开发ETL系统的思想,CWM是数据仓库和业务分析领域的一个完整的元模型。作为一个元模型,CWM提供了构造描述一个完整信息供应链(Information Supply Chain,ISC)的所有组件的元数据所需要的语法和语义,从而便于数据仓库系统和商业智能系统中的各种工具之间的元数据交换,因此直接在CWM框架下开发ETL工具,能大大缩短开发周期并容易被其他工具所理解。本文首先分析了ETL系统在数据仓库系统中的作用和ETL工具的发展现状,尤其重点介绍了元数据在整个过程中的指导控制作用;详细分析了CWM中对ETL过程提供元模型的各个包的结构,并以现有包为基础归纳出数据抽取、转换和装载元模型。以该元模型为指导设计ETL系统,首先描述了从CWM模型中每个类、属性和关联映射到相应的关系数据库组件中的方法,构建一个全局元数据库来存储元模型结构和ETL规则;分析对操作型数据库中的数据和相应元数据进行抽取的方法,尤其是对增量数据的处理方法和实现;定义如何描述一个数据转换的概念模型及其在CWM模型下的实现算法,最后阐述了数据加载过程的步骤和关键算法。

唐磊[4]2018年在《基于数据仓库的社保统计分析系统的设计与实现》文中进行了进一步梳理近年来,随着社保部门信息化建设的飞速发展,各个业务系统保存了海量的历史数据,由于缺乏先进的统计分析平台,未能对历史数据进行全面深层次的分析与利用,对社会保险金的预测、分析、统计、决策缺乏有效的支持,极大影响了数据统计的准确性和分析决策的效率。在这一背景下,基于数据仓库技术建立社保统计分析系统,对于充分利用业务系统的历史数据,为分析决策提供一个科学、合理、务实的数据支持具有重要的意义和价值。本文在构建社保数据仓库的基础上,通过运用维度建模、数据整合、联机分析处理等技术设计开发实现了基于数据仓库的社保统计分析系统。根据社保的软硬件环境,建立统一的数据仓库体系架构,搭建统一的建设框架和应用模式。依据客户提供业务需求进行统计分析业务主题的划分,从而建立维度模型。利用ETL数据抽取工具从社保的各个业务系统抽取数据,进而整合、加载到数据仓库中。在此基础之上,建立面向分析应用的多维数据库和初级汇总表,最后实现固定报表、灵活报表、图形展现等前端应用功能。通过对基于数据仓库的社保统计分析系统的设计与实现,建立了统一的数据存储平台,解决了“信息孤岛”的问题,有效保证了数据质量,极大提高了数据汇总、计算、查询、分析的性能,为用户提供了直观、丰富的前端展示方式,满足了用户多元化分析和辅助决策的需求,为社保部门数据仓库的建设积累了宝贵的经验。

杨臣[5]2008年在《数字校园学生综合信息管理系统的设计与开发》文中认为数字校园是指利用多媒体、网络等信息技术,将学校的主要信息资源数字化,并实现数字化的信息管理方式和沟通传播方式,从而形成高度信息化的人才培养环境和科研环境。数字校园的建设始于校园网络的构建,国内在相当长的时间内主要集中在基础设施和学校管理信息化,距离高等教育信息化实际要求相差甚远。数字校园建设的实质就是学校和教育管理部门通过信息化手段,实现对各种资源的有效集成、整合和优化,实现资源的有效配置和充分利用,实现教育和校务管理过程的优化、协调,教师与学生实现教学过程与学习过程的优化,从而实现提高各种工作的效率、效果和效益。建设数字校园的目标应该是以新的人才观、教学观、科研观和管理理论为指导,充分利用信息技术超越传统的高等教育模式,培养适应信息社会要求的创新型人才,提高教学的质量和效益,促进科研工作的有效开展,提升服务于社会的能力。从管理的角度来看,面向数字化校园学生管理信息系统是高校学生管理人员应对数字化环境挑战的一种解决方案。作为数字校园中比较重要的一个部分就是学生信息管理系统,这应该是数字校园中的最基础的管理系统之一,本文主要做了以下几方面工作:1、通过研究国内外的数字校园建设的现状以及数字校园的理论的研究,提出了数字校园环境下的学生综合信息管理的模式和建设思路;2、以具体的应用系统为例,对数字校园环境下的学生综合信息管理系统的业务流程、体系结构、设计等进行了论述,并实现了系统的部分功能;3、将数据仓库和数据挖掘技术引入到学生综合信息管理系统中,探讨了数据仓库和数据挖掘技术在辅助决策中的应用方式。

苏宝莉[6]2007年在《基于Web面向知识管理的企事业OA系统设计与开发研究》文中研究表明随着信息技术的飞速发展,无论是政府还是企事业单位,为了规范工作流程,提高办公效率,加快信息化建设的步伐,实现管理工作的信息化、科学化,全面提升管理水平,都迫切需要建立一套办公自动化系统(OA)。实施知识管理是企事业单位适应社会发展的需要,也是信息化建设的目标。将OA与知识管理结合起来,构建以知识管理为核心的OA系统就成为新一代办公自动化的发展趋势,两者的结合使知识管理找到了发挥其作用的载体,也使办公自动化发生了质的飞跃。本文首先阐述了办公自动化国内外研究的现状,以戚墅堰机车车辆厂工业公司办公自动化系统设计与开发作为课题背景,在对企业进行了详细的需求调研后,从人员、技术、经济等方面对该项目的可行性进行了分析研究。之后对办公自动化和知识管理的基本概念进行综述,并从理论和实现两个角度分析了将两者结合起来的必然性。为此,本文提出了构建KMOOAS(面向知识管理的办公自动化系统)的步骤,并对构建企业KMOOAS的环境进行了分析,同时也制定了如何构建KMOOAS的战略。本文研究的主要内容为:在对KMOOAS的功能、策略和方案等进行分析的基础上,引用了被广泛接受的第三代OA系统的体系结构,针对我国现在的技术条件与实际应用情况,提出了一个更具体、更实用的KMOOAS体系结构,并给出了构建以知识管理为核心的企业OA系统的方法与方案。最后,以IBM公司的Lotus Domino/Notes为平台,对戚墅堰机车车辆厂工业公司的OA系统进行了系统分析,提出了满足公司实际需求的GYGSKMOOAS体系结构,并结合论文研究成果,以发文管理和知识管理模块的实现为例,对该公司构建面向知识管理的OA系统进行了分析和设计。本文的创新之处是将知识管理融入企业办公自动化中,提出了一种基于知识仓库的以知识管理为核心的办公自动化系统的模型(KMOOAS),最后结合实际应用给出了应用实例。该系统建立在企业Intranet平台之上,能够帮助企业实现动态的内容显示和知识的实际管理,使企业每一位员工能够在协作中不断获得学习的机会,不断进步。同时,企业也得到越来越多的外界信息和企业内部知识的积累,并在它们之间不断地交互与碰撞中使知识获得再生和增值。

王汝林[7]2016年在《基于SAP BW中国生物财务数据仓库的设计与实现》文中指出在日益激烈的市场竞争中,医药企业越来越重视信息在企业中所发挥的作用。本文以中国生物技术股份有限公司(以下简称中国生物)为例,随着中国生物SAP (System Applications and Products)ERP (Enterprise Resource Planning)系统的运行,每天产生大量财务相关数据,受竞争环境的迫使,管理层需要将这些数据转化成分析决策信息,为企业发展提供决策支持。本文是以中国生物的商务智能(Business Intelligence, BI)系统即业务信息仓库(SAP Business Information Warehouse, SAP BW)的实施为基础,并与财务相关数据的联机分析处理(On-Line Analytical Processing, OLAP)相结合,达到为管理层提供可信可靠高效的分析报表的目的,作者完成以下工作:(1)对财务信息化的发展进行简要阐述,并对医药行业的数据仓库信息化建设情况从国内外进行研究分析,对商务智能,数据仓库技术进行研究综述,对SAP BW实施中的关键数据对象进行详细研究。(2)根据用户需求对中国生物财务数据仓库分析平台划分为四大主题域:总账、应付账款、应收账款和在建工程;并基于SAP BW对中国生物财务数据仓库进行了整体结构、概念模型、逻辑模型和物理模型的设计。(3)对基于SAP BW中国生物财务数据仓库进行实现,包括创建业务模型,通过ETL (Extract-Transform-Load)技术实现了数据的抽取、转换和装载。(4)通过SAP BW的业务浏览器工具实现了对财务数据仓库的查询和展现,并通过OLAP技术展现分析。本文为企业海量业务数据转换为分析决策信息提供了解决方案。本文中的理论具有通用性和代表性,对其他企业数据仓库的实施工作具有借鉴作用;SAPBW数据仓库又有其产品技术上的独特性,本文对技术的详细研究阐述,能够帮助技术人员学习到企业级主流数据仓库的设计架构理念。

陆洲[8]2007年在《基于数据仓库的决策支持系统的研究与应用》文中研究指明随着信息技术的飞速发展,企业内部产生了越来越多的数据,但这些数据并没有产生有用的信息,只是简单的存储在数据库中。于是出现了“数据爆炸,知识贫乏”的窘迫局面。以前,用户常常在数据的管理、数据的收集上下很大功夫,现在人们更多地是想从这些数据中获得更大的收益,基于数据仓库的决策支持系统正是迎合了这种需要。基于数据仓库的决策支持系统就是以数据仓库技术为核心,以联机分析处理技术和数据挖掘技术为手段的决策支持系统。伴随着学校招生数量的增加,学校内部产生了越来越多的学生成绩数据,这些成绩数据真实的反映了学校的教学情况。但这些数据只是简单的存储在数据库中,供查询、统计和打印,学校并没有充分利用成绩数据来挖掘出有用的决策信息。根据现在高校的特点和发展需求,若将数据仓库技术、联机分析处理技术和数据挖掘技术应用在现有的成绩管理系统中,就可为决策者提供决策支持。本文对数据仓库的设计过程和决策支持系统关键技术,以及基于数据仓库的联机分析处理技术、数据挖掘技术在决策支持系统中的应用进行了研究,在此基础上建立一个展现平台。本文在介绍了数据仓库、联机分析处理和数据挖掘理论与相关技术的基础上,分析了将数据仓库技术、联机分析处理技术和数据挖掘技术应用于高校学生成绩决策支持系统中的可行性。基本完成了高校学生成绩数据仓库的设计,实现了高校学生成绩数据的抽取、转换和装载到数据仓库中;建立了学生成绩分析多维数据集,实现了对学生成绩分析多维数据集的访问,分析和展示;根据聚类算法建立了学生成绩数据挖掘模型,从中得出决策信息。

李天霞[9]2008年在《数据仓库的设计与数据预处理技术的实现》文中研究表明数据挖掘技术与数据仓库技术的产生与发展为人们从海量数据中获取有价值的信息和知识提供了有效的平台。随着“商业智能”、“决策支持”相关产品的市场需求和社会需求不断推进,数据挖掘理论的研究、数据挖掘和数据仓库技术的应用、智能数据挖掘工具的开发与完善已成为信息科学学术界的热点问题。本文主要研究目标是数据挖掘理论的研究、数据挖掘和数据仓库技术的实际应用、智能数据挖掘工具的探索与开发,以及数据挖掘中数据预处理技术的研究与实现。本文结合档案数据仓库的设计过程阐述了数据挖掘和数据仓库技术的实际应用;系统的描述了基于插件技术的智能数据挖掘系统研究与设计,重点描述了数据预处理子系统的节点设计和插件实现过程。

孟维一[10]2016年在《基于数据仓库的保险商业智能系统设计与实现》文中提出近年来随着我国社会经济和信息技术的飞速发展,保险行业蓬勃发展,竞争也愈加激烈。如何从分散的海量数据中提取有价值的信息,并迅速做出决策已成为决定保险企业竞争力的关键,基于数据仓库的商业智能系统为其提供了一种较好的解决方案。本文结合某保险公司的实际项目阐述和分析了保险商业智能系统的设计和实现。本文结合保险行业的业务特点和该公司目前存在的问题,对商业智能系统进行详细的需求分析,在此基础之上,通过数据仓库建模,ETL (Extraction-Transformation-Loading,数据抽取、转换和加载)过程以及OLAP (On-Line Analytical Processing,联机分析处理)技术构建了商业智能系统。在数据仓库建模方面采用了第三范式与星型模型的综合建模方式,分别完成了概念模型、逻辑模型以及物理模型的设计。通过存储过程与ETL工具相结合的方法,实现了ETL过程及任务调度。联机分析处理方面,基于OLAP技术研究实现了数据立方体的建立,并且利用Cognos工具强大的报表展示功能开发了多维分析结果展现,完成了商业智能系统的设计。同时出于系统的安全性考虑,本文给出了系统的权限管理办法。目前,该系统已经上线并且运行良好,有效的解决了数据不规范、利用率低、信息孤岛等问题,实现了各类信息资源整合及业务系统的互联互通,为业务部门以及高层领导的决策分析提供了强大的支持。

参考文献:

[1]. 保险业经营管理系统中ETL的设计与应用[D]. 田蕊. 中国科学院大学(中国科学院工程管理与信息技术学院). 2017

[2]. 邮政名址数据仓库中ETL的设计与实现[D]. 李可夫. 北京邮电大学. 2008

[3]. 基于CWM的ETL工具的设计与实现[D]. 何宇峰. 大连海事大学. 2008

[4]. 基于数据仓库的社保统计分析系统的设计与实现[D]. 唐磊. 电子科技大学. 2018

[5]. 数字校园学生综合信息管理系统的设计与开发[D]. 杨臣. 华中师范大学. 2008

[6]. 基于Web面向知识管理的企事业OA系统设计与开发研究[D]. 苏宝莉. 华东师范大学. 2007

[7]. 基于SAP BW中国生物财务数据仓库的设计与实现[D]. 王汝林. 中国科学院大学(工程管理与信息技术学院). 2016

[8]. 基于数据仓库的决策支持系统的研究与应用[D]. 陆洲. 内蒙古工业大学. 2007

[9]. 数据仓库的设计与数据预处理技术的实现[D]. 李天霞. 吉林大学. 2008

[10]. 基于数据仓库的保险商业智能系统设计与实现[D]. 孟维一. 北京交通大学. 2016

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

数据仓库的设计与实现
下载Doc文档

猜你喜欢