面向决策的数据仓库和OLAP技术研究

面向决策的数据仓库和OLAP技术研究

朱焱[1]2002年在《面向决策的数据仓库和OLAP技术研究》文中研究说明随着决策支持对数据库技术需求的增加,数据仓库和OLAP技术逐渐成为数据库领域的焦点,并且已经成为完整决策支持方案中不可缺少的基本元素。 目前,尽管数据仓库技术已经成功地应用于国内外很多行业之中,但是仍然存在很多问题。其中,数据仓库的整体构建方案和数据仓库中数据的组织及维护是问题的焦点。数据仓库由视图和实体化视图组成,对实体化视图的探讨成为研究数据仓库的核心。OLAP技术则是在创建的多维数据仓库的基础上进行旋转、切片和钻取等操作,获得有效信息。 本文介绍了数据仓库和OLAP的概念、本质特征以及设计与实现数据仓库的方案和流程,探讨了实体化视图的选择策略、维护方案和联机分析处理方式,分析了一种实体化视图的选择算法并介绍了实体化视图的增量维护算法的数学思想。最后,在Hans医院信息系统基础上尝试研究面向费用主题的医嘱数据仓库系统,并使用工具进行OLAP分析获得各个部门的费用及相关比例信息,并将获得的信息以报表的形式展现。

宋旭东[2]2010年在《企业集团数据仓库系统关键技术研究》文中进行了进一步梳理企业集团信息化运营过程中积累了大量的设计、生产、库存、销售、采购和财务等业务数据,如何将企业集团海量业务数据转化为决策信息已成为目前企业集团信息化难点和热点问题,数据仓库系统被认为是最好的解决方案。企业集团数据仓库系统是一个复杂的系统,涉及众多复杂的概念和技术。本文就企业集团数据仓库系统中的几个关键技术进行了研究,本文的研究成果为企业集团实施数据仓库系统提供了很好的借鉴作用,有着重要的理论和现实意义。本文的主要工作如下:(1)企业集团数据仓库系统的概念及体系结构的研究。给出了企业集团数据仓库系统的定义,提出了统一视图模型的基本概念,提出了一个基于统一视图模型的数据仓库系统体系结构。(2)数据仓库系统ETL技术的研究。给出了一种新的基于统一视图模型的数据仓库ETL体系结构,提出了一种基于统一视图模型的ETL过程建模和实现方法。同时,针对数据仓库ETL任务调度问题,以数据仓库总的ETL执行时间最短为调度目标,建立了ETL任务调度模型,提出基于同层划分的遗传算法进行模型求解的算法流程。(3)企业集团数据仓库技术的研究。给出了企业集团分布式数据仓库分层结构,提出了一种面向企业集团的分布式数据仓库模型,并总结了分布式数据仓库的实施策略及其关键技术,同时将模型驱动的方法应用到数据仓库模型开发中。(4)企业集团OLAP技术的研究。将模型驱动体系架构的软件开发方法应用到OLAP开发中,该方法在数据仓库系统统一建模框架下,将OLAP设计从逻辑层提升到概念层,在概念层实现OLAP的PIM建模,通过PIM模型到PSM模型及PSM模型到SQL代码转换实现OLAP开发。(5)企业集团数据挖掘技术的研究。提出了一种基于抽样的决策树分类改进算法,使得这种算法在大数据集的情况下也能挖掘出正确的分类规则。将该算法应用到企业生产成本关键工序挖掘上,挖掘出工艺路线中的关键工序和影响钢铁企业成本的分类规则。同时,针对大数据集下的关联规则挖掘,提出了有向项集图的叁叉链表式存储结构和基于有向项集图的关联规则挖掘改进算法,通过东北特钢钢企业集团的客户数据关联规则挖掘应用,挖掘出的客户的购买行为和潜在需求规律。(6)企业集团决策支持技术的研究。给出了基于分布式数据仓库的企业集团决策支持系统整体框架,通过定义决策方案层和决策任务模型层,采用分层策略,降低了决策支持系统的复杂性,采用面向对象的软构件方法,将数据和决策算法有效集成,增强了系统的重用性和扩展性。

迟晓明[3]2009年在《基于数据仓库与数据挖掘的航空货运分析CRM应用研究》文中研究说明随着航空货运业的发展,客户关系管理(CRM)的应用越来越广泛,因此,产生了大量的数据,有效的利用这些数据,并充分挖掘这些数据中的隐藏的有用信息,可以为航空公司的经营决策带来极大的帮助。数据挖掘技术以其善于从大型数据仓库中挖掘有用信息的特性而成为航空公司客户关系管理中处理信息的最佳技术选择。通过查阅资料了解到国内部分行业,在数据仓库和数据挖掘的应用方面,己经有了比较好的信息化基础。数据仓库中已储存了大量的数据,但在数据分析等方面却处于薄弱状态。正如航空货运行业,利用信息技术产生和收集数据的能力逐渐加强,如何高效的利用各种数据,在保留现有的客户的基础上开拓新的市场,提高我国航空公司的核心竞争力,是研究航空货运CRM的核心问题。论文在对航空公司客户关系管理中应用数据仓库及数据挖掘所产生的商业价值分析的基础上,分别从构建数据仓库,构建数据挖掘应用系统结构、选择实施方法和基于OLAP技术的航空货运分析四个方面对航空公司客户关系管理做出了逐层深入的研究。首先介绍了客户关系管理(CRM)、数据仓库和数据挖掘技术的定义、发展现状和基本原理,讨论了数据挖掘和数据仓库技术在CRM中的应用意义。其次,对航空货运业在CRM系统基础上组建数据仓库系统的理论和方法进行了深入的探讨,为数据仓库在航空货运业的应用提供了理论依据和实现方法;并提出ETL的定义及应用,还涉及到操作数据存储(ODS)的研究。从概念模型设计、逻辑模型设计、物理模型设计论证了航空货运CRM数据仓库中的信息数据模型;根据航空货运业的数据特点和业务需求,提出了航空货运业数据仓库系统的总体框架。在数据仓库构建步骤中,列出了部分构建数据仓库时所用到的程序列表(事实表生成存储过程程序,维度表生成过程程序)。再次,论文接着阐述了航空公司客户关系管理中数据挖掘应用的系统结构与实施方法研究,提出了基于互动循环过程和SEMMA的实施方法,有效解决了航空公司客户关系管理中实施数据挖掘的商业问题和技术问题。研究了Apriori算法及改进的AprioriTid算法和AprioriTidList算法,并在此基础上,说明航空公司CRM中数据挖掘改进实施方法的应用流程。在本文的最后部分,展示了一个基于OLAP技术的面向分析的CRM系统。采用HOLAP方式进行数据存储。这一系统为航空公司提供了OLAP的功能,工作人员可以通过多维视图分析数据。在建立数据仓库的基础上进行数据挖掘,发现整个系统中各个项之间的潜在关系,能够为公司决策者提供决策支持。本文在对目前我国航空货运公司CRM领域需求分析的基础上,结合经典解决方案的优点,首先在数据层实现整合,设计出航空货运公司CRM系统基本框架。在该框架实现中,先分析公司数据仓库的技术需求,再从技术框架、数据库设计、数据建模、数据转换几个关键领域论述了数据仓库的实现。在数据模型设计中,做了一些相应的设计处理,保证了数据的有效性、准确性。

黄尉鼎[4]2008年在《OLAP技术在税务信息管理系统中应用的研究》文中研究说明近十年来,传统的数据库系统即联机事务处理系统(OLTP)作为数据管理手段,主要用于事务处理,但OLTP已不能满足终端用户对数据库查询分析的要求,SQL对大型数据库的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。1993年关系数据库之父E.F.Codd提出了多维数据库和多维分析的概念,即联机分析处理(OLAP),为有效地解决这个问题提供了途径。以数据仓库、OLAP和前端展现技术为核心的数据分析模型正深刻地改变企业的决策过程,逐渐成为商业决策数据分析的主流技术,在决策管理环节扮演了重要的角色。税务信息化建设经过十多年的探索、实践和发展,取得了巨大的成绩,有力地促进了税收工作水平的提高。与此同时,税务信息管理系统产生了大量富有价值的数据,如何从这些海量数据中提取对税务部门决策分析有用的信启,成为税务信息系统工程决策管理人员所面临的重要课题。现阶段大部分管理人员除对数据做一些简单的、浅层次的局部的查询等操作外,还缺少对这些数据的深入分析,从中挖掘出深层次的有价值的信息成为我国税务信息系统工程现阶段面临的一大问题。基于以上状况,本文研究了数据仓库、OLAP技术在数据分析系统中的应用,以能有效地解决上述问题,这在理论和实际工作中具有十分重要的意义。本论文首先介绍研究现状和研究目的;接下来介绍数据仓库、在线分析处理OLAP技术;然后论述了数据仓库项目开发的方法与要求、软件复用等相关技术,并根据OLAP项目工作的特点、深入研究其软件复用特点;最后通过对税务信息管理系统项目的工作实践,提出一套切实可行的OLAP解决方案。论文对税务信息系统研发过程中所需要的理论、方法等进行了深入研究,解决了一些实际开发过程中影响效率的关键问题,并研究了前端展现工具解决报表的能力。最后总结了OLAP技术未来的发展并提出了本课题今后希望解决的问题。

杨家旭[5]2007年在《基于数据仓库的数学模型解决方案的研究与设计》文中进行了进一步梳理随着市场经济竞争的加剧,企业和组织的管理和决策越来越有赖于对市场需求的分析、预测,而现实中往往存在决策依据不足和有效数据十分缺乏的现象;同时,在计算机和关系型数据库系统已经十分普及的今天,大部分企业和组织的管理信息系统仍然是以低层操作型的事务处理为重心建设,而企业中高层的决策支持系统的基础十分薄弱。低层的数据泛滥,而中高层用于决策的信息却十分贫乏的问题表明:基于数据仓库的决策支持系统的开发已十分迫切。数据仓库、数据挖掘和数学建模是作为叁种独立的信息和数学处理技术出现的。数据仓库用于数据的存储和组织,数据挖掘集中于数据的分析,数学建模则致力于模型的构建和知识的自动发现。由于这叁种技术内在的联系性和互补性,它们结合起来就形成了一种新的决策支持系统(DSS)构架,从而构成为基于数据仓库的数学模型解决方案。本文正是在这种背景下,对数据仓库的理论和设计进行了研究。主要是以管理层次的分析为依据,以现实中大规模数据库为基础,借助数据整合手段,采取多维数据模型,构建出底层为仓库数据库服务器、中间层为OLAP服务器、顶层为客户端的叁层数据仓库结构,以满足决策支持系统的构建和数学建模系统研究和设计的需要。在数据仓库的系统设计基础上,我们将数学建模系统作为研究的重点。首先,我们结合实际案例,研究了回归分析和最小二乘法等基于数据的建模方法的应用,这一方法我们称为定制数学建模的方法。其次,我们在研究数学建模的方法和软件开发上,提出了回归函数算法集合的设计思想,并对自动优选数学建模系统进行技术研究与设计。同时运用这一技术,对胜利油田生产和管理的历史数据实例进行研究与分析,建立了许多油田生产管理的数学模型,用于企业预测和分析,都取得了很好的效果。最后,总结了基于数据仓库的数学建模技术的应用并简要讨论了进一步的工作方向。

高巍[6]2007年在《县级供电企业营销辅助决策系统研究》文中指出本文在研究决策支持系统基本理论的基础上,利用数据仓库、OLAP技术和数据挖掘技术,在供电企业已有的管理信息系统基础上建立了一个高效、实用的电力营销辅助决策系统。文中研究了县级供电企业营销辅助决策系统的建立,并根据供电企业MIS系统提供的营销、生产等数据,采用Microsoft Analysis Services进行数据仓库构建,建立了营销辅助决策数据仓库。运用OLAP技术,提供数据多维分析服务,通过切片、钻取和旋转等分析方法,多角度、多层次地分析数据仓库中的数据。本文首先简要介绍了决策支持系统的基本理论,提出了课题背景、意义以及研究内容。其次,阐述了数据仓库、联机分析处理(OLAP)、数据挖掘以及MS Analysis Services的相关理论与技术。然后,根据决策支持系统的需要,进行了电力营销辅助决策系统总体结构的研究,完成电力营销辅助决策系统的总体设计。最后,文章结合电力营销系统的实际需求,详细讨论了如何构建一个电力辅助决策系统,并根据电力行业的实际情况,提出了构建电力营销数据仓库的方法,进行了数据仓库的建立,并在此基础上进行了多维数据分析处理,以满足辅助决策的需要。文中所讨论的系统分数据仓库、数据分析、用户界面以及系统管理四大部分。数据仓库系统整合现有相关业务系统的数据,可以从多角度、多层次地分析数据仓库中的数据,能显着地提高数据分析、统计、报表定制等方面的效率和精确度,能够基本满足电力企业营销数据分析的需要。系统能够为历史数据建立一个适用的营销数据仓库,可以从中提取出有用的数据信息,为供电公司管理与决策提供科学依据,对于电力信息化建设有非常重要的意义。

郭晓可[7]2013年在《数据仓库和OLAP在广东中烟商业销售分析中的应用与研究》文中提出销售是企业发展的火车头和发动机,关系到企业的正常运转,对于烟草企业来说尤其如此。一方面随着烟草行业卷烟品牌的整合,商业市场的竞争日益激烈;另一方面,我国加入WTO后,烟草制品关税逐步降低,烟草配额和许可证制度也逐渐放松,国外烟草行业也将进一步抢占烟草市场。在国内国外双重竞争的压力之下,国内烟草生产企业如何在稳固自己市场地位的前提下,通过商业销售数据分析做出决策,指导自己的生产和销售,以便做大做强企业,是一个摆在它们面前亟待解决的问题。本论文针对广东中烟的实际情况,以数据仓库和OLAP技术为工具,对商业销售的相关情况进行分析展现,期望能够提供有用的信息,辅助企业的管理者做出决策,指导企业发展。本论文主要的工作有:(1)首先研究了数据仓库和OLAP在国内外的研究现状,并针对在烟草行业的应用进行了重点研究。然后,对数据仓库和OLAP的相关技术进行了概述。在概述的基础上,对商业销售数据仓库的需求进行分析,把商业销售这个大的主题分为商业购进、商业销售、商业库存叁个子主题,并以这些子主题为依据,以信息包图为工具,分析了这些主题涉及到的指标和维度。(2)在需求分析的基础上,继续设计商业销售数据仓库的逻辑模型和物理模型。其中在逻辑模型设计中,用星型模型简洁、清晰地建立了事实表和维度表之间的关系,为物理模型设计打下了良好的基础。在物理模型设计阶段,定义了维度表和事实表的物理结构,并对数据存储、索引策略等进行了概述。最后,阐述了商业销售数据仓库的叁层结构体系,即DB-ODS-DW.(3)以两个与商业销售分析有关的OLAP建模的实例重点阐述了OLAP维度建模的四个步骤,研究分析OLAP如何在数据仓库的基础上,以需求为驱动,应用到实际中去,并起到辅助决策的作用。最后,对商业销售分析的效果展现进行了说明。

田勃[8]2007年在《基于校园网的人力资源管理系统的研究》文中研究表明教育信息化建设是一项系统工程,涉及到学校教学及管理的各个环节,其中人力资源管理又是高校教育信息管理现代化的重中之重,只有合理利用人力资源,充分发挥教职工的潜力,才能不断提高教育质量、提升办学层次。本文首先结合我校人力资源管理的实际情况,应用现代软件工程技术对高校人力资源管理系统(UHRMS)进行了建模,提出了UHRMS的具体功能模块,给出了基于校园网的人力资源管理信息系统的整体模型设计。然后介绍了数据仓库的概念、体系结构、设计方法,介绍了基于数据仓库的数据分析技术:联机分析处理(OLAP)。最后利用数据仓库构建了人力资源数据仓库,用OLAP技术对高校的人员流失进行了分析,使人力资源管理具有决策支持功能。本系统采用Client/Server模式与Brower/Server模式相结合的开发方案,以Windows 2000 Advanced Server+IIS作为主服务器,Microsoft SQL Server 2000作为数据库服务器;客户端采用Visual Foxpro 6.0和FrontPage作为开发工具。采用Microsoft SQL Server 2000 Analysis Services对数据进行分析。

张志军[9]2006年在《基于数据仓库的企业管理决策支持系统》文中进行了进一步梳理随着计算机在管理中的应用,大量的数据可以被充分的利用,以辅助管理和决策。20世纪80年代,在管理信息系统的基础上,发展了决策支持系统。决策支持系统的基础是大量被良好管理的数据。为了管理好这些数据,产生和发展了数据仓库系统,它是数据库技术发展及应用驱动的结果。数据仓库提供了一个数据平台,在此基础上可以进行强有力的数据分析、数据挖掘和报表,从而支持决策。数据仓库技术从提出开始,就受到学术界、工业界和用户的重视。虽然各公司陆续推出了数据仓库产品,对于数据仓库的研究方兴未艾,国内的研究还有很大的空白有待填补,特别是灵活的数据仓库解决方案还需要研究探索。 建立数据仓库系统,最关键的问题是数据的组织问题。在数据仓库中,数据处于中心位置,围绕数据建立多种分析和应用,不同于传统数据库中以应用为中心收集和组织数据。论文讨论了数据建模的过程。数据仓库建模包括收集需求、需求分析、系统的规划、概念设计、逻辑设计、物理设计等。针对数据仓库的特点,需要动态的数据仓库开发过程,支持用户需求的调整与追加。 本论文实现了动态数据仓库的建模过程,以用户的需求为驱动,支持用户需求的变化与调整,从系统的逻辑设计到物理设计,每一步骤都有相应的中间结果文件生成,方便用户对设计结果的掌握,同时,具有良好的交互性和简单友好的操作界面。 本文讨论了数仓库建模的详细过程和技术。首先是数据仓库的概念、体系结构及开发过程,以及基于数据仓库的数据挖掘和联机分析处理理论,着重论述数据仓库技术在决策支持系统(DSS)中的应用。 当前数据仓库支持技术的重点是OLAP,OLAP分析是基于多维模型。本文在研究了多维建模的基本原理和基本方法的基础上,针对企业决策过程的迫切需要,建立了多个OLAP模型。这些模型虽然不能涵盖企业的所有决策需求,但是它们一方面满足了企业最迫切的一部分需求,另一方面也可作为进一步建立更多的OLAP模型的重要参考。 本文讨论基于数据仓库的决策分析系统的优越性,给出一种实现模型。并就建立数据仓库的关键技术进行讨论。提出一种新的实现数据清洗和过滤的方法,并且比较数据立方体的叁种存储模型,最后给出量化结果。 本文内容安排如下:本文的第二章介绍基于数据仓库的DSS体系结构;第叁章介绍相关理论知识;第四章重点讨论基于数据仓库的决策支持系统的框架结构;提出一种新的实现数据清洗和过滤的方法,并且比较数据立方体的叁种存储模型,最后给出量化结果。

孙杰[10]2007年在《基于数据仓库的教学管理系统应用研究》文中研究指明近年来,我国高等院校招生规模不断扩大,但同时也出现了如生源质量下降,办学经费紧张,师资力量不足等新问题。如何提高管理水平和办学质量,是很多高校亟待解决的问题。目前多数高校中一些部门一般都建立了信息管理系统,如学生管理系统、教务管理系统、教师信息系统等。但分散在各个部门的信息资源缺乏统一的管理和组织,堆积了大量的历史数据。而学校管理决策人员很难从这些系统中综合出决策所需要的相关信息。因此,建立学校的数据仓库,将已有的管理数据进行综合管理、分析并挖掘出有用的信息,是提高学校竞争力,帮助管理者进行决策的一种方法。本文分析了数据仓库技术及其应用,联机分析处理等相关技术,针对已有的管理系统,提出了一种基于数据仓库及OLAP技术的高校教学管理系统应用方案。论文详细介绍了系统的总体设计,包括概念模型、逻辑模型及物理模型的设计、系统的开发过程及结果的显示和分析。系统运行结果表明,系统的设计达到了预期的目标。

参考文献:

[1]. 面向决策的数据仓库和OLAP技术研究[D]. 朱焱. 合肥工业大学. 2002

[2]. 企业集团数据仓库系统关键技术研究[D]. 宋旭东. 大连理工大学. 2010

[3]. 基于数据仓库与数据挖掘的航空货运分析CRM应用研究[D]. 迟晓明. 中国海洋大学. 2009

[4]. OLAP技术在税务信息管理系统中应用的研究[D]. 黄尉鼎. 大连海事大学. 2008

[5]. 基于数据仓库的数学模型解决方案的研究与设计[D]. 杨家旭. 同济大学. 2007

[6]. 县级供电企业营销辅助决策系统研究[D]. 高巍. 西安工业大学. 2007

[7]. 数据仓库和OLAP在广东中烟商业销售分析中的应用与研究[D]. 郭晓可. 昆明理工大学. 2013

[8]. 基于校园网的人力资源管理系统的研究[D]. 田勃. 太原理工大学. 2007

[9]. 基于数据仓库的企业管理决策支持系统[D]. 张志军. 山东大学. 2006

[10]. 基于数据仓库的教学管理系统应用研究[D]. 孙杰. 合肥工业大学. 2007

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

面向决策的数据仓库和OLAP技术研究
下载Doc文档

猜你喜欢