联机分析挖掘处理技术(OLAM)的研究

联机分析挖掘处理技术(OLAM)的研究

曹蓟光[1]2001年在《联机分析挖掘处理技术(OLAM)的研究》文中研究表明联机分析处理技术(OLAP)和数据挖掘技术均是决策支持的重要技术,两者在决策分析过程中可以分工合作、功能互补。但是两者的产生背景、发展历程、数据基础、分析层次、用户群等方面存在着较大的差别,这妨碍了两者在决策支持应用中有机、高效的结合。为了减少或消除这种差别,实现联机分析处理技术和数据挖掘技术的紧密结合,J.W.HAN于1997年提出了OLAM的概念,即OLAP Mining,他从统一两者的数据基础入手,提出在多维数据模型的基础上同时支持OLAP应用和数据挖掘应用的思路。但是数据挖掘所需的数据基础通常是多样的,单纯的多维数据模型使得数据挖掘的功能不能充分的发挥。 论文对OLAM的概念进行了扩展,对OLAM的内涵进行了深化,把OLAM定义为联机分析挖掘处理(On Line Analytical Mining Processing),实现对OLAP技术和数据挖掘技术的紧密集成。OLAM的数据基础不再局限于多维数据模型,而是包括多维数据模型、关系数据模型、对象数据模型和对象关系数据模型、半结构或无结构化数据模型等多种模型的异构环境。研究的重点为如何把OLAP与数据挖掘技术有机的集成在一起为用户提供高效地决策支持应用。 论文首次为OLAM技术建立统一的系统理论框架。作者在OLAM系统的体系结构、概念和逻辑模型、任/事务模型、事务的优化和调度、信息的组织和管理、OLAM语言的设计和分析、系统管理策略等方面提出了自己的见解。 论文在深入分析了OLAM应用的特点之后,提出了OLAM系统所应具备的十四条特性,这些特性同时可以认为是OLAM系统的建设准则,它对于构建和评价OLAM系统有一定的指导意义。在这些准则的基础上给出了OLAM系统的概念模型和逻辑模型。作者提出的OLAM系统概念模型界定了OLAM技术的研究范围,首次提出了工作仓库和导出对象存储的概念,明确了它们在OLAM系统中的重要作用。 论文通过对大量决策分析算法的分析,首次提出了基于限制(Constraint)的OLAM任务语义模型,这个模型从一定的逻辑高度对OLAM任务进行抽象,利用它可以分析OLAM任务的共性,提取OLAM任务执行时的基本操作,这些基本操作的基础是语义片断。论文给出了语义片断之间关联关系的分析和判断方法,提出了基于限制的、具有方向性的语义关联度定义。语义片断间的关系的确定是OLAM任务/事务优化的基础。 论文在对OLAM任务的特点和任务类别的分析的基础上,提出了一种新的OLAM任务/事务模型,这个模型通过AOR-DAG图来表示复杂的OLAM任务和事务,其中同时蕴涵了事务的控制流和数据流,是OLAM事务优化和调度的依据。 论文综合考虑了OLAM事务中的决定OLAM事务调度主要因素,首次提出了OLAM子事务的价值模型,一个OLAM子事务的价值包括自身价值、社会价值、继承价值叁个部分,它与OLAM任务/事务模型相结合是OLAM事务优化的基础。论文还给出了OLAM事务间的多种协作模型,提出了“基于有效资源的事务价值最大最优先的OLAM事务调度策略”。并着重对OLAM事务调度过程中任务时效性的保证进行了讨论。 导出对象中的信息表示的是OLAM任务语义模型中的语义片断的内涵,它是OLAM事务语义相关性分析的基础,研究导出对象的数据模型、组织和索引形式、导出对象间的关系以及导出对象的维护方法对于OLAM事务的优化和执行有着重要的意义。论文给出了导出对象的数据模型和导出对象的价值模型,同时结合关系模型给出了导出对象间关联关系的高效判断方法。为了提高导出对象的维护效率,论文提山了一套导出生成原语,同时讨论了导出对象的维护和管理方法。 元数据是OLAM系统的核心,论文在对元数据概念、元数据管理策略进行分析比较的基“础上,指出了元数据管理方法的未来发展方向。同时结合OLAM系统中元数据的特点提出了基于XML的元数据管理策略,并给出了OLAM系统中元数据仓库的系统模型。 OLAM技术作为一种新的决策支持应用开发技术,从自身内涵到系统理论框架,有很多问题需要解决,论文对OLAM技术发展中需要迫切解决的关键问题进行了讨论,提出了一套系统理论框架,为OLAM技术的进一步发展奠定了基础。

王骏强[2]2008年在《基于OLAM的进销存决策支持系统的设计与实现》文中研究指明决策支持系统(Decision Support System,DSS)是一种帮助中高层管理人员进行决策的计算机系统,这种系统综合运用了信息论、人工智能、信息经济学、管理科学、行为科学等学科的理论、方法和技术。随着联机分析挖掘(On-lineAnalytical Mining,OLAM)概念的提出和技术的成熟,OLAM成为了新的决策支持系统的主要分析工具之一,它以数据仓库(Data Warehouse,DW)为基础,无缝集成了联机分析处理(On-line Analytical Process,OLAP)和数据挖掘(DataMining,DM)技术,具有两者的优势,因此有较大的研究与应用价值。本文阐述了基于OLAM的进销存决策支持系统的设计思路,着重利用SQLServer 2005在多种技术无缝集成方面的优势,对整个系统进行了具体的搭建、设计和实施。本文主要工作包括:(1)分析了联机分析挖掘技术在当前国内外研究的背景现状,提出在进销存数据仓库系统中运用联机分析挖掘技术作为辅助决策的构想。(2)对进销存决策支持系统进行总体设计,包括:进销存决策支持系统的需求分析,基于OLAM技术的进销存决策支持系统的系统设计和功能设计。(3)依据具体的进销存数据,通过概念模型、逻辑模型和物理模型的设计建立所需的数据仓库,并对数据仓库实施的关键技术进行了研究。(4)建立了进销存决策支持系统的开发环境,针对进销存数据仓库建立相应的OLAP多维数据集,设置维度、层次和度量值;搭建Web Service平台,用Visual Basic.net语言编程提供接口,建立ASP.net Web服务并调用Web Service接口和Office Web Component组件,通过JavaScript调用Web服务来实现多维数据立方体的前台展现,对进销存系统数据集进行了挖掘结构和挖掘模型的设计,采用聚类挖掘算法进行分析以辅助决策,实现了数据报表的Web发布。论文进行了进销存数据仓库底层构架的设计,实现了进销存决策支持系统的OLAM功能。系统可提供进销存多维数据立方体的查询,还可以通过挖掘算法进行挖掘分析以辅助决策。

邢国麟[3]2007年在《轧机电气设备故障诊断中数据挖掘技术的研究》文中提出随着现代科学技术的迅猛发展,钢铁加工业生产系统正朝着大型化、复杂化、系统化和自动化的方向加速发展。这些发展都对承担着繁重生产任务的轧机电气设备的安全可靠性提出了更高、更严格的要求。由于长时间不间断运行,轧机电气设备存在着很大的故障隐患,由此而导致停产,损失往往是巨大的。所以近年来,轧机电气设备的故障诊断逐渐受到人们的重视。首先,在深入学习轧机电气设备故障诊断理论的基础上,以带动轧机运转的主要电气设备——主电机为故障诊断对象,对其结构、故障类型和常用的检测技术进行了研究。分析了现有棒材生产线在线检测控制系统存在的问题,创新性地提出将基于关联规则的OLAM挖掘技术引入轧机电气设备故障诊断领域,以期望发现大量监测数据背后所隐藏的对故障诊断有积极指导意义的信息,从而提高设备安全性和经济效益。其次,研究了数据仓库技术、联机分析处理技术、数据挖掘技术和联机分析挖掘理论,并对数据挖掘中关联规则挖掘的理论和算法进行了深入的学习,选取了适宜的关联规则挖掘算法,使其与数据立方体相结合,构建了基于关联规则的OLAM挖掘模型,并结合轧机主要电气设备——电机的故障诊断对模型组成进行了研究。最后,以钢铁公司为例,鉴于监测系统中存储了大量的电机测量数据,应用基于关联规则的故障诊断方法,在Windows XP操作平台下,使用Microsoft SQL Server 2005,建立了OLAM挖掘模型。利用选取的电机数据集对提出的模型进行了训练和考核。结果表明,基于关联规则的OLAM挖掘模型产生的规则,能够为故障诊断提供辅助决策。

况湘玲[4]2004年在《主动增量式数据挖掘在联机分析挖掘模型中的应用研究》文中研究表明在经典的联机分析挖掘模型基础上,针对数据挖掘中的基础数据比较复杂的问题,完善了对于数据基础的处理,使用了工作仓库的概念,将数据仓库和其他各种形式的数据文件表示为以数据立方体为基本逻辑结构的工作仓库,并在工作仓库中添加了元数据模块和知识库模块,使得在工作仓库上进行的数据挖掘比直接在数据仓库等数据文件之上进行的操作要更加灵活,功能更加丰富,系统集成化程度更高。在联机分析挖掘系统中,系统综合了联机分析处理和数据挖掘的各自优点,因此需要在结合以后能够更加系统地、高效地、智能地处理系统事务。为了使整个系统面向决策用户,从系统的整体性、主动性和系统效率出发,实现增量数据挖掘功能。提出主动增量挖掘功能,即借鉴主动数据库中的主动机制,在通用的关系数据库和多维数据仓库中,以数据基础为中心,当增量数据满足一定条件时触发增量数据挖掘程序,自动处理增量数据,使系统中数据挖掘引擎的增量数据挖掘功能自动化,从数据基础整体解决联机分析挖掘系统的增量挖掘功能问题,提高系统的灵活性、智能化水平和系统运行及维护效率。在数据库中实现联机分析挖掘模型需要实现联机分析处理和主动增量挖掘。联机分析处理系统基于SQL Server 2000的数据仓库技术,在其虚拟多维数据集上进行多维分析。主动增量挖掘利用数据库的触发器机制调用存储过程来实现。

卞微知[5]2012年在《基于时间序列挖掘的OLAM在船舶循环保养中的研究》文中研究表明现如今竞争日益激烈的知识经济时代,知识快速有效的获取成为了企业提高自己核心竞争力的关键所在。船舶行业的信息化也在飞速发展,为了使得船舶有着最好的运行状态,船舶行业对循环保养数据尤为看重。然而现今仅用于展示数据的信息管理系统已经无法满足用户需求,由于堆积了海量的保养数据,数据分析效率以及分析能力大大受限。因此如何快速准确的挖掘出循环保养数据中潜在的知识是目前亟待解决的问题。因此本文结合船舶保养数据特征和系统的需求,提出了一种基于时间序列挖掘的OLAM系统,重点针对海量的循环保养数据进行快速的分析挖掘,论文的主要研究内容如下:(1)给出了基于时间序列挖掘的OLAM系统框架,该框架主要有表示层、逻辑层和数据层,其中逻辑层是整个系统的核心部分。(2)提出了一种带有工作仓库的改进OLAM系统,设计了工作仓库的数据结构和工作数据的置换算法,通过处于OLAM和数据仓库之间的工作仓库,减少了服务器的I/O次数,加快了系统的反应速度,很好的满足了用户的交互需求。(3)设计了基于二进制压缩的相似性搜索算法。针对时间序列数据的特点,考虑解决海量数据挖掘速度过慢不适合Web系统的问题。提出了一种能够允许用户设置压缩比率的算法,并通过二进制表示时间序列数据达到在不丢失时间序列形状的基础上加快数据挖掘速度,并结合天际线索引,达到高效处理多维时间序列数据的效果。(4)完成了基于时间序列数据挖掘的OLAM系统的设计以及主要功能的开发。重点描述了工作仓库的实现和基于二进制压缩的相似性搜索算法的实现细节。本文的研究成果已经初步应用在某船舶管理系统中。应用结果表明,分析海量数据能力大大改善,能够满足用户交互需求。分析结果准确性有较大提高,很好的辅助了船舶循环保养工作。

吕攀[6]2006年在《联机分析挖掘(OLAM)在政府统计工作中的应用研究》文中研究指明统计部门的职责包括建设统计综合数据库,以便对统计数据进行集中存储和管理,对数据资源进行采集、汇总,并做分析研究。然而,随着政府统计工作的信息化进程逐步加快,传统的统计手段已显陈旧。 统计数据库具有多维的数据结构特征,符合联机分析处理(OLAP)技术的内在要求。通过对联机分析技术构建的多维数据集进行挖掘处理,可以帮助统计工作者发现更多统计信息当中潜在的有价值的信息。因此,将联机分析技术和数据挖掘技术结合起来共同应用于经济社会统计事务之中成为本文要探索的一条新路。 本文深入研究了联机分析挖掘(OLAM)技术和方法在政府统计工作中的应用。围绕一套面向统计的OLAM实现框架,研究并建立便于进行各种分析的多维数据模型。对于基层统计数据采用一种基于OLAP原理的通用聚合算法完成汇总操作,获得各种包含统计分组和统计计量指标的多维数据集,该聚合算法不依赖任何数据库本身提供的API,完全实现了跨数据库平台,能够适应各种数据库系统环境。同时,由于统计数据具有典型的时序性特征,本文又针对生成的多维数据集进行时间序列的趋势分析,相似性挖掘以及关联规则挖掘。 论文将上述研究成果成功地应用到一套面向区县级统计局的统计信息管理应用系统中,该系统目前已在上海市闵行区统计局使用,并取得了阶段性的成果。该统计信息管理应用系统加强了对现有统计数据资源的整合,避免了各基层统计部门所掌握的丰富统计数据的浪费。作为一套灵活、规范和通用的统计数据管理平台,该系统为统计业务人员提供了友好的人机交互接口和丰富的可视化分析挖掘界面,较好的满足统计业务的需求,大大提高了统计工作的效率,为政府经济工作中制定方针政策提供了有力的依据。

王军[7]2004年在《联机分析挖掘在决策支持系统中的研究与应用》文中研究指明本文基于联机分析挖掘(OLAM)这一决策支持应用新技术在国内外的研究成果,总结了OLAM传统结构在实际应用中的不足,提出了“OLAM是OLAP和DM发展的交汇,‘M’是核心和目的”的观点;提出了基于C/S和B/S的OLAM的混合体系结构以适应DSS在网络上越来越广泛的应用,通过将分析挖掘需求分级存放在不同的OLAM引擎上,在满足了用户高效、准确的分析要求的同时,又充分考虑到了网络隐私、信息安全性等因素;通过实际项目的实施实践了本文的理论;解决了张家口煤矿机械有限公司信息化过程中的四大难题。本文首次将强大的科学计算工具Matlab作为挖掘工具引入基于Web的决策支持系统之中,首次将OLAM应用到了企业实际中,首次将OLAM引入决策支持系统之中,并取得满意的效果,受到企业的好评。

尹婷[8]2010年在《基于联机分析挖掘技术的高校招生分析系统研究》文中研究指明高职院校普遍存在录取新生到校率低的现象,这种低到校率不仅影响到高职院校的健康发展,也造成了教育资源的巨大浪费。目前,这些有关招生的知识都是以零碎的、分散的方式存在的,没有形成系统的、集中的知识体系。本文工作将OLAM技术应用到高校招生分析系统,该方法以历年考生录取信息和考生报到信息作为数据来源,采用数据挖掘技术获取招生数据中隐含的影响考生报到的相关知识。在基于OLAM的高校招生系统的实现过程中,主要围绕以下叁个方面进行研究:(1)招生数据融合关键技术的研究,详细分析了历年招生数据和报到数据的结构,采用了SSIS工具将其进行整合,形成了一套整体的数据仓库,为实现OLAM数据分析提供了数据基础。(2)招生要素筛选方法的研究,历年招生录取数据档案含有考生详细资料,利用关联规则算法挖掘融合好的数据仓库,得出其影响新生报到关键要素。(3)数据挖掘算法的研究,分析了数据挖掘中常见挖掘算法的特点和常应用环境,选择采用关联规则算法得其招生要素,后用聚类分析算法得到适用的规则,用来指导招生工作的政策制定。在实际工作中,将本系统挖掘出的知识用于指导湖南环境生物学院的2010年招生工作,结果显示,2010年考生到校率达到93.22%,相对于往年有了13%的增长。

许俊[9]2004年在《基于OLAM的数据挖掘算法的分析研究》文中研究指明当今信息爆炸的社会环境中,人们对信息处理分析的要求和关注正在与日俱增。因此,各种高效的数据信息处理工具成为当前信息技术领域的研究热点。 现有工具中,OLAF实现对多维数据的交互式查询处理;数据挖掘工具能够挖掘出隐藏于数据中的潜在有用的知识。二者都已具有了一定的发展历史和研究成果。在此基础上,学术界新提出了OLAM,它结合了二者的优势,提供在数据立方体上进行交互式多维数据挖掘的方法。 OLAM挖掘机制的核心是高效的数据挖掘算法。本文除了研究OLAM体系,主要侧重于分析研究高效的数据挖掘算法。ID3系列算法和SLIQ算法是决策树分类方法中两类比较有代表性的算法。本文在对它们进行研究的基础上,提出了算法的改进方法。这对于今后进一步完善OLAM挖掘体系具有一定的实际意义。

谢强[10]2005年在《OLAM技术研究及其在电力系统中的应用》文中研究说明随着人们认识和管理水平的提高,对客观世界的描述越来越全面,存储的数据量也越来越大。然而,现有数据库系统的开发应用无法适应人们对信息系统的高要求,无法从现有数据资源中快速、有效地获得信息的潜在联系。数据仓库技术、联机分析处理(OLAP)技术和数据挖掘技术就是这种情况下产生的。随着叁种技术的发展又出现了它们的融合:联机分析挖掘处理(OLAM)技术。联机分析挖掘处理是OLAP技术和数据挖掘技术的紧密集成,是目前数据仓库和数据挖掘领域研究的热点。本文从多个角度对联机分析挖掘处理技术进行了研究和讨论。在对已有多维多层关联规则挖掘算法研究的基础上,提出了MD-Apriori算法和ML&MD-Ada-FP算法。MD-Apriori算法是对Apriori算法的改进,在多维关联规则的挖掘上具有较好的效果。ML&MD-Ada-FP算法是对Adaptive-FP算法的改进,在原有的基础上更加强调了多层关联规则的挖掘。本文根据现有数据仓库、OLAP产品和数据挖掘算法设计了联机分析挖掘处理模型。这个模型采用基于B/S的叁层结构,涉及数据仓库的建立、OLAP引擎的设计和OLAM引擎的设计。本文还讨论了数据仓库技术和OLAM技术在电力系统中应用的现状,并将改进的多维挖掘算法和建立的模型应用到实际中。实践证明,本文改进的多维挖掘算法和建立的模型是可行的,并且取得较好的效果。

参考文献:

[1]. 联机分析挖掘处理技术(OLAM)的研究[D]. 曹蓟光. 浙江大学. 2001

[2]. 基于OLAM的进销存决策支持系统的设计与实现[D]. 王骏强. 武汉理工大学. 2008

[3]. 轧机电气设备故障诊断中数据挖掘技术的研究[D]. 邢国麟. 河北工业大学. 2007

[4]. 主动增量式数据挖掘在联机分析挖掘模型中的应用研究[D]. 况湘玲. 华中科技大学. 2004

[5]. 基于时间序列挖掘的OLAM在船舶循环保养中的研究[D]. 卞微知. 南京航空航天大学. 2012

[6]. 联机分析挖掘(OLAM)在政府统计工作中的应用研究[D]. 吕攀. 上海师范大学. 2006

[7]. 联机分析挖掘在决策支持系统中的研究与应用[D]. 王军. 辽宁工程技术大学. 2004

[8]. 基于联机分析挖掘技术的高校招生分析系统研究[D]. 尹婷. 中南大学. 2010

[9]. 基于OLAM的数据挖掘算法的分析研究[D]. 许俊. 南京理工大学. 2004

[10]. OLAM技术研究及其在电力系统中的应用[D]. 谢强. 中国科学院研究生院(沈阳计算技术研究所). 2005

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

联机分析挖掘处理技术(OLAM)的研究
下载Doc文档

猜你喜欢