水文时间序列相似性模型的研究与应用

水文时间序列相似性模型的研究与应用

吴德[1]2007年在《水文时间序列相似模式挖掘的研究与应用》文中认为水文序列相似性查找可用于雨洪过程预测、环境演变分析、水文过程规律分析等方面。最为直接的应用是回答防汛指挥中经常问到的“当前水文过程相当于历史上哪一时期的同类过程”等问题。由于水文数据数量大、类型复杂,仅使用水文学的理论和传统统计方法加以分析,往往因为计算能力、存储能力以及算法的不足等而显得无能为力。在水文领域引入数据挖掘的理论与技术,为解决水文科学研究面临的问题提供了新的思路。 论文围绕时间序列相似性查找这个主题,从时间序列的模式表示出发,讨论了时间序列的相似性度量,探索适合水文时间序列特点的相似性查找模型。主要工作包括: 1、时间序列的模式表示。 使用一种基于特征点的时间序列线性分段方法作为时间序列的模式表示。该方法简单直观,对于具有明显的周期性和短期模式波动频繁等特点的时间序列,能够有效地实现数据压缩,从而把握时间序列总体模式的变化特征。 2、时间序列的相似性度量。 在时间序列的模式表示基础上,引入了动态模式匹配距离。该距离支持时间序列的时间弯曲,其时间复杂度随着模式长度的增长而接近线性。 3、水文时间序列相似性查找模型。 设计适应水文时间序列数据特点的相似性查找模型。以该模型为基础,以基于特征点的时间序列线性分段方法作为降维手段,以动态模式匹配距离为相似性度量标准,结合水文时间序列相似性挖掘主题,实现了针对该主题的一个具体应用。 实验表明,基于特征点的时间序列线性分段方法与动态模式匹配距离相结合是解决常见的水文相似性查询问题的有效途径。

吴佳文[2]2011年在《水文时间序列数据挖掘算法研究与应用》文中研究指明水文时间序列数据挖掘是数据挖掘技术在水文领域的应用,它根据水文领域的数据特点和信息需求,选用高效的数据挖掘算法,从大量的水文数据中提取有用的信息和知识,为解决水文领域的突出问题提供新的分析方法和科学的决策支持。目前水文时间序列数据挖掘算法研究与应用还处于起步阶段,本文在对数据挖掘技术和水文时间序列数据特点深入分析的基础上,重点研究了应用数据挖掘技术进行水文时间序列模式描述、相似性度量、分类与预测等算法,并通过实测水文资料进行验证和评测。论文主要研究内容与成果如下:1.以水文时间序列局部极值点和形态特征为切入点,提出了一种基于要素特征的水文时间序列模式描述方法。解决了由于短期波动频繁、局部极值点多、数据点对应时刻不均匀等原因造成的分段描述算法不适用的难题。实验表明,这一方法简单、高效,适用性强。2.提出了一种改进动态时间扭曲距离公式——自适应分段动态时间扭曲(ASDTW)距离公式,从而构成了基于要素特征的水文时间序列相似性度量的完整算法,实验表明,该方法无论是对模式趋势的总体把握情况,还是与原始时间序列的拟合误差情况,均具有独特的优势,比较适合水文时间序列的数据特点。3.探索了利用数据挖掘算法进行水文时间序列分类问题。根据水文时间序列数据的特点,对模型树和基于实例学习算法进行改进。将支持向量回归与模型树等算法相融合,应用于等时隔的水文过程数据挖掘;从样本集提取、干扰样本处理和属性加权叁个方向,对传统的基于实例学习算法进行改进,并与自适应分段动态时间扭曲(ASDTW)距离公式相结合,建立了不等时隔的水文要素摘录系列数据挖掘模型。4.选择一水文站流域作为实验区域,将基于支持向量回归的模型树算法进行了具体应用,建立了数据挖掘预测模型,并与新安江模型进行了对比分析,它具有输入数据少、过程简单、维护工作量小等优点,且精度能够得到保证。5.针对水文数据库水文要素摘录系列,利用改进实例学习算法,从数据准备开始、经数据预处理、初始实例集、样本集选取、属性权重赋值、相似属性度量,最终建立起水文要素摘录系列数据挖掘模型,通过与传统的降雨径流经验相关法进行比较分析,水文要素摘录系列数据挖掘模型具有操作简单、计算快、维护简单、成果可靠的优点,具有实用价值。本文主要创新点:在动态扭曲(DTW)距离基础上,适应水文时间序列数据特点,提出了自适应分段动态时间扭曲(ASDTW)距离公式,并与改进的基于实例学习算法相结合,解决了水文要素摘录系列数据挖掘问题;首次将支持向量回归与模型树等算法相融合应用于逐日径流预报,丰富了水文时间序列数据挖掘技术手段。

杨敏[3]2002年在《水文时间序列相似性模型的研究与应用》文中研究表明时间序列分析正成为数据挖掘研究的热点,时间序列的相似性搜索问题是时间序列研究的重要方面。尽管关于时间序列的研究文献为数众多,但从数据挖掘的角度对时间序列相似性进行研究是近10年来才出现并逐渐发展的。目前,国内外学者和研究人员采用不同的方法围绕时间序列相似性的研究已取得了一定的成果,并在股票等领域有了一定的应用。但由于时间序列本身的复杂性,尽管这些研究各具特色,却难以形成统一而实用的方法。而且,许多方法和理论在大数据集上的实际应用有待探索。 水文数据库中存在大量时间序列数据,发现水文时间序列中蕴藏的规律,有利于掌握水文数据变化规律和趋势,在洪水预报、防洪调度方面有重要的现实意义。论文在深入研究和比较各种方法的基础上,探索适合水文数据特点的时间序列相似性搜索的方法。主要工作包括: (1)提出了适合水文时间序列数据特点的相似性模型,采用简单直观的等时间间隔序 列分段平均值技术(PAA)作为水文时间序列降维方法。 (2)结合滑动窗口和MBR方法实现子序列相似查询,在特征空间上利用MBR存储 代替点存储,并采用R~+_-树作为多维索引结构。 (3)讨论了水文时间序列预处理的相关技术。通过补全缺失数据、平滑噪声数据、消 除不一致数据等技术,得到高质量的数据。 (4)基于上述模型,设计并实现了一个水文时间序列的相似性查询实验系统,通过在 人工数据集及实际水文数据集上的实验,对模型方法的有效性和正确性加以验 证。

艾萍, 倪伟新[4]2003年在《我国水文数据挖掘技术研究的回顾与展望》文中提出水文科学研究的领域面临来自许多方面的不确定性和非确知问题。引入数据挖掘的理论与技术,结合水文科学发展的需要,充分应用以计算机技术为基础的现代信息技术,研究水文数据挖掘的理论、技术和方法,为解决水文科学研究面临的问题提供了新的思路。当前,水文数据挖掘研究还处于起步阶段,研究内容多集中在水文数据的单项和局部数据的模拟与处理方面,对基于水文数据库的全局性多因素数据挖掘涉及很少,在数据挖掘技术与水文数据适应性方面所进行的研究也还很不够。为了充分发挥数据挖掘发现知识的作用,需要在水文主题数据库和多维数据立方、水文序列的分类、聚类和关联规则挖掘技术及优化算法以及水文序列的相似性、周期性和其它序列模式挖掘方面开展进一步研究,并向形成水文数据挖掘软件及数据平台方向发展。

纪波林[5]2004年在《水文时间序列基本算法组件及其柔性集成》文中认为由于水文时间序列数据挖掘呈现多种算法动态组合的特点,如果针对某类算法开发出一个单一功能的系统,扩展性不好,很难进行系统的升级和移植,维护费用高,无法组合利用其它的挖掘算法。为此,水利领域迫切需要能有一个柔性的、扩展性强、可移植、易维护且易于使用的数据挖掘柔性集成系统,来为水文时间序列数据的挖掘工作服务。 经过对水文时间序列数据挖掘过程的分析,可以得到,虽然其中的业务逻辑构成比较复杂,但其基本成份却有许多相同或相似的部分,所以,一般可以将时间序列相似性搜索的过程分为数据预处理、特征模式挖掘和相似性度量等几个连续的阶段,而每个阶段里都有许多完成相同功能的基本算法。如果为这些基本算法分别都开发出一套单独的系统,显然是不合理的。为此,本文提出了一个基于J2EE平台的面向水利领域的时间序列基本算法组件柔性集成技术方案,对该方案的合理性和可行性进行认真的分析研究,在此基础上设计了一个水文时间序列基本算法组件柔性集成系统,实现了基本算法组件的柔性集成目标,验证了该方案的正确性和可靠性。 本文主要的工作如下: (1) 对水文时间序列数据挖掘相关基本算法进行了分析研究,包括数据预处理、特征模式挖掘和相似性度量等典型的基本算法。 (2) 参照EJB2.0组件规范,提出了基本算法组件抽象类接口和组件接口规范,设计出算法组件管理器,描述组件柔性集成的具体机制。 (3) 根据水利领域的特点,设计出了一个水文时间序列基本算法组件柔性集成框架,并分析其结构及功能特点。 (4) 基于J2EE平台,综合上述组件技术及集成框架,设计出了一个面向水利领域的水文时间序列算法基本组件柔性集成系统,对柔性集成机制和框架的有效性与正确性进行了验证。

曾聪旖[6]2012年在《水量调度决策支持系统中的数据挖掘应用研究》文中指出在中国,旱涝一直是常见的自然灾害。尤其是在南方大部分地区,每当进入汛期,强降雨会导致多条多条河流发生较大或特大洪水,使当地群众生命和财产受到巨大威胁;但进入旱期,大面积的河流干涸,使当地的农作物和人民基本生活得不到保证,给当地的经济带来重大损失。流域水量的实时调度也越来越重要。本课题在以上的背景下,以江西省内抚河流域为参考对象,逐步引出并阐述解决当地旱涝的方法,智能的水量调度系统。流域水量调度是在既定的水资源管理体制和分配方式下,本着公平、高效和可持续发展的原则,将流域内有限的水资源实时分配到各用水单元,达到生活、生产和生态等各种用水需求的有序满足。首先,本文概括介绍了江西抚河流域的水文环境和水量调度系统的历史和现状,在深入调查和分析抚河水量调度现状的基础上,分析了目前抚河流域水文情况存在的供水与需求的主要问题。得出先进的水量调度系统可以对多目标优化,并能实现随机,动态和智能化过程控制,从而实现可持续发展,该调度系统可以很好的解决抚河流域旱涝问题。接着,确定水量调度系统的优越性后,以抚河流域的水文环境为对象,采集有效的数据。结合目前抚河水量调度需要,根据水库调度理论和系统科学的理论建立满足水量调度辅助决策系统模型。将该系统以功能为单位划分为5类模型:来水预报模型;需水模型;方案匹配模型;水量分配模型。随着确定好整个系统框架,对不同的模型,逐个进行分析。为了能通过数据来解决非线性问题,并且能最大精度的模拟现实模型,本文决定采用时间序列的方法,来度量水库调度方案的相似性。为了最大限度利用数据库中的历史数据,建立了方案匹配模型,从方案库中查找到相似度最高的方案,为方案编制提供参考方案。最后以抚河流域一段时间的水文环境为例,通过时间序列相似性,对数据库中的数据进行度量,并根据度量值,数据库中寻找出最适合当前条件的水库调度方法。本论文主要研究了数据分析在水利方面的应用。通过数据分析,搭建了智能的水量调度系统。通过该系统可以有效的缓解抚河流域当地的旱涝自然灾害。并成功的开发了在线江西省抚河流域水量调度辅助决策平台,为科研人员更好的管理和解决当地的水文问题。

欧阳如琳, 任立良, 周成虎, 程维明[7]2009年在《数据挖掘在水文时间序列中的应用研究与进展》文中进行了进一步梳理引入时间序列的数据挖掘理论与技术,在总结国内外数据挖掘在水文时间序列研究进展的基础上,进一步探讨了水文时间序列数据挖掘技术及应用,并展望了水文时间序列数据挖掘在分类聚类、相似性搜索、模式发现和趋势周期分析的研究方向,力求从理论框架上完善水文时间序列的数据挖掘研究。

范里[8]2007年在《柔性集成技术研究及其在水文数据挖掘中的应用》文中认为数据分析类系统存在着因用户需求多变导致的核心功能单元变化频繁的特点,使这类系统的开发、应用和维护比较复杂,重复开发现象普遍。因此,迫切需要研究具有一定柔性的系统框架来为分析类系统的集成服务。本文以数据挖掘等分析类系统为研究对象,在对柔性集成相关理论和技术进行了研究和分析(包括EAI集成模式、组件技术、包装器技术等)的基础上,针对分析类系统的柔性集成需求,给出了适合这类系统开发与应用的柔性集成概念,并设计了一种柔性集成框架,对框架各层的功能机制进行了详细的分析和阐述。本文主要完成了以下的工作:1.讨论当前分析类系统存在的柔性集成需求以及在集成中存在的问题,对柔性集成的相关理论和技术作了研究,分析了几种柔性的定义,以及与柔性集成相关的EAI模型、组件技术、包装器技术。在此基础上给出了适合分析类系统开发应用的柔性集成概念。2.在给定的柔性集成概念下,探讨了相应的柔性集成机制,设计了一个可对模型异构的组件进行包装的包装器,以及按照用户需求定制流程的集成框架方案。重点研究了体现柔性集成的组件包装器模型以及可定制流程的流程管理机制,并简要分析了框架的其他功能模块。3.在柔性集成框架方案基础上,结合水文数据挖掘的领域特点,进行了一个水文时间序列数据挖掘系统柔性集成的实验,对柔性集成机制和框架的可用性性进行了验证。

王沙燚[9]2008年在《灾害系统与灾变动力学研究方法探索》文中研究说明灾害系统是一个极其复杂的巨系统,它的发生、演化都具有相当复杂的特征,如有序化、突跳性、不可逆性、长期不可预测性以及模糊性、灰色特性等,这些特征都是传统的牛顿力学所不能描述的。然而,耗散结构、协同、突变论、混沌理论等非线性理论和复杂性科学的出现,使得从总体上研究系统灾变的非线性动力学发生、演化过程及控制因素成为可能。以耗散结构、协同、突变论、混沌理论的非线性理论强调了系统发生、演化的方向,亦即系统演化的不可逆性。开放的灾害系统吸收负熵流,系统的各个组成部分之间存在非线性作用,并在涨落作用下通过自组织和突变形成新的有序的结构—耗散结构。本文从耗散结构和自组织的角度研究整理了实际工程中的滑坡、围岩系统演化、水土流失、生物湮灭等灾变过程的发生、演化,总结了复杂性科学在煤矿安全管理中的指导作用,并介绍了耗散理论在社会经济、证券市场、气象、水文循环中的应用。突变理论是研究系统的状态随外界控制参数连续改变而发生不连续变化的数学理论,是研究灾变系统突跳特性的重要工具。本文介绍了尖点突变模型在系统危险性评价、预测和采矿、水利工程中灾害分析的应用,以及在隧道、地下硐室施工中防灾的指导作用;介绍了含软弱夹层岩体边坡失稳问题和建筑火灾的燕尾突变模型的应用。针对灾害系统的模糊性和灰色特性,本文介绍了利用模糊理论和灰色预测理论,为灾害系统的分级、综合评价、聚类分析和灾害的预测等问题整理出了较系统的解决办法。此外,灾害链理论是近几年才发展起来的灾害理论,本文介绍了基于灾害链式发生机理的防灾减灾新方法的当前有关成果。信息熵是热力学熵的推广,是系统混乱程度的测度。灾害系统的发生就是降维、有序化的过程,因此,用信息熵的演化来描述灾害系统的发生、演化特征是可行的。本文在修正一些既有灾害熵表述的不足之处基础上,构造灾变信息熵基本量的特征,并提出了基于损伤张量第一不变量构造损伤信息熵的观念。介绍了信息熵应用于系统的安全评价以及水文循环等实际问题中。混沌论是上世纪60年代才建立起来的科学,混沌是指在确定性系统中出现的无规则性或不规则性,灾害的混沌特征主要表现在短期可预测而长期不可预测的特征。用Lyapunov指数、Kolmogorov熵、分数维等研究、预测灾害系统的演化,以达到防灾的目的。本文介绍了滑坡、基坑的非线性混沌预测以及基于混沌理论的冲击地压预测的具体方法。本文总结大量的灾害研究的资料,并以此为基础探索、总结了灾害系统的非线性与灾变动力学的研究内容和方法,从大系统角度讨论了如何研究灾害孕育、演化、发生、传播、影响,评定、预测和防止的普遍规律和方法。提出了建立灾害系统和灾变动力学的思想和理论框架体系,为灾害研究以及防灾减灾提供了新思路。

赵雪花[10]2005年在《河川径流演变规律的挖掘与识别技术》文中研究指明河川径流作为水循环的重要环节,是水资源开发利用和科学管理重要的依据。然而河川径流的形成越来越多地受到人类活动和全球气候变化的影响,因此充分挖掘和识别河川径流的演变规律具有十分重要的理论价值和现实意义。 论文结合国家自然科学基金项目,以黄河上游兰州以上流域为研究对象,较为全面地分析了年径流量和各种影响因素之间的关系;提出了对河川径流序列进行挖掘与识别的思路和方法,从相似性、周期性和序列模式叁方面对河川径流序列进行了挖掘。从而为河川径流演变规律挖掘提供理论基础。论文的主要研究内容和取得的成果有以下几个方面: (1)河川径流演变的影响因素相互作用、相互耦合,其作用机理十分复杂。受到当前科学技术发展程度的限制,单纯对某个或某几个影响因素进行分析往往具有一定的片面性,很难从整体上对其进行把握;单纯从定性的层面上讨论又很难满足实际应用的需要。本文针对以上问题对各种影响因素进行考察,分析各因素之间的影响与联系,探讨多种因素的综合效应,并对某些因素的影响进行了定量分析。 (2)首次将蚁群算法引入径流规律分析计算领域,并建立了基于蚁群算法的聚类分析模型,对多种径流影响因素进行综合聚类分析,通过相似性搜索对径流序列进行深入挖掘。 (3)运用极大熵谱分析、Hilben-Huang谱对径流时间序列进行了周期分析,指出了黄河上游径流演变可能存在的几个周期及其成因分析。Hilben-Huang变换是一种

参考文献:

[1]. 水文时间序列相似模式挖掘的研究与应用[D]. 吴德. 河海大学. 2007

[2]. 水文时间序列数据挖掘算法研究与应用[D]. 吴佳文. 沈阳农业大学. 2011

[3]. 水文时间序列相似性模型的研究与应用[D]. 杨敏. 河海大学. 2002

[4]. 我国水文数据挖掘技术研究的回顾与展望[J]. 艾萍, 倪伟新. 计算机工程与应用. 2003

[5]. 水文时间序列基本算法组件及其柔性集成[D]. 纪波林. 河海大学. 2004

[6]. 水量调度决策支持系统中的数据挖掘应用研究[D]. 曾聪旖. 东华大学. 2012

[7]. 数据挖掘在水文时间序列中的应用研究与进展[J]. 欧阳如琳, 任立良, 周成虎, 程维明. 水电能源科学. 2009

[8]. 柔性集成技术研究及其在水文数据挖掘中的应用[D]. 范里. 河海大学. 2007

[9]. 灾害系统与灾变动力学研究方法探索[D]. 王沙燚. 浙江大学. 2008

[10]. 河川径流演变规律的挖掘与识别技术[D]. 赵雪花. 西安理工大学. 2005

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

水文时间序列相似性模型的研究与应用
下载Doc文档

猜你喜欢