一、实时数据仓库体系架构的研究（论文文献综述）
唐浩[1]（2021）在《考虑轨迹交叉影响的铁路物流基地作业安全防护方法研究》文中提出随着我国产业结构调整、居民消费水平升级、人口老龄化日益加剧、用工成本逐年递增等发展态势日益明显,社会物流园区纷纷加快智能物流技术研发与应用,将物联网、人工智能等技术集成运用在园区安防提高和效率提升,创新构建无人化立体化智能安防体系。近年来,铁路以物流基地为载体,持续深化货运增量行动,实现连续四年货运量持续增长,在推动国家物流枢纽建设、促进地方经济增长、助力绿色低碳发展等方面发挥了重要作用。但铁路物流基地沿用传统人眼盯控、经验决策的安防作业模式,难以适应铁路货运持续增量的需要和高质量发展的要求。为了提升铁路物流基地的作业安防水平,主要开展以下工作。基于铁路物流基地作业安防发展现状,系统分析了铁路物流基地各作业环节安全事故与问题隐患的成因,得出碰撞冲突是作业安防突出问题。在解析铁路物流基地整车与集装箱作业流程的基础上,研究提出包括3大环节共15个细分场景的风险项点及对应安防需求。借鉴社会物流企业作业安防体系建设的共性特征与发展经验,引入轨迹交叉论,结合铁路物流基地作业场景,提出作业安防体系的构建思路,运用需求传递和聚类方法研究提出了铁路物流基地作业安全防护技术体系架构。围绕铁路物流基地站内走行环节车辆交通拥堵、绕行、碰撞问题,构建“大门-汽车衡-仓库”为主体的车辆路径优化模型;围绕库内叉车、货运员与设施的碰撞冲突问题,构建考虑轨迹交叉影响的多叉车库内搬运防撞模型算法,设计货运员与叉车的冲突解决方案和派发任务叉车路径规划优先级排序。本文以构建轨迹交叉影响下的铁路物流基地作业安防体系为目标,重点研究铁路物流基地作业安防技术体系、站内走行车辆路径优化与库内叉车搬运防撞方法,为铁路物流基地作业安防能力建设提供理论支撑和应用参考。图51幅,表3个,参考文献82篇。
彭建[2]（2021）在《铜板带生产企业大数据平台搭建及工艺参数优化研究》文中研究说明我国目前已是世界最大的铜材生产国,但仍不是铜材生产强国,低端产能相对过剩,而高、精、尖等高端铜材产品部分仍依赖进口,难以满足我国各行业对高端铜材的需求。此外,我国数量众多的中小型铜加工企业的产品质量水平及成品率普遍较低,这也是制约我国铜加工行业发展的突出问题,而究其原因,铜加工企业产品质量问题主要是由生产工艺技术上管理粗放造成的。近年来,为实现提质增效的目标,在国家及地方政府的政策鼓励下,国内铜加工企业纷纷开展智能化改造工作,而工业大数据在其中的应用成为铜加工企业智能化改造的突出障碍。本论文研究通过对江西某铜板带生产企业的生产工艺参数及产品质量检测数据等相关工业数据的采集,构建工业大数据平台对所采集数据进行数据清洗、数据存储、数据分析等系列工作,实现该企业部分生产工艺参数的智能优化,为铜板带乃至于其他铜材生产企业基于工业大数据的生产工艺参数优化做了有益的探索,并奠定了一定的基础。本论文主要研究工作为:（1）对铜板带工艺参数优化和大数据技术应用的研究现状进行梳理分析,提出利用大数据技术实现铜板带生产工艺优化的可行性和必要性;（2）对工业大数据平台的功能及结构进行了分析和研究,分析对比Hadoop体系主流架构的优势和适用场景,借鉴各架构的优势,以数据采集、数据存储和数据分析为主线,提出了面向中小企业的轻量化工业大数据平台架构,并在此基础上进行了ETL数据预处理及装载、Hive数据仓库、Spark大数据分析框架等基于Hadoop的工业大数据平台的技术细节设计;（3）部署实施了以Flume数据采集、Hive数据仓库数据存储管理及Spark数据分析框架为核心模块的高可用铜板带工业大数据平台,并对平台进行了稳定性、I/O吞吐量等性能测试;（4）应用工业大数据平台对江西某铜板带企业的生产工艺参数、产品质量等数据进行采集、预处理和存储。基于平台利用Spark机器学习建立了工艺参数多元线性回归模型,以压下率、铜含量为自变量,分别与延伸率、硬度拟合得出数学表达式,拟合度R2均大于0.9,表明该模型对多元线性回归具有良好的拟合能力。以硬度、延伸率为优化目标,构造了多目标优化数学模型,并利用带精英策略的非支配排序遗传算法（NSGA-II）对其进行求解,结果表明,该算法求解多目标能够很好的逼近Pareto前沿,且产生的非支配解集具有很好的分布特性。
陈卓然[3]（2021）在《基于Hadoop的票务分析系统设计与实现》文中研究指明近几年,我国高度重视大数据对于社会经济发展的地位和作用,充足的政策支撑使得大数据技术与应用得到了显着的发展。与此同时,在线票务得益于移动互联网的普及,业务规模稳定增长,对产生的海量数据进行二次开发分析,为决策提供数据支撑,激发商业模式创新,催生新的业务增长点,最终占据更多的市场份额,成为各大互联网公司的重要驱动力。本文以某公司实际项目为背景,设计并实现了基于Hadoop的票务分析系统。该系统为在线票务各业务线提供了全流程的分析能力,有效支撑日常运营与决策。本文按照软件工程的思路,首先叙述票务分析系统的背景和重要意义,针对分析工作面对的多维业务、异构海量数据以及不同时效性要求,给出以Hadoop生态为主体的技术解决方案。其次,结合角色和用例图,给出了系统的功能性需求和非功能性需求,包括用户行为日志与票务业务数据的数据采集功能、首页驾驶舱、电影票、演出票、广告和会员营销的实时与离线分析功能、结果可视化展示功能以及用户管理功能。随后通过总体设计,分层确定系统架构,自底向上划分为数据存储层、数据采集层、数据分析层和Web服务层。数据存储层以HDFS、MySQL和Redis完成系统的数据存储与疏通,数据采集层包含用户行为日志数据采集和票务业务MySQL数据采集,数据分析层使用Spark进行票务指标实时与离线计算,Web服务层作为系统访问交互界面,进行结果可视化展示,并提供用户管理的能力。针对票务多维度的业务,设计了五层的数据仓库,提高数据治理能力。最后对票务分析系统进行了详细的设计,确定各功能时序图、流程图、数据模型关系并进行编码工作,完成票务分析系统的建设。本论文最终完成了票务分析系统的全部工作,其独立运行为业务人员提供了全流程的业务数据管理与直观的多维分析能力,有效提高了工作效率,是票务业务实施和大文娱体系建设的得力保障。
周开欣[4]（2021）在《智慧水利在江都水利枢纽的应用案例》文中研究指明智慧水利的应用是智慧社会建设的一个环节,2018年中央一号文件下达了有关智慧农业林业水利工程实施的相关内容,主要用于移动互联网、物联网、和人工智能等多项全新的信息数据,让水利对象和项目全面互联、认知度、泛在服务与智能物联得以推动,致使水治理模式和能力现代化得到质的提升。南水北调东线起源是江都水利枢纽,工程地位特殊,作用巨大,效益显着,特色鲜明,在多方面具有不可复制的唯一性。在智慧水利建设方面也有自己的特色。本文系统回顾了江都水利枢纽智慧水利枢纽建设现状,通过三层架构制定智慧水利的发展方向,本文还就江都水利枢纽自身的特点将智慧水利建设落地生根,形成智能泵站、智能水闸、智能园区等应用。主要研究成果有:（1）构建江都水利枢纽的总体架构及布局,主要采用了物联网、云计算、Web服务、移动互联等技术进行建设。主要涵盖智能感知体系、智慧云服务中心、智慧应用系统三部分。（2）依托现代化技术手段,建成泵站智能感知体系,健全保障支撑环境,推动泵站综合业务精细化管理,提升科学化决策调度管理水平,最终形成“更透彻的感知、更精准的研判、更科学智能的控制管理、更形象的展示”的智能泵站管理体系,推动“智慧水利”的发展。根据现场实际情况,展开江都水利枢纽泵站群优化调度研究。（3）采用自动控制技术、传感器技术、互联网技术和移动通讯工程等先进技术,建设智能化闸门,高度聚集的职掌及管理得以实现。能及时精准开关闸,实时预警保护,实现经济高效、安全运行,减少人员投入。研发智能感潮系统,减少管理人员工作强度。
方文都[5]（2021）在《基于Spark的物品推荐系统的设计与实现》文中研究表明随着信息技术的发展,数据总量爆炸式地增长,互联网逐渐进入大数据时代。与此同时,如何在海量数据中快速有效地找到用户所需要的信息也越来越困难。推荐系统是一类信息检索系统,可以有效地解决这个问题,对于用户不能很好地表达自身的信息需求,推荐系统通过分析用户的动态和静态数据,智能、主动地过滤信息,从而向用户展示他们潜在需要的东西。这一特性使得推荐系统在电子商务、社交网络等领域有着重要的作用。近些年技术的研究和发展不断推动大数据处理框架的出现和落地,目前业界使用比较成熟的框架包括Hadoop、Spark和Flink。其中Spark基于内存的计算使其在迭代计算中脱颖而出,成为大数据计算的研究热点。Spark具有良好的分布式特性和容错性,可以显着地提高推荐系统的性能。本文主要研究了基于Spark内存计算模型的物品推荐系统的设计和实现。本文的主要研究内容如下:（1）分析并实现了目前业界主要使用的几种推荐算法,详细分析了其原理和特点。算法部分包括基于物品的协同过滤算法,基于矩阵分解的推荐算法和基于ALS的推荐算法。（2）设计一个数据仓库,对原始日志数据进行清洗和分层,实现系统对数据更简洁高效地访问。该数据仓库使得系统的架构更清晰,有效提高系统的计算效率。（3）基于Spark内存计算模型实现了三组推荐算法,结合Flink流处理框架的实时优势,实现了用户行为日志的在线解析功能,提高了系统的实时性。（4）根据上文实现了离线推荐和实时推荐的组合推荐服务功能,提高了系统的完整性和实用性。并通过前端框架Vue实现电影系统的前端页面展示。最后简单实现了用于算法版本选择的ABTest测试系统。本系统从整体上构建了一个从用户交互、后端构建、模型调度的一体化电影推荐系统。
周攀[6]（2021）在《物流系统数据实时集成平台设计与实现》文中提出随着互联网技术的高速进步,传统工业领域应用互联网技术的情况越来越普遍。工业系统中数据的重要性不言而喻,而传统行业中的企业在数据管理方面能力的欠缺以及数据管理工具的缺失,加之数据来源多样化且异构性高,导致大量工业数据或是质量不高、或是同一企业分布在不同业务系统中的数据之间形成信息孤岛等等,使得数据中的信息得不到有效利用,这其中蕴藏的大量宝贵财富被浪费。针对上述场景,如何高效地集成及清洗多源异构数据,将来自不同数据源以及不同结构的数据抽取并按统一的结构存储是工业界数据管理所面对并需要解决的问题。本文研究并设计了一款物流系统数据实时集成平台,该平台基于Kettle开发,采用B/S架构进行改造,提高了平台灵活性,同时为用户省去下载安装等步骤所花费的时间。结合基于变动数据捕获技术和元数据驱动实现实时抽取功能,弥补Kettle在实时性方面的不足和欠缺。本平台支持对多种关系型数据库、非关系型数据库以及文件存储形式的数据集成及清洗。除此之外,本平台提供了便利的清洗、集成作业设计界面以及完善的数据集成作业调度功能,以及完备的权限认证能力,提高了系统和数据安全性。最后,本文还实现了一套客户数据分析系统,数据来源为使用物流系统数据实时集成平台所集成的某物流公司业务数据,该系统前端基于Echarts图表库开发,为数据分析提供了便利。本文从软件工程研发流程的角度出发,首先将物流系统数据实时集成平台划分为实时抽取模块、任务管理模块、权限认证模块、客户分析系统等子模块和子系统。合理地对各模块进行需求分析以及功能介绍,设计各模块的具体功能、属性以及逻辑。随后对系统整体架构进行设计,包括其软件架构、模块结构等。接着介绍了各功能模块的具体实现过程和功能流程以及部分核心功能实现原理,并对Kettle进行B/S架构改造,摒弃其原有的C/S架构,提高其使用灵活度。最后对物流系统数据实时集成平台和客户分析系统进行了性能测试和功能测试,验证了平台的可用性和并发能力。
李大洲[7]（2020）在《基于大数据的用户行为日志系统设计与实现》文中指出针对用户行为日志,提出基于大数据的用户行为日志系统设计方案。该方案在公司现有框架的基础上,对用户行为日志收集系统进行了重组,并提出了高可靠性和高可用的设计要求。采用Flume框架实时收集用户行为日志数据,通过编写ETL拦截器、Type拦截器,实现了对日志数据的过滤。通过优化参数配置,实现了多线程日志收集,提高了日志收集系统的可靠性和实用性。采用Kafka框架实时传输日志,通过对生产者端、Broker端和消费者端的优化,实现了消息传输的精确一次语义,使系统的消息传输与存储更加稳定和高效。采用Hive搭建数据仓库分层搭建数据仓库,通过分析用户主题的相关指标,为系统决策提供支持。实现数据可视化模块,为系统开发人员提供了方便且准确的可视化服务。
林木[8]（2020）在《企业数据仓库平台的技术架构研究与设计》文中进行了进一步梳理在大数据时代的背景之下,数据已经成为企业最重要的资产之一,数据的充分整合和有效利用逐步成为现代企业管理的重要组成部分。因此。如何以更灵活、更前沿的技术架构来建设数据仓库平台已成为企业信息管理部门的关键性工作。通过对数据仓库平台技术架构演化的历程进行研究,结合实际场景下的数据管理需求,提出一种企业级数据仓库平台的技术架构设计,为企业内数据的采集、存储、计算、分析挖掘、数据共享等过程提供科学有效的规划,促进信息化对企业管理变革和业务创新的引领。
邵高峰,刘全超,何中华,陈昉[9]（2020）在《民用建筑“四节一环保”实时数据仓库架构研究》文中提出针对民用建筑"四节一环保"大数据标准体系尚未建立,不能满足低延时的业务数据需求,数据量大且多源异构数据特点,数据分析不能够及时全面等突出问题,本文重点阐述了民用建筑"四节一环保"指标体系和满足指标计算需求的实时数据仓库架构建设,以及实时数据仓库在"四节一环保"即席查询、实况分析、监测预警等业务方面的应用。该实时数据仓库架构在"民用建筑‘四节一环保’大数据及数据获取机制构建"项目平台中得到了验证和应用,达到了较好的应用效果。
张朋[10]（2020）在《基于ERP的证券行业财务会计信息系统构建研究 ——以D证券公司为例》文中研究指明2020年注定是不平凡的一年,随着我国资本市场的不断发展和完善,国家决定在今年4月取消外资券商准入限制,引入市场竞争机制促进行业发展,同时加快打造航母级券商战略,证券业进入一个崭新的发展阶段。许多大型券商开始对外进行扩张,并购重组案例增多,但财务成本过高、缺乏管控手段等问题随之出现,中小型券商在市场份额被蚕食情况下如何参与竞争,为应对这些现实问题,券商开始探索财务管理创新。当前正好处在第四次工业革命起步阶段,自动化、智能化产业迅猛发展,为这种创新提供了可能,券商要想在激烈的国内外竞争中占得先机,就需要尽早实现信息化管理,将最先进信息技术运用到企业财务管理中,推进财务会计信息系统建设和完善,为企业生存发展保驾护航。本文以ERP、业务流程再造、系统集成论等相关理论为指导,将财务会计信息系统构建相关问题作为研究对象,采用理论与实际案例结合的研究方式,通过实地调研对证券行业会计信息系统的应用现状及存在问题进行了分析,提出以战略导向性、数据完整性、开放性、成本效益性为原则,基于ERP构建财务会计信息系统的整体框架和集成解决方案,将系统规划为传统会计、管理会计、分析决策、数据仓库四个部分,又对各系统包含的业务子系统构建进行详细深入研究。并最终选取笔者所在的D证券公司作为应用案例,介绍该公司业务流程再造和系统构建的全过程,对系统建设过程中可能遇到的主要风险点进行总结,对系统取得的应用效果量化分析,最后归纳了影响系统建设成败的五大关键因素。本文基于ERP构建的财务会计信息系统可协助企业开展战略规划、资源整合、成本管理、风险管控、绩效考核等各项财务管理活动,有效解决企业经营与战略脱节、缺乏管控抓手、业务与财务失联、管理会计功能缺失、财务数据质量差、利用效率低等问题,丰富了证券乃至整个会计行业在会计信息系统构建的理论研究。希望通过本研究,对证券同行在财务会计信息系统构建方面提供一些有益的借鉴和启示。
二、实时数据仓库体系架构的研究（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、实时数据仓库体系架构的研究（论文提纲范文）
（1）考虑轨迹交叉影响的铁路物流基地作业安全防护方法研究（论文提纲范文）
| 致谢 |
| 摘要 |
| ABSTRACT |
| 1 引言 |
| 1.1 研究背景及意义 |
| 1.2 研究对象、目标和方法 |
| 1.3 研究内容与技术路线 |
| 2 文献综述及理论基础 |
| 2.1 文献综述 |
| 2.1.1 货运场站安全管理优化方面 |
| 2.1.2 货运作业安全防护技术方面 |
| 2.1.3 货运作业安全防护装备方面 |
| 2.2 理论基础 |
| 2.2.1 轨迹交叉论 |
| 2.2.2 铁路物流需求传递理论 |
| 2.2.3 A*算法 |
| 2.2.4 拓扑-栅格地图 |
| 2.3 本章小结 |
| 3 铁路物流基地作业安防现状与需求分析 |
| 3.1 铁路物流基地作业安防发展现状 |
| 3.1.1 铁路货运场站发展概况分析 |
| 3.1.2 铁路货运场站安全事故分析 |
| 3.1.3 铁路货运场站问题隐患分析 |
| 3.2 铁路物流基地作业安防体系建设不足 |
| 3.3 铁路物流基地作业安防风险特征及需求分析 |
| 3.3.1 铁路物流基地作业流程分析 |
| 3.3.2 需求受理安防风险及需求 |
| 3.3.3 装车承运安防风险及需求 |
| 3.3.4 卸车交付安防风险及需求 |
| 3.4 本章小结 |
| 4 考虑轨迹交叉影响的铁路物流基地作业安防体系 |
| 4.1 社会物流园区安防发展现状 |
| 4.1.1 社会物流园区安防发展现状分析 |
| 4.1.2 社会物流园区安防发展经验借鉴 |
| 4.2 考虑轨迹交叉影响的作业安防体系研究 |
| 4.2.1 概念界定 |
| 4.2.2 构建思路 |
| 4.3 考虑轨迹交叉影响的物流基地作业安防体系 |
| 4.3.1 安防技术划分模型 |
| 4.3.2 安防技术选择聚类 |
| 4.3.3 安防技术体系架构 |
| 4.3.4 安防技术运用分析 |
| 4.4 本章小结 |
| 5 基于典型场景的铁路物流基地作业安防方法研究 |
| 5.1 考虑站内轨迹交叉影响的车辆走行路径优化 |
| 5.1.1 问题描述 |
| 5.1.2 模型构建 |
| 5.1.3 算例研究 |
| 5.2 考虑库内轨迹交叉影响的装卸搬运防撞方法 |
| 5.2.1 问题描述 |
| 5.2.2 冲突分析 |
| 5.2.3 模型构建 |
| 5.2.4 算例研究 |
| 5.3 本章小结 |
| 6 结论与展望 |
| 6.1 研究结论 |
| 6.2 研究展望 |
| 参考文献 |
| 作者简历及攻读硕士学位期间取得的科研成果 |
| 学位论文数据集 |
（2）铜板带生产企业大数据平台搭建及工艺参数优化研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 铜板带生产工艺参数优化研究现状 |
| 1.2.1 生产工艺优化研究现状 |
| 1.2.2 算法优化工艺参数研究现状 |
| 1.3 大数据技术研究现状 |
| 1.3.1 大数据定义 |
| 1.3.2 大数据技术应用研究现状 |
| 1.3.3 大数据技术算法研究现状 |
| 1.4 课题研究的内容、意义及技术路线 |
| 1.4.1 研究内容 |
| 1.4.2 研究意义 |
| 1.4.3 研究技术路线图 |
| 第二章 相关理论与技术基础 |
| 2.1 铜板带生产工艺简介 |
| 2.2 Hadoop技术框架 |
| 2.2.1 YARN |
| 2.2.2 HDFS |
| 2.2.3 Map Reduce |
| 2.3 其他相关技术 |
| 2.3.1 Flume |
| 2.3.2 Hive |
| 2.3.3 Zookeeper |
| 第三章 铜板带企业工业大数据平台架构研究 |
| 3.1 总体需求分析 |
| 3.1.1 Hadoop集群平台功能需求 |
| 3.1.2 Hadoop集群平台性能需求 |
| 3.2 铜板带工业大数据平台架构设计 |
| 3.2.1 平台主流架构分析 |
| 3.2.2 平台架构设计 |
| 3.2.2.1 数据采集层 |
| 3.2.2.2 数据清洗层 |
| 3.2.2.3 数据整合与存储层 |
| 3.2.2.4 数据分析层 |
| 3.2.2.5 数据服务与应用层 |
| 第四章 铜板带工业大数据平台相关应用设计与实现 |
| 4.1 大数据平台实现与测试 |
| 4.1.1 Hadoop集群实施部署 |
| 4.1.2 Hadoop集群平台性能测试 |
| 4.2 Hive数据仓库 |
| 4.2.1 数据仓库模型构建方法 |
| 4.2.2 基于Hive的数据仓库存储结构设计 |
| 4.2.3 Hive数据仓库分层结构设计 |
| 4.2.4 Hive数据仓库ETL的实现过程 |
| 4.2.5 基于Hive的铜板带工艺质量数据仓库工作流程 |
| 4.2.6 Hive数据仓库实施部署 |
| 4.2.7 Hive数据仓库查询性能测试 |
| 4.3 Flume数据采集 |
| 4.3.1 Flume数据采集模型 |
| 4.3.2 Flume数据采集部署实施 |
| 4.4 Spark集群 |
| 4.4.1 Spark集群架构 |
| 4.4.2 Spark集群部署 |
| 第五章 铜板带生产工艺参数优化研究 |
| 5.1 数据介绍 |
| 5.2 数据预处理 |
| 5.2.1 数据噪声处理 |
| 5.2.2 数据归一标准化 |
| 5.3 铜板带生产工艺参数与产品性能相关性分析 |
| 5.3.1 数据样本及其分布 |
| 5.3.2 相关性分析之多元线性回归模型建立 |
| 5.3.3 模型性能评价指标 |
| 5.3.4 模型参数设定调优 |
| 5.3.5 结果与分析 |
| 5.4 非支配排序遗传算法优化铜板带工艺参数 |
| 5.4.1 多目标优化基本原理 |
| 5.4.2 铜板带工艺参数多目标数学模型 |
| 5.4.3 模型求解 |
| 5.4.4 Pareto解拦截 |
| 5.4.5 参数设定 |
| 5.4.6 结果及分析 |
| 第六章 结论与展望 |
| 6.1 结论 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间的研究成果 |
（3）基于Hadoop的票务分析系统设计与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 引言 |
| 1.1 论文背景与意义 |
| 1.2 国内外相关应用现状 |
| 1.3 课题主要研究内容 |
| 1.4 论文结构 |
| 第二章 票务分析系统关键技术介绍 |
| 2.1 Hadoop及相关技术 |
| 2.1.1 Hadoop |
| 2.1.2 Flume |
| 2.1.3 Kafka |
| 2.1.4 Hive |
| 2.2 Spark技术 |
| 2.3 前后端开发技术 |
| 2.3.1 SpringBoot技术 |
| 2.3.2 Vue技术 |
| 2.3.3 v-charts组件 |
| 2.4 本章小节 |
| 第三章 票务分析系统的需求分析 |
| 3.1 需求概述 |
| 3.2 功能性需求分析 |
| 3.2.1 数据采集功能 |
| 3.2.2 数据分析功能 |
| 3.2.3 数据展示功能 |
| 3.2.4 用户管理功能 |
| 3.3 非功能性需求分析 |
| 3.4 本章小结 |
| 第四章 票务分析系统的总体设计 |
| 4.1 系统总体架构设计 |
| 4.2 系统功能模块设计 |
| 4.2.1 数据采集功能 |
| 4.2.2 数据分析功能 |
| 4.2.3 数据展示功能 |
| 4.2.4 用户管理功能 |
| 4.3 票务分析系统数据仓库设计 |
| 4.3.1 原始数据层ODS |
| 4.3.2 明细数据层DWD |
| 4.3.3 服务数据层DWS |
| 4.3.4 数据主题层DWT |
| 4.3.5 数据应用层ADS |
| 4.4 本章小结 |
| 第五章 票务分析系统功能模块的详细设计与实现 |
| 5.1 数据采集功能的实现 |
| 5.1.1 票务日志采集 |
| 5.1.2 票务业务数据采集 |
| 5.2 数据分析功能的实现 |
| 5.2.1 票务实时数据分析 |
| 5.2.2 票务离线数据分析 |
| 5.3 数据展示功能的实现 |
| 5.4 用户管理功能的实现 |
| 5.5 本章小结 |
| 第六章 系统测试 |
| 6.1 测试环境 |
| 6.2 系统功能测试 |
| 6.3 系统性能测试 |
| 6.4 本章小结 |
| 第七章 结束语 |
| 7.1 论文工作总结 |
| 7.2 问题和展望 |
| 参考文献 |
| 致谢 |
（4）智慧水利在江都水利枢纽的应用案例（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 本文研究内容 |
| 1.4 技术路线 |
| 第2章 建设现状及存在问题 |
| 2.1 建设现状 |
| 2.1.1 自动化监控系统 |
| 2.1.2 信息化管理平台 |
| 2.1.3 集中控制管理模式 |
| 2.2 存在问题 |
| 2.3 建设内容 |
| 2.3.1 智能感知体系 |
| 2.3.2 智慧云服务中心 |
| 2.3.3 智慧应用系统 |
| 2.4 本章小结 |
| 第3章 应用案例—智能泵站 |
| 3.1 总体架构与业务流程 |
| 3.2 智能泵站体系架构 |
| 3.3 智能感知体系 |
| 3.3.1 智能感知体系架构 |
| 3.3.2 智能感知的内容 |
| 3.3.3 智能感知相关技术 |
| 3.4 智能研判体系 |
| 3.4.1 智能研判体系架构 |
| 3.4.2 感知数据研判 |
| 3.4.3 智能系统研判 |
| 3.4.4 智能业务研判 |
| 3.4.5 智能研判相关技术 |
| 3.5 智能控制管理体系 |
| 3.5.1 智能控制管理体系架构 |
| 3.5.2 智能控制子体系的内容 |
| 3.5.3 智能管理子体系的内容 |
| 3.5.4 智能控制管理体系相关技术 |
| 3.6 智能展示体系 |
| 3.6.1 智能展示体系架构 |
| 3.6.2 智能展示体系主要内容 |
| 3.6.3 智能展示体系相关技术 |
| 3.7 智能泵站的构建 |
| 3.7.1 现地智能体系 |
| 3.7.2 智能支撑体系 |
| 3.7.3 智能泵站的一体化平台 |
| 3.8 江都泵站群优化调度系统 |
| 3.8.1 系统实现目标 |
| 3.8.2 泵站群设备资料 |
| 3.8.3 系统能耗计算 |
| 3.8.4 三种优化方案对比 |
| 3.9 本章小结 |
| 第4章 应用案例—智能水闸 |
| 4.1 智能感知体系 |
| 4.1.1 智能感知体系架构 |
| 4.1.2 智能感知相关技术 |
| 4.2 智能研判体系 |
| 4.2.1 智能研判体系架构 |
| 4.2.2 感知数据研判 |
| 4.2.3 智能系统研判 |
| 4.2.4 智能业务研判 |
| 4.2.5 智能研判相关技术 |
| 4.3 智能控制管理体系 |
| 4.3.1 智能控制管理体系架构 |
| 4.3.2 智能控制体系的内容 |
| 4.3.3 智能管理体系的内容 |
| 4.3.4 智能控制管理体系相关技术 |
| 4.4 智能展示体系 |
| 4.4.1 智能展示体系架构 |
| 4.4.2 智能展示体系主要内容 |
| 4.4.3 智能展示体系相关技术 |
| 4.5 江都东闸感潮智能控制系统 |
| 4.5.1 感潮开闸 |
| 4.5.2 感潮关闸 |
| 4.5.3 感潮研判 |
| 4.6 本章小结 |
| 第5章 结论与展望 |
| 5.1 结论 |
| 5.2 展望 |
| 参考文献 |
| 致谢 |
（5）基于Spark的物品推荐系统的设计与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 研究内容 |
| 1.4 论文的组织结构 |
| 1.5 本章小结 |
| 第二章 相关技术 |
| 2.1 大数据框架 |
| 2.2 推荐算法 |
| 2.3 日志采集 |
| 2.4 ABTest测试 |
| 2.5 本章小结 |
| 第三章 基于Spark的推荐系统的设计 |
| 3.1 引言 |
| 3.2 需求分析 |
| 3.3 系统架构设计 |
| 3.4 系统各模块设计 |
| 3.4.1 日志采集的设计 |
| 3.4.2 高性能数据仓库的设计 |
| 3.4.3 推荐引擎组的设计 |
| 3.5 本章小结 |
| 第四章 基于Spark的推荐系统的实现 |
| 4.1 环境部署 |
| 4.2 日志采集实现 |
| 4.3 高性能数仓的实现 |
| 4.4 推荐引擎组的实现 |
| 4.4.1 数据准备 |
| 4.4.2 离线推荐 |
| 4.4.3 实时推荐 |
| 4.5 测评实验设计 |
| 4.6 ABTest系统设计 |
| 4.7 Spark资源分配策略优化 |
| 4.8 本章小结 |
| 第五章 总结与展望 |
| 5.1 总结 |
| 5.2 展望 |
| 参考文献 |
| 致谢 |
（6）物流系统数据实时集成平台设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 课题背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 本文主要工作内容 |
| 1.4 论文结构安排 |
| 第二章 课题与相关技术支持 |
| 2.1 数据集成方法 |
| 2.1.1 模式集成法 |
| 2.1.2 数据复制法-数据仓库 |
| 2.1.3 综合集成法 |
| 2.2 元数据 |
| 2.3 实时数据抽取 |
| 2.3.1 全表扫描对比 |
| 2.3.2 触发器捕获 |
| 2.3.3 时间戳获取 |
| 2.3.4 基于DBMS日志获取 |
| 2.4 Quartz框架 |
| 2.5 Spring Boot框架 |
| 2.6 Canal组件 |
| 2.7 本章小结 |
| 第三章 物流数据实时集成平台与客户分析系统需求及设计 |
| 3.1 系统整体需求分析 |
| 3.2 各模块需求分析 |
| 3.2.1 实时抽取模块需求分析 |
| 3.2.2 任务管理模块需求分析 |
| 3.2.3 权限管理模块需求分析 |
| 3.2.4 客户分析系统需求分析 |
| 3.3 Kettle架构与改造 |
| 3.3.1 Kettle核心 |
| 3.3.2 Carte及 Kettle集群 |
| 3.3.3 Kettle图形界面 |
| 3.3.4 Kettle架构改造设计 |
| 3.4 系统总体设计 |
| 3.4.1 系统软件架构 |
| 3.4.2 系统模块结构 |
| 3.4.3 系统部署结构 |
| 3.4.4 系统数据流程 |
| 3.5 各模块设计 |
| 3.5.1 元数据设计 |
| 3.5.2 实时抽取模块设计 |
| 3.5.3 任务管理模块设计 |
| 3.5.4 权限管理模块设计 |
| 3.5.5 客户分析系统设计 |
| 3.6 本章小结 |
| 第四章 物流数据实时集成平台与客户分析系统实现及测试 |
| 4.1 系统实现 |
| 4.1.1 开发环境 |
| 4.1.2 实时抽取模块实现 |
| 4.1.3 权限认证模块实现 |
| 4.1.4 B/S架构Kettle实现 |
| 4.1.5 任务管理模块实现 |
| 4.1.6 客户分析系统实现 |
| 4.2 系统测试 |
| 4.2.1 测试环境 |
| 4.2.2 功能测试 |
| 4.2.3 性能测试 |
| 4.3 本章小结 |
| 第五章 总结与展望 |
| 5.1 总结 |
| 5.2 进一步工作展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士学位期间取得的成果 |
（7）基于大数据的用户行为日志系统设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 课题背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 课题主要工作 |
| 1.4 主要创新点 |
| 1.5 论文结构 |
| 第二章 相关背景知识介绍 |
| 2.1 Flume日志收集系统 |
| 2.2 Kafka消息引擎系统 |
| 2.3 数据仓库技术 |
| 2.3.1 产生背景 |
| 2.3.2 定义及特性 |
| 2.3.3 相关概念 |
| 2.3.4 逻辑模型 |
| 2.4 Hive技术 |
| 2.5 本章小结 |
| 第三章 系统分析 |
| 3.1 系统现状 |
| 3.1.1 当前日志收集系统架构 |
| 3.1.2 当前日志收集系统的问题 |
| 3.2 需求分析 |
| 3.3 系统设计原则 |
| 3.4 本章小结 |
| 第四章 系统设计与实现 |
| 4.1 系统总体设计 |
| 4.1.1 系统架构设计 |
| 4.1.2 系统功能模块设计 |
| 4.1.3 系统业务流程的设计 |
| 4.1.4 系统开发环境 |
| 4.2 日志格式解析 |
| 4.3 基于Flume的日志收集模块设计与实现 |
| 4.3.1 拦截器配置 |
| 4.3.2 多线程日志收集 |
| 4.3.3 日志收集模块的实现 |
| 4.4 基于Kafka的消息引擎模块设计与实现 |
| 4.4.1 Kafka优化 |
| 4.4.2 消息引擎模块的实现 |
| 4.5 基于Hive的用户行为数据仓库模块设计与实现 |
| 4.5.1 数据仓库架构设计 |
| 4.5.2 数据仓库建模设计 |
| 4.5.3 数据仓库分层设计 |
| 4.6 数据可视化模块的设计与实现 |
| 4.6.1 Ganglia |
| 4.6.2 Kafka Manager |
| 4.6.3 Tree DMS |
| 4.7 本章小结 |
| 第五章 系统测试 |
| 5.1 测试环境 |
| 5.2 系统功能测试 |
| 5.3 系统性能测试 |
| 5.3.1 Flume性能测试 |
| 5.3.2 Kafka性能测试 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 附录1 程序清单 |
| 附录2 攻读硕士学位期间撰写的论文 |
| 致谢 |
（8）企业数据仓库平台的技术架构研究与设计（论文提纲范文）
| 0 引言 |
| 1 数据仓库平台技术研究 |
| 1.1 传统数据仓库架构的研究 |
| 1.2 分布式数据仓库架构的研究 |
| 2 技术架构设计与实现 |
| 2.1 整体架构设计 |
| 2.1.1 实时计算业务的技术架构 |
| 2.1.2 数据开放共享的技术架构 |
| 3 结语 |
（9）民用建筑“四节一环保”实时数据仓库架构研究（论文提纲范文）
| 0 引言 |
| 1 民用建筑“四节一环保”指标体系建设 |
| 2 民用建筑“四节一环保”实时数据仓库架构建设 |
| 2.1 离线数据仓库与实时数据仓库 |
| 2.2“四节一环保”实时数据仓库架构建设 |
| 3“四节一环保”业务的实时数据仓库应用 |
| 3.1 即席查询 |
| 3.2 实况统计分析 |
| 3.3 监测预警 |
| 4 总结 |
（10）基于ERP的证券行业财务会计信息系统构建研究 ——以D证券公司为例（论文提纲范文）
| 致谢 |
| 摘要 |
| abstract |
| 1 绪论 |
| 1.1 研究背景和意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 研究对象和方法 |
| 1.2.1 研究对象 |
| 1.2.2 研究方法 |
| 1.3 研究思路与内容 |
| 1.3.1 研究思路 |
| 1.3.2 研究内容 |
| 1.4 可能的创新点 |
| 2 文献综述 |
| 2.1 会计信息系统构建相关文献 |
| 2.2 财务ERP系统应用相关文献 |
| 2.3 文献评述 |
| 3 证券行业财务会计信息系统的应用现状及问题分析 |
| 3.1 财务会计信息系统的应用现状 |
| 3.2 财务会计信息系统应用存在的问题分析 |
| 3.2.1 缺乏全局战略规划 |
| 3.2.2 信息化观念陈旧落后 |
| 3.2.3 存在严重信息孤岛现象 |
| 3.2.4 会计信息系统架构不完善 |
| 3.3 基于ERP构建财务会计信息系统的必要性 |
| 4 基于ERP的证券行业财务会计信息系统构建方案设计 |
| 4.1 ERP会计信息系统的原理与框架设计 |
| 4.1.1 ERP会计系统的基本原理 |
| 4.1.2 业务流程再造理论视角下的证券业务分析 |
| 4.1.3 ERP会计系统构建框架设计 |
| 4.2 ERP会计系统构建目标和原则 |
| 4.2.1 构建总体目标 |
| 4.2.2 构建基本原则 |
| 4.3 面向业务层方案 |
| 4.3.1 会计核算管理 |
| 4.3.2 费用控制管理 |
| 4.3.3 资金管理 |
| 4.3.4 税务管理 |
| 4.4 面向管理层方案 |
| 4.4.1 全成本管理 |
| 4.4.2 全面预算管理 |
| 4.4.3 绩效考核管理 |
| 4.4.4 流动性风险管理 |
| 4.5 面向决策层方案 |
| 4.5.1 财务分析 |
| 4.5.2 战略决策 |
| 5 D证券公司财务ERP系统构建案例分析 |
| 5.1 D证券公司背景 |
| 5.1.1 公司简介 |
| 5.1.2 财务信息化概况 |
| 5.2 财务ERP系统构建过程 |
| 5.2.1 流程再造分析 |
| 5.2.2 ERP系统构建 |
| 5.2.3 系统实施中的风险及对策 |
| 5.3 财务ERP系统构建应用效果 |
| 5.3.1 实现传统财务向现代化财务转变 |
| 5.3.2 建成以全面预算、绩效考核为核心的管理体系 |
| 5.3.3 实现由财务报表、财务分析到商业智能转变 |
| 5.3.4 建立以资金、税务、流动性为基础的风险管控体系 |
| 5.3.5 系统应用价值量化 |
| 5.4 财务ERP系统建设成功的关键因素 |
| 5.4.1 争取公司高层领导重视 |
| 5.4.2 完善的财务和内部控制制度 |
| 5.4.3 业务流程重组再造 |
| 5.4.4 复合型人才培养 |
| 5.4.5 整体规划分步实施 |
| 6 结论与展望 |
| 6.1 全文总结 |
| 6.2 研究展望 |
| 参考文献 |
四、实时数据仓库体系架构的研究（论文参考文献）
- [1]考虑轨迹交叉影响的铁路物流基地作业安全防护方法研究[D]. 唐浩. 中国铁道科学研究院, 2021(01)
- [2]铜板带生产企业大数据平台搭建及工艺参数优化研究[D]. 彭建. 江西理工大学, 2021(01)
- [3]基于Hadoop的票务分析系统设计与实现[D]. 陈卓然. 北京邮电大学, 2021(01)
- [4]智慧水利在江都水利枢纽的应用案例[D]. 周开欣. 扬州大学, 2021(08)
- [5]基于Spark的物品推荐系统的设计与实现[D]. 方文都. 北京邮电大学, 2021(01)
- [6]物流系统数据实时集成平台设计与实现[D]. 周攀. 电子科技大学, 2021(01)
- [7]基于大数据的用户行为日志系统设计与实现[D]. 李大洲. 南京邮电大学, 2020(02)
- [8]企业数据仓库平台的技术架构研究与设计[J]. 林木. 软件, 2020(12)
- [9]民用建筑“四节一环保”实时数据仓库架构研究[J]. 邵高峰,刘全超,何中华,陈昉. 建筑科学, 2020(S2)
- [10]基于ERP的证券行业财务会计信息系统构建研究 ——以D证券公司为例[D]. 张朋. 浙江大学, 2020(02)