一、基于关系数据模型的多维数据建模方法的研究(论文文献综述)
田川[1](2021)在《大数据多维建模分析平台的研究与实现》文中指出大数据多维分析平台旨在从多个角度、多个侧面观察和挖掘海量数据,经过专业的整合与分析,最后输出可视化数据或图表,帮助分析师和企业用户深入了解包含在数据中的信息和内涵。面对数据量和分析需求的爆发式增长,本文采用MOLAP(Multidimensional OLAP)的预计算技术突破传统ROLAP(Relational OLAP)平台的性能瓶颈,但其应用却存在以下问题与挑战:1)在预计算技术的应用中,多维数据模型的构建和优化过度依赖数据专家,当数据规模不断增加、数据分析需求频繁变化时,这种手动建模的方式会耗费大量人力;2)传统的多维模型优化算法存在由于评价指标单一(仅评价物化时间,过度追求物化视图的查询命中率)导致的超高维度时的维度灾难问题、以及物化视图集频繁抖动的问题;3)MOLAP由于查询场景固化,必须应用在混合引擎的系统中,然而在基于混合引擎的系统中,ROLAP和MOLAP引擎各有所长,系统难以在二者之间做出快速、合理的选择,亟需一种多维模型索引对查询路由提供支持。针对以上问题和需求,本文对大数据多维分析、预计算和多维数据索引等技术进行了深入的研究和分析,主要研究内容如下:(1)研究并实现了多维数据模型的自动构建及持续优化技术。通过分析历史查询任务提取元数据,在后台自动学习沉淀数据间的关联知识、构建数据表关联视图,以此为基础设计多维数据模型并进行物化,打通“原始数据—预计算—数据分析”的路径,并在多维数据模型使用的全生命周期对其进行监控和优化,使MOLAP的使用更加便捷化、智能化。(2)提出并实现了基于带权图的多维大数据模型优化算法。算法引入了新的评价指标:平均查询时延和膨胀率,有效权衡了查询性能和存储空间,解决维度灾难的隐患。并通过挖掘维度之间存在的关联信息划分聚合组,使数据模型适应探索式分析的需求,减少物化视图集的频繁抖动。(3)研究并实现了基于混合引擎的多维数据查询技术。提出了一种基于Cube生成树的Bitmap索引,并给出这种Bitmap索引的检索方法和整体查询路由策略,用于解决查询引擎的选择问题。这种Bitmap索引契合多维数据模型的结构,并且占用空间小、位运算速度快,为混合引擎的查询路由提供了一种高效的索引解决方案。最后,基于以上三方面的研究设计并实现了大数据多维建模分析平台,应用于国家重点研发计划项目“基于大数据的科技咨询技术与服务平台研发”中,验证了本文平台及方法的有效性及实用性。
陈斌[2](2020)在《高铁列控车载设备可靠性评估及维修决策方法研究》文中指出高速铁路的建设标志着中国铁路建设新局面的到来。凭借着其高速、快捷、舒适等特点,高速铁路已经渐渐成为广大人民群众出行的优先选择。高速铁路的快速发展,将会大大促进社会经济建设,完善国家战略布局,改善社会民生民情,为全面建成小康社会发挥支撑引领的作用。作为攸关旅客生命及财产安全的大型地面运输系统,高速列车运行的安全性与可靠性至关重要。高速铁路列车运行控制系统车载设备(下文称为高铁列控车载设备)作为具有安全苛求特性的高速铁路的关键技术之一,是对高速列车进行操纵和控制的主体,是保障高速铁路行车安全、提高运输效率的核心系统,其安全、可靠运行对于客运安全、列车运行效率、铁路经济效益都有重大意义,因此,针对高铁列控车载设备的可靠性评估及维修决策开展关键技术研究,对确保高速列车运行安全提供理论依据和技术支撑,杜绝重大恶性安全事故的发生具有十分重要的意义,成为高速列车运行安全、可靠性领域的热点研究问题之一。本文立足于高铁列控车载设备可靠性研究相关问题,首先针对庞大的高铁列控车载设备运行数据提出多维数据模型,对运行数据进行建模与分析;面向复杂耦合故障构建高铁列控车载设备的故障风险评估指标体系及其评估方法,形成对高铁列控车载设备故障的风险水平分析;针对高铁列控车载设备小样本故障数据建立基于贝叶斯估计思想的可靠性评估方法,并在故障风险评估与可靠性评估的基础上,形成“故障修”与“预防修”相结合的综合维护维修策略。基于论文的研究工作,主要形成了以下创新成果:(1)提出了高铁列控车载设备多维数据模型,利用数据立方体对多维数据模型进行描述、构建及分析,结合数据立方体的相关操作方式,针对高铁列控车载设备故障分布的时空特性进行分析,解决了庞大、复杂的高铁列控车载设备运行数据的规范化管理、存储及分析等相关问题,实现了大规模数据下设备故障时空特性的有效分析。(2)建立了高铁列控车载设备故障风险评估体系,基于高铁列控车载设备结构及各部件间的信息流向,建立故障传递图模型并利用Pagerank算法计算了故障影响度指标,在对多维数据模型进行分析的基础上,对故障发生度指标及故障危害度指标进行了计算,提出了基于灰色关联度-理想点算法的高铁列控车载设备故障风险评估方法,解决了复杂耦合故障情况下高铁列控车载设备故障风险评估问题。(3)提出了基于贝叶斯估计的高铁列控车载设备可靠性评估方法,解决了小样本故障信息下,经典统计推断算法对高铁列控车载设备寿命分布欠拟合的缺点,同时考虑到不同系统间的差异性,提出了基于贝叶斯层次模型的多设备可靠性评估方法,有效分析了系统差异性对设备可靠性评估的影响。(4)建立了综合修复性维修与预防性维修的高铁列控车载设备维护维修决策,以故障风险评估结果为依据为不同部件确定适用的维修方式,以可靠性评估结果为约束条件,建立了成本最优的预防性维修模型,基于量子遗传优化算法对维护维修决策进行优化计算,有效地提升了高铁列控车载设备运用时间,并降低了设备的维护维修成本。论文利用高铁列控车载设备现场实际运行数据对本文所提出的相关模型算法进行了验证,其研究成果可为高铁列控车载设备的数据管理与分析、故障分析、可靠性评估及维护维修策略提供较高的理论参考价值。
许诗怡[3](2020)在《森林资源数据仓库管理系统研建与数据分析应用技术研究》文中指出本研究首先论述了森林资源异构数据集成以及数据仓库技术在林业上的研究现状。森林资源数据仓库在实际应用中还面临着以下两大问题:一是数据存储存在差异,且数据表中的统计字段名称、类型、代码等的表达形式也存在差异;二是数据存储的差异性造成数据利用率不高,深层次的多维分析、数据挖掘等是基于规范化的数据进行的。针对这些问题,研究以历史上存储的森林资源数据为基础,针对森林生产功能分析、适地适树规则提取、生长收获预测模型拟合等的分析需求,设计建立了两个数据仓库:森林资源小班数据仓库以及标准地/样地数据仓库,并完成对两个数据仓库事实表、维度表字段结构的详细设计。通过对ETL技术的研究,实现对森林资源异构数据源的抽取、清洗和转换,并将处理后的规范化数据存储在目标数据仓库中进行统一管理。在此基础上,研建一个基于B/S体系架构的森林资源数据仓库管理系统。系统的主要功能包括异构数据源获取、森林资源异构数据的清洗转换、森林资源数据多维分析、数据挖掘等。本研究高效的利用已有的森林资源数据可以为林场等经营单位提供生长收获、抚育间伐、规则提取等方面的决策支持。
李泽中[4](2020)在《多维数据融合的虚拟知识社区个性化知识推荐研究》文中指出大数据环境下,知识数量不断增加,为用户提供参考依据和知识来源的同时,也带来“知识过载”等问题。用户开始逐渐依赖虚拟知识社区以解决知识获取、知识交流的问题。虚拟知识社区具有高密度、高价值的知识来帮助用户满足知识需求,用户可以通过虚拟知识社区平台交流知识、共享知识、接受知识,并参加到知识推荐、知识反馈等知识服务中。虚拟知识社区的服务保障机制可以为用户提供有针对性的知识,营造良好的知识互动氛围,增强用户归属感。虚拟知识社区也存在大量低质、重复的碎片知识,还具有知识内容质量参差不齐、知识信息服务功能较为单一、服务层次较浅、平台的同质化现象严重等问题,原有的知识服务理论方法和方式手段已无法完全适应用户日益增长的多样化需求。用户在社区中生成知识内容、利用知识的同时,也留下了各种形式的行为记录数据,这些多维数据中包含大量的用户行为信息和个性化需求信息,如何利用这些数据开展知识服务、为用户提供更加优质和适配的用户服务内容也成为目前一个重要的研究方向。本文以虚拟知识社区为研究对象,从面向用户需求的视角出发,分析虚拟知识社区用户需求,并根据用户需求对虚拟知识社区数据进行了维度划分及融合,研究基于多维数据融合的虚拟知识社区个性化知识推荐模型,探索虚拟知识社区个性化知识推荐效果评价方法,并提出相应的优化策略和建议。本文主要开展了以下六个方面的研究工作:(1)分析了用户需求的特征,包括需求表达的直接性、间接性、需求接收的实时性、需求服务的高效性以及形成原因,即任务驱动、知识偶遇以及交流互动,以此将用户知识需求划分为知识需求、情感需求以及社交需求三个类型。基于多理论假设,为虚拟知识社区用户知识需求维度划分提供了理论和实证依据。通过社会资本理论,提出网络社会资本、认知社会资本以及结构社会资本三个维度的假设,运用逻辑回归方法进行实证研究。结果表明,这三个维度对虚拟知识社区用户的知识需求具有显着影响。(2)虚拟知识社区的数据实质是一系列交互元素的集合体。虚拟知识社区开发与设计的核心来源于用户需求。基于社会资本理论,结合已有研究,从用户需求的角度对多维数据融合的过程和特征进行分析,在此基础上对多维数据进行维度划分,包括社交网络维度、情感感知维度以及用户画像维度。进一步分析了多维数据融合与知识推荐之间的关系:多维数据融合是知识推荐的基础,多维数据融合的质量是决定知识推荐效果的关键;知识推荐是多维数据融合的目的。(3)分析了虚拟知识社区个性化知识推荐的目标定位,包括知识推荐服务的可用性、知识推荐内容的有用性以及知识推荐结果的适配性。在此基础上,对虚拟知识社区个性化知识推荐的动力进行探讨,包括知识主体的牵引、知识技术创新发展需求的拉动、知识势能差的推动以及知识创新环境发展的必然。分析了虚拟知识社区个性化知识推荐模型的组成要素以及具体的推荐过程,包括知识需求的获取、多维度数据融合、知识生成以及知识推荐和吸收阶段。综合以上分析,从数据采集层、多维数据融合层、知识聚合层以及应用层4个层面构建多维数据融合的虚拟知识社区个性化推荐模型并进行探讨研究,以期通过服务组织模式探索,有效地促进用户服务,真正满足用户需求。(4)鉴于当前关于个性化知识推荐领域研究的热点问题,本文针对虚拟知识社区及其用户的多样化特征,通过引入用户画像、情感感知和社交网络三个维度信息,在多维数据融合的虚拟知识社区个性化知识推荐模型的基础上,完成用户知识需求的可视化;同时利用改进的最大团算法设计了虚拟知识社区个性化知识推荐算法,并且通过选取某虚拟知识社区用户数据进行了实例分析,实现了精准的个性化知识推荐。实例分析结果表明,在虚拟知识社区个性化知识推荐过程中,通过引入这三个维度信息并进行深度融合构建用户知识需求模型,可以使得其个性化知识推荐结果的精准度得到显着的提升。(5)基于多维数据融合的视角构建了虚拟知识社区推荐效果评价指标体系,旨在为虚拟知识社区推荐服务建设提供理论依据和评判标准。本文利用模糊层次分析方法对“虚拟知识社区推荐效果”指标体系进行测评,并选用模糊数学中隶属度函数作为标度系统对国内外6个具有代表性的虚拟知识社区进行实证研究。实证结果表明指标体系具有实际应用价值和较强的可操作性,能更好的指导虚拟知识社区进行推荐服务建设。本文在理论层面构建的评价指标体系为虚拟知识社区推荐服务建设提供新的研究视角;在实践应用层面,通过对推荐服务的评价来提升虚拟知识社区推荐服务质量和效率,从而达到满足用户需求和期望的目标。(6)基于社会资本理论,从用户画像视角、社交网络视角、情感感知视角三个维度入手,提出虚拟知识社区个性化推荐优化策略和建议。在用户画像视角下,满足用户的多层次知识需求,提高用户自身的知识素养,深度运用多维数据融合技术为用户提供更有针对性与价值的知识信息;在社交网络视角下,推动知识共同体的形成和发展,使平台内知识信息更具系统化、结构化、完整化特征,加强虚拟知识社区用户间交流和活动,开发基于虚拟知识社区平台的社交应用,并增加社区意见领袖识别与用户激励机制的设计,促进社区内用户进行知识交流;情感感知视角下,实现个性化知识推荐的精确性,加强知识的权威性和整合性,加强用户的信任和关系密切程度,并利用可视化丰富知识形式,从而更好地发挥个性化知识推荐效果。在虚拟知识社区中,用户通过虚拟知识社区获得知识满足自身的知识需求,也通过虚拟知识社区拓展社交关系、传递情感,并且在使用服务过程中提升愉悦感和归属感。本文基于用户的需求出发,对虚拟知识社区的多维数据进行维度划分,并为用户提供个性化知识推荐,提升用户的虚拟知识社区参与度,促进知识的共享、利用及创新,进而提高虚拟知识社区的知识服务能力和水平,在提高虚拟知识社区影响力和竞争力的同时,也帮助虚拟知识社区健康持续地发展。
谢迎凤[5](2020)在《某电信公司的商业智能分析系统的设计与实现》文中认为随着信息化社会的发展以及企业业务水平的不断提高,决策支持系统已经难以继续为管理者提供有效的支持,所以随之而来的商业智能分析系统具有非常重要的应用价值。它从大量数据中获取有效的信息,帮助用户全方位的了解业务情况,进而做出明智的、可付诸实践的决策,让业务更加高效、快速地运转。目前市场上的商业智能分析系统普遍侧重于数据的抽取、转换和加载,即ETL(Extract-Transform-Load)处理或者自助式报表分析,致使其开发过程中涉及的工具较多,无法进行统一的管理。同时在实际应用中单一工具存在一定的局限性,例如kettle工具缺乏监控运维服务,且不支持kerberos认证,无法接入开启了该认证的大数据集群,这在一定程度上为开发人员的工作增加了难度。为了解决上述问题,本文设计了基于大数据技术的商业智能分析系统。在该系统中,本人主要参与了kettle ETL平台、数据挖掘、报表平台、数据源管理和权限管理功能的设计与研发工作,并采用前后端分离技术将界面展示和业务逻辑处理进行有效解耦。其中,kettle ETL平台通过拖拽和组件配置的方式完成了数据的转换处理操作,并实现了kerberos认证支持、任务调度和监控管理功能。数据挖掘模块主要根据数据仓库的客户流失主题,采用随机森林、XGBoost(e Xtreme Gradient Boosting)等算法实现了流失预测模型的构建,并使用K-means算法对客户进行群体细分,结合流失因素分析和群体特征对潜在流失的客户给出相应的客户关怀。报表平台主要负责数据的可视化过程,包括数据建模、多维分析和数据报表定制。权限管理提供了数据的安全保障,其主要负责系统资源的分配和控制,包括角色管理、菜单栏管理和权限控制三个模块。系统研发过程主要基于Spring Boot框架,将My SQL和分布式文件系统HDFS(Hadoop Distributed File System)作为数据存储工具,并使用Apache Kylin等工具完成数据计算,最终采用微服务架构将各个功能集为一体,为用户提供一站式的应用服务,提高了统计分析的工作效率。目前本系统已初步上线,运行状况较好。该系统底层接入了公司的大数据平台,数据的处理和分析都在该平台下完成,因此系统的运行效率相较于之前提高了约10倍;同时该系统将kettle ETL、数据挖掘和可视化分析无缝结合,进而可以更便捷的完成数据的处理和分析展示过程。
王童[6](2020)在《化学多维校正及高维模式识别基础理论及创新性应用研究》文中研究说明随着现代分析仪器的发展,分析化学家得到的数据类型已不限于传统的标量和矢量,越来越多的仪器响应信号是由大量数据点组成的更高维化学数据,这些数据包含了更为丰富的化学信息,给复杂分析对象的研究带来了巨大的机遇,但如何充分分析和利用这些高维数据也是一个相当大的挑战。幸运的是,应运而生的化学计量学能解析这些复杂的化学量测数据,并尽可能地提取有用信息,使分析化学家能从容应对这一挑战。在化学计量学领域中,化学多维校正和模式识别均为研究重点和热点,本论文作者通过调研两者的研究现状和发展趋势,对高阶色谱仪器结合多维校正的新型定量分析应用、高效多维校正算法、化学高维模式识别方法的开发和创新性应用这几个方面进行了较为深入和系统的研究,主要涉及内容如下:第一部分化学多维校正辅助高效液相色谱二极管阵列检测器联用仪(HPLC-DAD)用于复杂体系的精准定量分析(第2章-第3章)在第二章中,作者提出了一种简单、高效、绿色且通用的分析方法,即交替三线性分解(ATLD)算法辅助的HPLC-DAD方法,以此实现苹果果皮和果肉中12种主要多酚类化合物的快速同时测定。该方法以“数学分离”增强色谱的“物理和化学分离”,能在未知干扰、色谱峰重叠以及存在基线漂移的情况下实现目标分析物的定量,并且洗脱时间仅需10分钟,远低于使用传统HPLC方法时所需的洗脱时间。另外,通过加标回收率、灵敏度、选择性、检测限和定量限等统计学结果评估了方法的性能,并且与传统HPLC方法获得的定量结果进行了对比,结果表明,该方法准确、高效、经济且相对环保,有望进行拓展并用于各种复杂体系中多种感兴趣分析物的高效定量分析。在第三章中,作者将ATLD辅助的HPLC-DAD方法运用于中成药和保健品中11种常见非甾体抗炎药物的同时定性筛查和定量分析。即使色谱分析中存在严重的峰重叠、未知干扰以及基线漂移,该方法仍能对数据进行解析,获得各组分的纯信号并得到可靠的定性定量结果,这也是方法“二阶优势”的体现。11种分析物在14.5分钟内便可完全地被洗脱出来,且无需复杂的样本预处理和色谱条件优化。通过该方法筛查出阳性样本一例,非法添加到其中的双氯芬酸(DCF)含量高达18.38 mg g-1。与传统HPLC方法相比,该方法所用的分析时间大大缩短,同时可以节约大量有机溶剂、减少分析成本,这与绿色分析化学的目标非常吻合。结果表明,所提的方法是一种可供选择且极具吸引力的方法,可用于复杂体系中非法添加物质的快速定性筛查和定量测定。第二部分化学多维校正新算法的开发和应用(第4章-第5章)在第四章中,作者提出了一种简单且可直接处理具有保留时间漂移二阶液相色谱数据的二阶校正算法,其具有“二阶优势”,即在存在重叠峰和未知干扰的情况下也可以实现目标分析物的定性和定量分析。由于该算法结合了ATLD算法和多元曲线分辨(MCR)的原理和特点,因此被称为交替三线性分解辅助多元曲线分辨(ATLD-MCR)算法。该算法以ATLD的分解结果为初始值,然后基于每个样本的切片矩阵使用MCR策略,并使用交替最小二乘优化策略来获得最终解。所提出的算法分别处理了三个模拟数据集,一个半模拟LC-MS数据集和一个真实HPLC-DAD数据集。此外,将解析的定性和定量结果与其他三种经典的二阶校正算法获得的结果进行了比较。结果表明,ATLD-MCR在模拟和真实体系中均表现优异,并获得了令人满意的定性和定量结果,这充分证明了该新算法可以正确建模具有保留时间偏移和严重信号重叠的二阶色谱数据,有望在色谱分析中取得更多的应用。在第五章中,作者提出了一种新颖、灵活、高效的四线性分解算法,即四维组合算法(FACM)。FACM巧妙地结合了交替四线性分解算法(AQLD)和四维平行因子分析算法(FPARAFAC),让它们在迭代过程的不同阶段使用,以发挥各自最大的特色和优势。通过两组模拟数据,详细比较了FACM和其他5种常见四维校正算法(AQLD、SAQLD、RSWAQLD、APQLD和FPARAFAC)的性能,结果显示,FACM具有快速收敛,对组分数和初始值不敏感,适用于高噪声和严重共线性数据这些令人满意的特点,整体表现优于单个算法。另外使用FACM算法分别处理两组真实的四维数据,结果显示,FACM能够在未知干扰和变化的背景下准确高效地提取生物标志物的定性和定量信息,取得了十分优异的结果。此外,FACM的结构非常灵活,可以组合除AQLD和FPARAFAC以外其他算法,这为新四维校正算法的探索和开发提供了一个可行的思路。第三部分激发发射矩阵荧光结合化学高维模式识别用于油类真伪鉴别(第6章)在第六章中,作者将激发发射矩阵荧光光谱与多种化学计量学方法相结合用于快速鉴别山茶油掺假。首先使用平行因子分析(PARAFAC)来完成不同油样本的光谱表征,并获得具有化学意义的信息。之后将四种化学计量学高维模式识别方法(PARAFAC-LDA、PARAFAC-PLS-DA、(2D)2LDA和N-PLS-DA)分别用于山茶油和其他不同植物油的分类(模型1)以及山茶油和掺假山茶油的分类(模型2和模型3)。其中双向二维线性判别分析((2D)2LDA)首次用于化学高维数据的分析,并显示出了巨大的潜力。此外,使用N-PLS回归模型预测了掺假山茶油的掺假水平,且获得了令人满意的准确性。
刘欣然[7](2020)在《基于Cesium的多维航道空间信息可视化研究》文中研究指明近年来,随着数字航道建设的逐步深入,内河航道信息化成为促进内河航运发展的重要力量。在基于二维电子航道图的船舶导航与航道综合监管等应用系统中,空间数据的可视化仍具有局限性,很少对(陆地和水上的)助航设施、水上桥梁、码头及水路周边陆地上的空间信息进行三维可视化表示,这使得应用系统的使用者和航道管理者不能更直观的进行船舶的监控、航标的管理以及航道的监管。因此,建立以航道为中心的多维航道可视化基础应用平台,将多源、异构、多维的电子航道图数据和三维的空间数据进行融合,对航道及其周边环境或船舶航行的真实场景进行重现是非常必要的。本文基于Cesium(一个用于显示三维虚拟地球和海量三维数据的开源GIS框架),研究二维电子航道图与三维航道空间信息的融合及在Cesium框架下空间信息的Web端显示技术,实现航道相关空间信息的可视化,达到航道高效监管的目的。本文主要工作成果包括:1.针对航道周围码头、港口建筑物等三维物体的空间信息,通过无人机倾斜摄影的方法对影像数据获取并应用Smart3D软件对其三维建模;对建模过程中产生的模型数据格式问题进行研究并对模型数据格式转换,实现了可用于Cesium加载的3D Tiles三维模型数据的生成.2.基于Cesium的数据可视化方法,重点研究了影像、地形和三维模型数据的加载渲染问题:针对海量数据的加载,提出了一种基于视椎体剔除和地平线剔除的综合数据剔除方法,两种剔除方法的综合利用,达到更高效的剔除效果,提高了加载渲染效率;对影像、地形和三维模型三种数据的加载流程进行了研究,通过四叉树原理加载分级分块数据的方法,实现了航道海量信息数据的加载与可视化,达到流畅渲染的效果。3.基于Cesium的多维航道空间信息可视化系统的设计与实现。根据B/S架构,完成了服务器搭建,开发了视图切换、图层管理和航线模拟等功能模块,并基于倾斜摄影生成的三维模型数据和电子航道图瓦片数据,完成了多维航道可视化功能,达到了数据快速加载,航道方便监管的效果。
郭玥晗[8](2020)在《校史地图信息的时空对象建模与可视化表达技术研究》文中认为高校的校史是学校校园文化的重要组成部分,体现了大学的文化品质和精神积淀,对大学校园文化的传承有着重要作用,很多高校都十分注重展示自己学校的发展历史。随着校园文化的多元化发展,校史数据来源不断丰富,可视化表达手段日新月异,传统的校史展现方法已逐渐无法满足用户多用途的需要。校史地图是校史可视化的一种手段,可以展示学校发展的时空变化和属性特征,然而目前的校史地图可视化方法较为单一简单,且现有的校史地图大都只对校史的空间位置与部分属性特征进行可视化,但校史地图需要表达的元素十分丰富,如学校历史中各个部门的关联关系、组成结构、行为能力等特征,并且校史发展还具有全过程、多尺度、全方位的特性,现有可视化方法无法有效满足这些特性的可视化需求。为了全面、直观、有效地表达出院校发展的时空动态变化特征,丰富校史信息的可视化手段,本文进行了校史地图信息的时空对象建模与可视化表达技术研究,主要内容如下:1、探讨了校史地图的研究背景和研究意义,通过总结时空数据模型、历史地图以及时空数据可视化方法三个方面的研究现状,分析出当前研究中存在的问题,明确了本文的研究目的与研究内容。2、提出了校史地图信息的对象化描述方法。阐述了基于多粒度时空对象的校史地图的相关概念,分析了基于多粒度时空对象的校史地图与传统校史地图的区别;基于校史地图信息对象化描述的特点与内容,设计了校史地图中不同时空对象的描述框架;提出了校史地图中时空对象类特征项的描述方法并对校史地图中主要对象类进行具体描述。3、开展了校史地图信息的时空对象建模方法研究。提出了校史地图信息的对象化建模框架,确立了校史地图信息的对象化建模流程,分析了建模的关键技术;对校史地图信息对象化建模的关键步骤和方法进行了设计与实现;设计了具体实验案例,生成了校史地图的对象化建模数据。4、开展了校史地图的可视化表达技术研究。确立了校史地图的可视化表达流程,分析了可视化表达的关键技术,提出了校史地图可视化表达模型;构建了校史地图的可视化表达分类体系,确定了不同类别的校史地图可视化方法选择的通用化流程;探讨设计了基于校史地图对象化数据的可视化方法,并以校史地图中的用户交互功能为基础对基于用户交互的多粒度功能和个性化功能进行了设计;设计了相关实验,基于实验案例对可视化方法与功能进行了设计实现。5、设计与实现了校史地图的实验系统。对校史地图的对象化建模和可视化原型系统以及实验功能模块进行了设计与实现;以郑州某大学的校史为例进行了建模和可视化实验,验证了本文所提出的建模和可视化方法的可行性。本研究通过对校史地图的对象化描述方法、对象化建模方法以及可视化方法设计,完整的构建了基于多粒度时空对象的校史地图的理论框架和方法体系,创新了校史地图的数据建模和可视化理论。研究实现的校史地图可视化实验系统,从技术上弥补了目前校史信息可视化中缺乏可交互多尺度动态可视化工具的不足,具有很强的实用价值。同时,本研究的确立,也为其他历史地图的设计制作提供了理论指导和借鉴。
周康[9](2020)在《面向多场景的大数据分析系统的研究与实现》文中认为论文选题自医疗健康领域国家科技条件平台的资源中心大数据共享服务平台建设项目。项目目标需要汇聚全国各省市的人类遗传资源等数据,构建可提供给卫健委科研所不同需求的研究人员,以开展大数据分析、挖掘和数据服务的平台。项目有以下问题和需求:1)自建大数据分析平台;2)提供灵活的大数据多维场景分析能力;3)提供分布式挖掘场景分析能力,改变当前使用SPSS等软件的现状,以打破数据量和计算量的瓶颈。针对以上问题和需求,本文对多维分析场景和数据挖掘场景相关技术做了深入的研究和分析,设计并实现了面向多场景的大数据分析系统,主要贡献如下:(1)针对多维分析场景,设计与实现了一种混合查询引擎,不需要人工选择查询引擎,实现了查询引擎自动路由,可以同时满足固化分析、探索式分析等多种业务需求,更加灵活地支持多维分析场景中的数据源新增、分析需求变化等问题。(2)针对数据挖掘场景,提出了一种基于Spark的机器学习Pipeline构建方法,明确了可视化机器学习的阶段构成,同时提供了其处理流程的验证与执行方法。为数据挖掘场景提供高效的分析手段。(3)设计与实现了面向多场景的大数据分析系统,囊括多维分析和数据挖掘两大分析场景。本系统是基于Kylin、Spark等开源大数据组件构建的,同时提供了丰富的可视化图表,并实现了通过简单操作来完成复杂的多维分析和分布式机器学习任务。解决了卫健委科研所面向多场景分析、可视化分析的需求。
孔慧慧[10](2020)在《大数据探索式多维分析及可视化系统的设计与实现》文中研究指明大数据目前已是一个庞大的生态体系,聚集了海量的大数据,在数据量高增长的同时,也产生了结构复杂和变化多端的多维数据。这些多维数据遍布在多个不同领域,是需要新处理模式才能具有更强决策力的信息资产。但当前已有的可视化系统中,还存在着很多不足与问题:(1)对数据处理的速度缓慢,未实现数据图表协同更新,间接影响数据分析的结果;(2)降低多维数据维度的过程复杂、可操作性差且学习成本高,对多维数据整合、数据合表、多维数据分层等功能支持性欠缺,使多维数据的研究和应用具有一定的局限性。(3)可视化流程构建不完善,着重研究可视化展示,造成可视化内容过于拥挤,不足以支撑多维数据的全生命周期可视化工作;为了解决上述出现的问题,本文对大数据探索式多维分析及可视化技术进行了深入的研究,主要研究内容包括:(1)为解决多维数据瞬息万变所带来的图表重绘问题,提出并实现了一种面向大数据场景的多维数据可视化实时更新方法,降低多维数据变化重绘图表造成的网络负载和网络延迟,并在多用户并发场景下,减少数据错误率,维护了系统稳定性。(2)针对多维数据进行Kylin建模,提供数据探索、图表配置、人机交互等多种数据图表交互技术,进一步提高视图探索能力,深层次分析多维数据的潜藏价值。(3)设计并实现了大数据探索式多维分析及可视化系统,为用户提供一套完整的从数据接入到可视化展示的多维数据分析架构,具备数据处理和视图探索交互应用能力的多维可视化构建服务。基于上述研究内容,本文构建了大数据探索式多维分析与可视化系统,提供数据挖掘能力,帮助使用者将多维数据可视化为一个高效,直观,易于理解的图像,辅助其验证假设性结论。并将其应用于重点专项项目“国家人类遗传资源中心大数据共享服务平台”建设中。
二、基于关系数据模型的多维数据建模方法的研究(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、基于关系数据模型的多维数据建模方法的研究(论文提纲范文)
(1)大数据多维建模分析平台的研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 多维数据模型建模的研究现状 |
1.2.2 多维数据模型优化算法研究现状 |
1.2.3 多维数据模型索引技术研究现状 |
1.3 硕士在读期间主要工作 |
1.4 研究内容与论文工作 |
1.5 论文组织结构 |
第二章 相关技术及理论研究 |
2.1 联机分析处理技术OLAP |
2.1.1 OLAP基本概念 |
2.1.2 多维数据立方体Cube |
2.1.3 OLAP多维数据分析操作 |
2.2 多维大数据存储及查询引擎 |
2.2.1 数据仓库和列式存储 |
2.2.2 ROLAP查询引擎Spark SQL |
2.2.3 MOLAP查询引擎Kylin |
2.3 预计算原理及构建方法 |
2.3.1 基于Spark的逐层构建方法 |
2.3.2 快速构建算法 |
2.4 本章小结 |
第三章 多维数据模型的自动构建及持续优化技术 |
3.1 研究挑战 |
3.2 数据语料的采集及分析 |
3.3 多维模型及数据立方体的设计 |
3.3.1 数据表关联模型的设计 |
3.3.2 多维数据立方体Cube的设计 |
3.3.3 多维数据立方体Cube的构建 |
3.4 多维数据模型的全生命周期优化 |
3.4.1 总体优化流程 |
3.4.2 初次构建时的优化 |
3.4.3 Cube运行时的持续优化 |
3.5 本章小结 |
第四章 基于带权图的多维大数据模型优化算法 |
4.1 研究挑战 |
4.2 评价指标及其估算 |
4.2.1 查询时延 |
4.2.2 膨胀率 |
4.3 基于贪心思想的聚合组划分 |
4.4 目标函数 |
4.5 算法步骤 |
4.6 实验设置及结果分析 |
4.6.1 实验设计和评价指标 |
4.6.2 实验环境和数据 |
4.6.3 实验结果分析 |
4.7 本章小结 |
第五章 基于混合引擎的多维数据查询技术 |
5.1 研究挑战 |
5.2 构建基于Cube生成树的Bitmap索引 |
5.2.1 Cube生成树 |
5.2.2 建立维度字典 |
5.2.3 构建Bitmap索引 |
5.3 基于Bitmap索引的混合引擎查询路由 |
5.3.1 Bitmap索引的逻辑运算 |
5.3.2 检索Bitmap索引 |
5.3.3 查询路由整体流程 |
5.4 实验分析 |
5.4.1 实验环境及数据 |
5.4.2 实验设计与结果分析 |
5.5 本章小结 |
第六章 大数据多维建模分析平台的设计与实现 |
6.1 需求分析 |
6.1.1 系统业务需求分析 |
6.1.2 系统功能需求分析 |
6.2 平台架构设计 |
6.2.1 功能结构设计 |
6.2.2 技术架构设计 |
6.2.3 整体架构设计 |
6.3 数据库设计 |
6.4 模块设计及实现 |
6.4.1 数据管理模块 |
6.4.2 自动建模、持续优化模块 |
6.4.3 多维数据分析模块 |
6.4.4 多维数据可视化模块 |
6.5 系统测试与评估 |
6.5.1 页面展示 |
6.5.2 系统测试 |
6.6 本章小结 |
第七章 总结与展望 |
7.1 工作总结 |
7.2 未来展望 |
参考文献 |
致谢 |
攻读学位期间取得的研究成果 |
(2)高铁列控车载设备可靠性评估及维修决策方法研究(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
1 引言 |
1.1 研究背景及意义 |
1.2 问题的提出 |
1.2.1 高铁列控车载设备可靠性分析问题 |
1.2.2 高铁列控车载设备可靠性分析的主要途径 |
1.2.3 高铁列控车载设备可靠性分析内容 |
1.3 关键技术研究现状 |
1.3.1 数据建模及数据分析研究现状 |
1.3.2 故障特性分析及风险评估研究现状 |
1.3.3 系统可靠性评估研究现状 |
1.3.4 维护维修决策研究现状 |
1.3.5 存在的问题 |
1.4 论文研究思路与组织结构 |
1.4.1 论文研究思路 |
1.4.2 论文组织结构 |
2 面向高铁列控车载设备复杂数据建模与分析 |
2.1 高铁列控车载设备数据特性分析 |
2.2 高铁列控车载设备数据建模 |
2.2.1 高铁列控车载设备运行数据模型 |
2.2.2 高铁列控车载设备数据立方体 |
2.3 高铁列控车载设备运行数据模型实现 |
2.3.1 数据存储平台及数据预处理技术 |
2.3.2 基于数据立方体的高铁列控车载设备故障数据模型实现 |
2.4 高铁列控车载设备故障分布特性分析 |
2.4.1 高铁列控车载设备故障时间分布特性 |
2.4.2 高铁列控车载设备故障空间分布特性 |
2.4.3 高铁列控车载设备故障空间-时间分布特性 |
2.5 本章小结 |
3 基于灰色关联度-理想点法的设备故障风险评估 |
3.1 故障风险评估概念及评估体系建立 |
3.2 高铁列控车载设备故障相关影响度 |
3.2.1 故障传递有向图模型 |
3.2.2 基于Pagerank算法的故障相关性计算 |
3.3 高铁列控车载设备故障发生度 |
3.4 高铁列控车载设备故障严重度 |
3.5 基于灰色关联度-TOPSIS法的故障风险评估方法 |
3.5.1 灰色关联度方法 |
3.5.2 理想点方法 |
3.5.3 高铁列控车载设备故障风险评估 |
3.6 本章小结 |
4 基于贝叶斯估计的高铁列控车载设备可靠性评估方法 |
4.1 可靠性定义及度量指标 |
4.2 高铁列控车载设备故障时间数据及分布 |
4.2.1 高铁列控车载设备故障间隔数据获取 |
4.2.2 指数分布与威布尔分布 |
4.3 基于贝叶斯估计的高铁列控车载设备可靠性评估 |
4.3.1 贝叶斯估计理论 |
4.3.2 马尔科夫链蒙特卡洛方法(MCMC) |
4.3.3 收敛性分析 |
4.3.4 拟合优度检验 |
4.3.5 算例分析 |
4.4 考虑系统差异性的高铁列控车载设备可靠性评估 |
4.4.1 贝叶斯层次模型定义 |
4.4.2 威布尔分布的贝叶斯层次模型 |
4.4.3 算例分析 |
4.5 本章小结 |
5 可靠性约束下高铁列控车载设备维修决策 |
5.1 高铁列控车载设备维修方式及适用性 |
5.2 维修活动与可靠性的关系 |
5.3 以可靠性为约束的维修费用最优模型 |
5.3.1 定期预防性维修的维修费用最优模型 |
5.3.2 顺序预防性维修的维修费用最优模型 |
5.4 量子遗传优化算法 |
5.4.1 种群初始化 |
5.4.2 量子位测量 |
5.4.3 适应度函数计算 |
5.4.4 量子旋转门更新 |
5.4.5 量子变异更新 |
5.4.6 量子遗传优化算法执行流程 |
5.5 算例分析 |
5.6 本章小结 |
6 结论与展望 |
6.1 论文研究工作总结 |
6.2 论文创新点总结 |
6.3 未来研究工作展望 |
参考文献 |
作者简历及攻读博士学位期间取得的研究成果 |
学位论文数据集 |
(3)森林资源数据仓库管理系统研建与数据分析应用技术研究(论文提纲范文)
摘要 |
abstract |
1 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 森林资源异构数据集成的研究现状 |
1.2.2 数据仓库在林业上的应用研究 |
1.2.3 ETL技术的研究 |
1.2.4 OLAP技术的研究 |
1.2.5 林业数据挖掘技术的研究 |
1.2.6 小结 |
1.3 研究目标和内容 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.3.3 研究拟解决的关键问题 |
1.4 研究方法与研究技术路线 |
1.4.1 研究方法 |
1.4.2 研究的技术路线 |
1.5 研究数据 |
1.6 项目来源与经费支持 |
1.7 论文组织结构 |
2 研究的理论与技术基础 |
2.1 数据仓库技术 |
2.1.1 数据仓库的概念 |
2.1.2 数据仓库建模方法 |
2.2 ETL技术 |
2.3 OLAP技术 |
2.3.1 OLAP技术基本概念 |
2.3.2 多维分析的基本操作 |
2.4 数据挖掘技术 |
2.4.1 数据挖掘的概念 |
2.4.2 常用的森林资源数据挖掘算法 |
2.5 本章小结 |
3 森林资源数据仓库设计与构建 |
3.1 森林资源小班数据仓库设计 |
3.1.1 概念模型设计 |
3.1.2 逻辑模型设计 |
3.1.3 物理模型设计 |
3.2 标准地/样地数据仓库设计 |
3.2.1 逻辑模型设计 |
3.2.2 物理模型设计 |
3.3 本章小结 |
4 森林资源异构数据的ETL技术研究 |
4.1 森林资源异构数据ETL需求分析 |
4.2 数据抽取子模型 |
4.3 数据转换子模型 |
4.3.1 数据清洗模块 |
4.3.2 数据转换模块 |
4.4 数据加载子模型 |
4.5 本章小结 |
5 森林资源数据仓库数据分析实例 |
5.1 OLAP与数据挖掘 |
5.2 森林资源数据OLAP技术应用 |
5.2.1 多维数据立方体的建立 |
5.2.2 森林生产功能分析 |
5.2.3 龄组、林种多样性及动态变化分析 |
5.3 森林资源数据挖掘技术应用 |
5.3.1 适地适树规则提取 |
5.3.2 生长收获预测模型拟合 |
5.4 本章小结 |
6 森林资源数据仓库管理系统的研建 |
6.1 系统需求分析 |
6.1.1 用户需求分析 |
6.1.2 功能需求分析 |
6.2 系统结构设计 |
6.2.1 系统体系结构设计 |
6.2.2 系统功能结构设计 |
6.3 森林资源数据仓库管理系统运行实例 |
6.3.1 异构数据源获取 |
6.3.2 数据清洗、转换 |
6.3.3 数据仓库管理 |
6.4 本章小结 |
7 总结与展望 |
7.1 总结 |
7.2 展望 |
参考文献 |
个人简介 |
导师简介 |
致谢 |
(4)多维数据融合的虚拟知识社区个性化知识推荐研究(论文提纲范文)
摘要 |
abstract |
第1章 绪论 |
1.1 研究背景与意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究现状综述 |
1.2.1 虚拟知识社区研究现状 |
1.2.2 个性化推荐研究现状 |
1.2.3 研究现状述评 |
1.3 研究内容与研究方法 |
1.3.1 研究内容 |
1.3.2 研究方法 |
1.4 技术路线 |
1.5 本文创新点 |
第2章 相关概念与理论基础 |
2.1 虚拟知识社区 |
2.1.1 虚拟知识社区的概念 |
2.1.2 虚拟知识社区的特征 |
2.2 多维数据融合 |
2.2.1 多维数据融合的概念 |
2.2.2 多维数据融合的方法 |
2.2.3 多维数据融合的应用 |
2.3 知识推荐 |
2.3.1 知识推荐的概念 |
2.3.2 知识推荐的方法 |
2.4 社会资本理论 |
2.4.1 社会资本的定义 |
2.4.2 社会资本维度划分 |
2.5 用户需求理论 |
2.6 本章小结 |
第3章 虚拟知识社区的用户知识需求分析 |
3.1 虚拟知识社区的用户知识需求特征 |
3.1.1 需求表达的直接性 |
3.1.2 需求表达的间接性 |
3.1.3 需求种类的多样性 |
3.1.4 需求接收的实时性 |
3.1.5 需求服务的高效性 |
3.2 虚拟知识社区的用户知识需求形成原因 |
3.2.1 任务驱动 |
3.2.2 知识偶遇 |
3.2.3 互动交流 |
3.3 虚拟知识社区的用户知识需求类型 |
3.3.1 认知需求 |
3.3.2 情感需求 |
3.3.3 社交需求 |
3.4 虚拟知识社区的用户知识需求影响因素 |
3.4.1 虚拟知识社区的用户知识需求影响因素模型构建 |
3.4.2 虚拟知识社区的用户知识需求影响因素分析 |
3.4.3 虚拟知识社区的用户知识需求影响因素结果讨论 |
3.5 虚拟知识社区的用户知识需求模型 |
3.6 本章小结 |
第4章 虚拟知识社区多维数据的维度划分 |
4.1 多维数据的维度划分依据 |
4.1.1 多维数据的维度划分相关研究 |
4.1.2 用户知识需求与维度划分 |
4.2 多维数据的维度构成 |
4.2.1 用户画像 |
4.2.2 情感感知 |
4.2.3 社交网络 |
4.3 多维数据融合的过程与特征 |
4.3.1 多维数据融合的过程 |
4.3.2 多维数据融合的特征 |
4.4 多维数据融合与知识推荐的关系 |
4.5 本章小结 |
第5章 多维数据融合的虚拟知识社区个性化知识推荐模型 |
5.1 多维数据融合的虚拟知识社区个性化知识推荐功能目标定位 |
5.1.1 知识推荐服务的可用性 |
5.1.2 知识推荐内容的有用性 |
5.1.3 知识推荐结果的适配性 |
5.2 多维数据融合的虚拟知识社区个性化知识推荐动力分析 |
5.2.1 知识主体的牵引 |
5.2.2 知识技术创新发展需求的拉动 |
5.2.3 知识势能差的推动 |
5.2.4 知识创新环境的发展必然 |
5.3 多维数据融合的虚拟知识社区个性化知识推荐模型构成要素 |
5.3.1 主体要素 |
5.3.2 客体要素 |
5.3.3 技术要素 |
5.3.4 环境要素 |
5.4 多维数据融合的虚拟知识社区个性化知识推荐过程 |
5.4.1 知识需求获取阶段 |
5.4.2 多维数据融合阶段 |
5.4.3 知识生成阶段 |
5.4.4 知识推荐和吸收阶段 |
5.5 多维数据融合的虚拟知识社区个性化知识推荐模型构建 |
5.5.1 多维数据融合的虚拟知识社区个性化知识推荐目标 |
5.5.2 多维数据融合的虚拟知识社区个性化知识推荐模型框架 |
5.6 本章小结 |
第6章 多维数据融合的虚拟知识社区个性化知识推荐算法设计 |
6.1 多维数据的获取与融合 |
6.1.1 社交网络维度的数据获取 |
6.1.2 情感感知维度的数据获取 |
6.1.3 用户画像维度的数据获取 |
6.1.4 多维数据融合及用户需求表示 |
6.2 虚拟知识社区知识获取及知识相似性度量 |
6.2.1 知识获取及知识关联 |
6.2.2 知识相似性度量 |
6.3 基于多维数据融合的混合知识推荐算法 |
6.3.1 最大团算法 |
6.3.2 算法原理 |
6.3.3 算法流程 |
6.4 实验准备 |
6.4.1 数据来源 |
6.4.2 实验过程 |
6.5 实验结果及分析 |
6.5.1 多维数据可视化 |
6.5.2 知识推荐结果呈现与比较 |
6.6 本章小结 |
第7章 多维数据融合的虚拟知识社区个性化知识推荐效果评价 |
7.1 多维数据融合的虚拟知识社区个性化知识推荐效果评价问题提出 |
7.2 评价指标体系构建 |
7.2.1 指标构建原则 |
7.2.2 初始指标获取 |
7.2.3 评价指标体系确定 |
7.3 多维数据融合的虚拟知识社区个性化知识推荐效果实证 |
7.3.1 推荐评价模型构建 |
7.3.2 评价指标权重 |
7.3.3 评价过程 |
7.3.4 结果讨论 |
7.4 本章小结 |
第8章 虚拟知识社区个性化知识推荐优化策略 |
8.1 优化的原则与目标 |
8.2 用户画像视角的虚拟知识社区个性化知识推荐优化策略 |
8.2.1 满足用户的多层次需求 |
8.2.2 提升用户自身的知识素养 |
8.3 社交网络视角的虚拟知识社区个性化知识推荐优化策略 |
8.3.1 推动知识共同体的形成与发展 |
8.3.2 加强虚拟知识社区用户间交流与互动 |
8.3.3 开发虚拟知识社区的社交功能 |
8.3.4 社区意见领袖识别与激励机制设计 |
8.4 情感感知视角的虚拟知识社区个性化知识推荐优化策略 |
8.4.1 实现个性化知识推荐的精准性 |
8.4.2 加强知识的整合性与可靠性 |
8.4.3 利用知识可视化丰富推荐知识的形式 |
8.5 本章小结 |
第9章 总结与展望 |
9.1 本文总结 |
9.2 不足与展望 |
参考文献 |
作者简介及在学期间攻读成果 |
附录 |
致谢 |
(5)某电信公司的商业智能分析系统的设计与实现(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
1 引言 |
1.1 项目背景和意义 |
1.2 国内外研究现状 |
1.2.1 商业智能的研究现状 |
1.2.2 客户流失预测的研究现状 |
1.3 本文主要研究内容 |
1.4 论文组织结构 |
1.5 本章小结 |
2 相关理论与关键技术 |
2.1 ETL相关技术 |
2.2 数据仓库技术 |
2.2.1 维度建模概述 |
2.2.2 数据仓库开发过程 |
2.3 联机分析处理技术 |
2.4 数据挖掘 |
2.4.1 数据挖掘概述 |
2.4.2 相关算法介绍 |
2.5 其他技术 |
2.5.1 Quartz框架 |
2.5.2 Hadoop |
2.6 本章小结 |
3 系统需求分析 |
3.1 系统需求概述 |
3.2 系统用户角色分析 |
3.3 系统功能性需求 |
3.3.1 数据源管理 |
3.3.2 kettle ETL子系统 |
3.3.3 权限管理 |
3.3.4 数据挖掘 |
3.3.5 报表子系统 |
3.4 系统非功能性需求 |
3.4.1 性能需求 |
3.4.2 易用性和环境需求 |
3.4.3 可维护性需求 |
3.5 本章小结 |
4 系统概要设计 |
4.1 系统整体设计 |
4.1.1 功能结构设计 |
4.1.2 体系架构设计 |
4.1.3 技术架构设计 |
4.2 系统子模块设计 |
4.2.1 kettle ETL子系统功能结构设计 |
4.2.2 大数据平台设计 |
4.2.3 数据挖掘功能结构设计 |
4.2.4 报表子系统功能结构设计 |
4.2.5 权限管理功能结构设计 |
4.3 数据库设计 |
4.3.1 E-R图设计 |
4.3.2 数据库表字段说明 |
4.3.3 客户流失主题数据仓库设计 |
4.4 本章小结 |
5 系统详细设计与实现 |
5.1 kettle ETL子系统 |
5.1.1 任务管理 |
5.1.2 定时调度 |
5.1.3 日志管理 |
5.1.4 节点管理 |
5.2 客户细分 |
5.2.1 数据理解和预处理 |
5.2.2 K-means模型构建 |
5.3 客户流失预测 |
5.3.1 数据理解和预处理 |
5.3.2 类不平衡样本处理 |
5.3.3 模型构建 |
5.3.4 客户挽留 |
5.4 报表子系统 |
5.4.1 数据建模 |
5.4.2 多维分析 |
5.4.3 统计分析 |
5.4.4 数据报表 |
5.5 权限管理 |
5.6 本章小结 |
6 系统测试 |
6.1 功能性测试 |
6.1.1 测试方案 |
6.1.2 测试结果 |
6.2 实验结果分析 |
6.2.1 实验环境 |
6.2.2 评价指标 |
6.2.3 客户流失实验结果对比 |
6.2.4 客户细分结果分析 |
6.3 非功能性测试 |
6.4 本章小结 |
7 总结与展望 |
7.1 系统总结 |
7.2 不足与展望 |
参考文献 |
作者简历及攻读硕士/博士学位期间取得的研究成果 |
学位论文数据集 |
(6)化学多维校正及高维模式识别基础理论及创新性应用研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 分析化学与化学计量学 |
1.2 化学多维校正 |
1.2.1 仪器响应数据的结构 |
1.2.2 二阶(三维)校正的模型和算法 |
1.2.3 三阶(四维)校正的模型和算法 |
1.2.4 四阶(五维)校正和更高阶(维)校正的模型和算法 |
1.2.5 用于多维校正的免费软件及工具包 |
1.2.6 基于多线性成分模型的多维校正算法的特征和优势 |
1.2.7 多维校正过程中的一些基本问题 |
1.2.8 多维校正方法在各领域中的应用 |
1.3 化学模式识别 |
1.3.1 有监督的模式识别 |
1.3.2 无监督的模式识别 |
1.3.3 化学高维模式识别 |
1.4 本论文的选题意义及主要的研究内容 |
第2章 基于化学计量学数学分离的HPLC-DAD方法快速测定苹果果皮和果肉中的十二种多酚类化合物 |
2.1 前言 |
2.2 理论部分 |
2.2.1 用于HPLC-DAD分析的三线性成分模型 |
2.2.2 交替三线性分解(ATLD)算法 |
2.2.3 品质因子 |
2.3 实验部分 |
2.3.1 实验药品和试剂 |
2.3.2 样本预处理 |
2.3.3 色谱仪器和条件 |
2.3.4 传统HPLC方法比较 |
2.4 结果与讨论 |
2.4.1 原始数据分析及数据分段 |
2.4.2 色谱分析中非三线性因素的影响 |
2.4.3 ATLD算法分解三维数据阵列 |
2.4.4 ATLD辅助的HPLC-DAD方法的定量预测结果 |
2.4.5 方法验证 |
2.5 小结 |
第3章 二阶校正辅助HPLC-DAD筛查中成药和保健品中非甾体抗炎药类非法添加物 |
3.1 前言 |
3.2 理论部分 |
3.2.1 用于HPLC-DAD分析的三线性成分模型 |
3.2.2 交替三线性分解(ATLD)算法 |
3.2.3 品质因子 |
3.3 实验部分 |
3.3.1 实验试剂和溶液 |
3.3.2 中成药和保健品的预处理 |
3.3.3 样本配制 |
3.3.4 色谱仪器和条件 |
3.3.5 传统的HPLC方法验证 |
3.3.6 程序和软件 |
3.4 结果与讨论 |
3.4.1 原始数据分析 |
3.4.2 色谱分析中非三线性因素的影响 |
3.4.3 数据预处理及建模 |
3.4.4 ATLD算法分解三维数据阵列 |
3.4.5 方法验证 |
3.4.6 真实样本分析 |
3.5 小结 |
第4章 一种简单并可直接建模具有时间漂移二阶色谱数据的二阶校正算法 |
4.1 前言 |
4.2 理论部分 |
4.2.1 处理二阶色谱数据的常用模型 |
4.2.2 ATLD-MCR |
4.3 实验部分 |
4.3.1 数据模拟 |
4.3.2 半模拟的LC-MS数据集 |
4.3.3 真实的HPLC-DAD数据集 |
4.3.4 程序和软件 |
4.4 结果和讨论 |
4.4.1 模拟数据集分析 |
4.4.2 半模拟的LC-MS数据集分析 |
4.4.3 真实的HPLC-DAD数据集分析 |
4.5 小结 |
第5章 一种新颖的四维组合算法用于四维校正 |
5.1 前言 |
5.2 理论部分 |
5.2.1 四线性成分模型 |
5.2.2 四维平行因子分析 |
5.2.3 交替四线性分解算法 |
5.2.4 四维组合算法 |
5.3 实验部分 |
5.3.1 模拟的四维数据阵列 |
5.3.2 真实四维数据阵列 |
5.3.3 程序和软件 |
5.4 结果与讨论 |
5.4.1 模拟数据分析 |
5.4.2 真实数据分析 |
5.5 小结 |
第6章 激发发射矩阵荧光结合化学计量学策略快速鉴定和定量山茶油中的廉价植物油掺假 |
6.1 前言 |
6.2 理论部分 |
6.2.1 平行因子分析(PARAFAC) |
6.2.2 线性判别分析(LDA) |
6.2.3 偏最小二乘判别分析(PLS-DA) |
6.2.4 N维偏最小二乘(N-PLS)模型 |
6.2.5 双向二维线性判别分析((2D)~2LDA) |
6.2.6 相关化学计量学软件和参数选择 |
6.3 实验部分 |
6.3.1 油样本 |
6.3.2 训练集和测试集的选择 |
6.3.3 实验仪器和条件 |
6.4 结果与讨论 |
6.4.1 油样本的光谱及其预处理 |
6.4.2 PARAFAC建模 |
6.4.3 模型1:CAO与其它植物油的分类 |
6.4.4 模型2:CAO与单种特定油掺假CAO的分类 |
6.4.5 模型3:CAO与多成分掺假CAO的分类 |
6.4.6 N-PLS回归预测山茶油中的掺假水平 |
6.4.7 样本外检验 |
6.5 小结 |
结论 |
参考文献 |
附录 A 攻读学位期间发表的学术论文 |
附录 B 攻读学位期间发表的会议论文 |
附录 C 攻读学位期间参与的科研项目 |
致谢 |
(7)基于Cesium的多维航道空间信息可视化研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 航道信息可视化研究现状 |
1.2.2 可视化系统研究现状 |
1.3 本文主要研究内容与结构 |
2 多维航道及Cesium相关技术 |
2.1 多维航道及构建 |
2.2 三维GIS相关知识 |
2.2.1 地球椭球模型 |
2.2.2 坐标系统 |
2.2.3 地图投影 |
2.2.4 地图数据服务 |
2.3 Web前端相关技术 |
2.3.1 HTML5 |
2.3.2 AJAX技术 |
2.3.3 Web GL技术 |
2.4 地球引擎Cesium |
2.4.1 Cesium架构分析 |
2.4.2 Cesium特性总结 |
2.4.3 Cesium现状与前景 |
2.5 本章小结 |
3 基于倾斜摄影的3D Tiles三维模型数据生成 |
3.1 倾斜摄影三维数据建模 |
3.1.1 倾斜摄影 |
3.1.2 Smart 3D软件三维建模 |
3.1.3 Cesium三维模型生成存在的问题 |
3.2 Cesium三维模型数据格式 |
3.2.1 glTF格式分析 |
3.2.2 3D Tiles格式分析 |
3.3 Cesium三维模型数据生成 |
3.3.1 无人机拍摄数据 |
3.3.2 三维模型建立 |
3.3.3 数据格式转换 |
3.4 本章小结 |
4 基于Cesium的数据可视化关键技术 |
4.1 LOD技术 |
4.2 可见性剔除 |
4.2.1 可见性剔除问题 |
4.2.2 Cesium中的视锥体剔除构建 |
4.2.3 Cesium中的地平线剔除构建 |
4.3 Cesium海量数据的加载调度 |
4.3.1 Cesium海量数据的加载调度问题 |
4.3.2 Cesium影像数据的加载 |
4.3.3 Cesium地形数据的加载 |
4.3.4 Cesium三维模型数据的加载 |
4.4 本章小结 |
5 基于Cesium多维航道可视化实现 |
5.1 系统整体架 |
5.2 功能需求 |
5.3 服务器端实现 |
5.4 Web前端可视化模块功能设计 |
5.4.1 视图切换模块设计 |
5.4.2 图层管理模块设计 |
5.4.3 航线模拟模块设计 |
5.5 Cesium可视化实现 |
5.5.1 基础数据 |
5.5.2 功能实现 |
5.6 本章小结 |
6 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
作者简历及攻读硕士学位期间的科研成果 |
(8)校史地图信息的时空对象建模与可视化表达技术研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 论文研究背景 |
1.2 研究现状分析 |
1.2.1 时空数据模型的研究现状 |
1.2.2 历史地图的研究现状 |
1.2.3 时空数据可视化方法的研究现状 |
1.2.4 存在问题分析 |
1.3 研究目的与研究意义 |
1.3.1 研究目的 |
1.3.2 研究意义 |
1.4 研究内容与组织架构 |
1.4.1 研究内容 |
1.4.2 组织架构 |
第二章 校史地图信息的对象化描述方法 |
2.1 基于多粒度时空对象的校史地图相关概念 |
2.1.1 多粒度时空对象概述 |
2.1.2 校史地图概述 |
2.1.3 基于多粒度时空对象的校史地图与传统校史地图的区别 |
2.2 校史地图信息的对象化描述框架 |
2.2.1 校史地图信息对象化描述的特点 |
2.2.2 校史地图信息对象化描述的基本内容 |
2.2.3 校史地图不同时空对象的描述框架设计 |
2.3 校史地图中时空对象的特征项描述 |
2.3.1 基本特征项的描述 |
2.3.2 拓展特征项的描述 |
2.4 校史地图中对象类的具体描述 |
2.4.1 学校类 |
2.4.2 职能部门类 |
2.4.3 人员类 |
2.4.4 校园景观类 |
2.5 本章小结 |
第三章 校史地图信息的时空对象建模方法 |
3.1 校史地图信息的对象化建模框架 |
3.1.1 校史地图信息的对象化建模流程 |
3.1.2 校史地图信息的对象化建模关键技术 |
3.2 时空对象类模板的设计 |
3.2.1 时空域的设置 |
3.2.2 类模板总体结构的设计 |
3.2.3 类模板具体信息的设计 |
3.3 校史地图对象的实例化 |
3.3.1 对象实例化的基本流程 |
3.3.2 数据的获取与处理方法 |
3.3.3 时空对象版本的建立 |
3.3.4 时空对象信息的实例化 |
3.4 基于版本技术的对象数据管理 |
3.4.1 对象版本技术 |
3.4.2 对象数据的组织与存储 |
3.4.3 对象数据的访问与调度 |
3.5 校史地图信息的时空对象建模实例 |
3.5.1 类模板设计实现 |
3.5.2 对象实例化实现 |
3.6 本章小结 |
第四章 校史地图的可视化表达技术研究 |
4.1 校史地图的可视化表达模型 |
4.1.1 校史地图的可视化表达流程 |
4.1.2 校史地图可视化表达的关键技术 |
4.2 校史地图的可视化表达分类体系 |
4.2.1 基于多粒度时空对象的校史地图分类 |
4.2.2 校史地图可视化内容的分类及确定 |
4.2.3 校史地图对象化数据的选取 |
4.2.4 基于对象化数据的可视化方法的分类 |
4.3 对象化数据的可视化方法的设计 |
4.3.1 单特征项数据可视化方法的设计 |
4.3.2 多特征项数据可视化方法的设计 |
4.4 基于用户交互的可视化功能设计 |
4.4.1 用户交互功能的设计 |
4.4.2 基于用户交互的多粒度功能设计 |
4.4.3 ·基于用户交互的个性化功能设计 |
4.5 校史地图的可视化表达实例 |
4.5.1 可视化数据的确定 |
4.5.2 可视化方法的确定 |
4.5.3 可视化功能的展现 |
4.6 本章小结 |
第五章 校史地图实验系统的设计与实现 |
5.1 实验系统与环境简介 |
5.1.1 相关软硬件基础 |
5.1.2 多粒度时空对象建模工具简介 |
5.2 实验系统的总体设计 |
5.2.1 实验系统总体框架的设计 |
5.2.2 实验系统功能模块的设计 |
5.3 实验数据 |
5.4 实验系统功能模块的实现 |
5.4.1 数据生成模块 |
5.4.2 可视化模块 |
5.5 本章小结 |
第六章 总结与展望 |
6.1 主要工作总结 |
6.2 本文创新点 |
6.3 研究不足与展望 |
致谢 |
参考文献 |
作者简介 |
(9)面向多场景的大数据分析系统的研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 大数据多维分析技术研究现状 |
1.2.2 分布式机器学习技术研究现状 |
1.2.3 国内外研究现状总结 |
1.3 硕士在读期间主要工作 |
1.4 研究内容与论文工作 |
1.5 论文组织结构 |
第二章 相关技术及理论研究 |
2.1 大数据查询引擎研究 |
2.1.1 Apache Hive |
2.1.2 Spark SQL |
2.1.3 Apache Kylin |
2.2 分布式机器学习研究 |
2.2.1 机器学习Pipeline |
2.2.2 分布式计算框架Spark |
2.2.3 Apache Livy |
2.3 系统服务架构技术 |
2.3.1 Spring Boot |
2.3.2 Flask |
2.3.3 WebSocket |
2.4 本章小节 |
第三章 多维分析中混合查询引擎的设计与实现 |
3.1 研究挑战 |
3.2 整体架构 |
3.3 查询引擎路由策略 |
3.4 统一SQL生成策略 |
3.5 实验分析 |
3.5.1 实验环境与实验数据 |
3.5.2 实验设计与结果分析 |
3.6 本章小节 |
第四章 挖掘分析中机器学习Pipeline构造方法的设计与实现 |
4.1 研究挑战 |
4.2 整体架构 |
4.3 处理模块 |
4.4 通信结构 |
4.5 构造方法 |
4.5.1 算子的分类 |
4.5.2 流程的构建与验证 |
4.5.3 流程的翻译与执行 |
4.6 实验分析 |
4.6.1 实验环境与实验数据 |
4.6.2 实验设计 |
4.6.3 实验结果 |
4.7 本章小结 |
第五章 面向多场景的大数据分析系统的设计与实现 |
5.1 需求分析 |
5.1.1 系统业务需求分析 |
5.1.2 系统功能需求分析 |
5.2 系统架构设计 |
5.2.1 功能结构设计 |
5.2.2 技术架构设计 |
5.2.3 整体架构设计 |
5.3 数据库设计 |
5.4 模块设计及实现 |
5.4.1 数据源管理模块 |
5.4.2 混合多维分析模块 |
5.4.3 分布式可视化机器学习模块 |
5.5 系统测试与评估 |
5.5.1 页面展示 |
5.5.2 系统测试 |
5.6 本章小节 |
第六章 总结与展望 |
6.1 工作总结 |
6.2 未来展望 |
参考文献 |
致谢 |
攻读学位期间取得的研究成果 |
(10)大数据探索式多维分析及可视化系统的设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题研究背景与意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究现状及分析 |
1.2.1 多维分析可视化技术研究现状 |
1.2.2 探索式可视化系统研究现状 |
1.2.3 国内外研究现状总结 |
1.3 研究内容与论文工作 |
1.4 硕士在读期间主要工作 |
1.5 论文组织结构 |
第二章 相关理论及技术研究 |
2.1 数据可视化 |
2.1.1 数据可视化定义及流程 |
2.1.2 数据可视化分类 |
2.1.3 Web可视化技术 |
2.2 数据渲染交互技术 |
2.2.1 数据处理技术 |
2.2.2 多维分析技术 |
2.3 本章小结 |
第三章 面向大数据场景的多维数据可视化实时更新方法的研究 |
3.1 面向多维数据的可视化方法的设计与实现 |
3.2 基于WebSocket实时更新的设计与实现 |
3.2.1 传统的实时更新方法 |
3.2.2 WebSocket协议概述 |
3.2.3 WebSocket实时更新方法的实现 |
3.3 实验结果分析 |
3.4 本章小结 |
第四章 探索式智能可视化多维分析方法的研究 |
4.1 研究挑战 |
4.2 探索式智能可视化多维分析方法 |
4.2.1 数据探索技术 |
4.2.2 图表配置技术 |
4.2.3 人机交互技术 |
4.3 本章小结 |
第五章 探索式多维分析及可视化系统的设计与实现 |
5.1 系统需求分析 |
5.1.1 系统概述 |
5.1.2 业务需求 |
5.1.3 功能需求 |
5.2 可视化系统总体设计 |
5.2.1 系统架构设计 |
5.2.2 功能流程设计 |
5.3 可视化系统模块设计及实现 |
5.3.1 数据源导入模块 |
5.3.2 数据处理及建模模块 |
5.3.3 可视化多维数据模块 |
5.3.4 探索交互视图模块 |
5.3.5 视图动态组合模块 |
5.4 本章小结 |
第六章 系统部署与测试 |
6.1 系统部署 |
6.2 系统功能模块测试 |
6.2.1 数据源导入模块测试 |
6.2.2 数据处理及建模模块测试 |
6.2.3 可视化多维数据模块测试 |
6.2.4 探索交互视图模块测试 |
6.2.5 视图动态组合模块测试 |
6.3 系统性能测试 |
6.4 系统测试结果分析 |
6.5 本章小结 |
第七章 总结与展望 |
7.1 工作总结 |
7.2 未来展望 |
参考文献 |
致谢 |
攻读学位期间取得的研究成果 |
四、基于关系数据模型的多维数据建模方法的研究(论文参考文献)
- [1]大数据多维建模分析平台的研究与实现[D]. 田川. 北京邮电大学, 2021(01)
- [2]高铁列控车载设备可靠性评估及维修决策方法研究[D]. 陈斌. 北京交通大学, 2020(03)
- [3]森林资源数据仓库管理系统研建与数据分析应用技术研究[D]. 许诗怡. 北京林业大学, 2020
- [4]多维数据融合的虚拟知识社区个性化知识推荐研究[D]. 李泽中. 吉林大学, 2020(08)
- [5]某电信公司的商业智能分析系统的设计与实现[D]. 谢迎凤. 北京交通大学, 2020(03)
- [6]化学多维校正及高维模式识别基础理论及创新性应用研究[D]. 王童. 湖南大学, 2020(08)
- [7]基于Cesium的多维航道空间信息可视化研究[D]. 刘欣然. 大连海事大学, 2020(01)
- [8]校史地图信息的时空对象建模与可视化表达技术研究[D]. 郭玥晗. 战略支援部队信息工程大学, 2020(08)
- [9]面向多场景的大数据分析系统的研究与实现[D]. 周康. 北京邮电大学, 2020(04)
- [10]大数据探索式多维分析及可视化系统的设计与实现[D]. 孔慧慧. 北京邮电大学, 2020(05)