期刊文献+
共找到371篇文章
< 1 2 19 >
每页显示 20 50 100
基于大数据平台的信令数据采集技术研究 预览
1
作者 吴良 《电子科技》 2019年第5期89-91,95共4页
针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大... 针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大数据平台的信令数据采集架构,主要包括大数据信令采集架构、大数据信令采集模式以及大数据信令采集内容3部分。所设计的面向大数据平台的信令数据采集技术架构可以有效适用于海量信令数据采集场景,为实现大规模分布式信令数据采集提供了工具。 展开更多
关键词 大数据平台 海量数据 信令监测 信令数据采集
在线阅读 免费下载
基于正则表达式的海量数据清洗系统 预览
2
作者 常征 吕勇 《计算机应用》 CSCD 北大核心 2019年第10期2942-2947,共6页
针对目前主流的数据提取、变形、加载(ETL)工具和受限环境下一些应用的不足之处,结合受限应用场景下的特殊要求,提出一种基于正则表达式的海量数据清洗系统(REMCS)。REMCS首先针对超长错误数据问题、批量数据源文件融合问题、数据源文... 针对目前主流的数据提取、变形、加载(ETL)工具和受限环境下一些应用的不足之处,结合受限应用场景下的特殊要求,提出一种基于正则表达式的海量数据清洗系统(REMCS)。REMCS首先针对超长错误数据问题、批量数据源文件融合问题、数据源文件自动分拣问题等典型的6个问题找到数据的特点,其次根据数据的特点设置合适的正则表达式和预处理算法,然后使用算法模型去除数据中的错误完成数据预处理工作。同时详细阐述了REMCS的系统逻辑结构、常见问题、对应的解决算法和代码实现方案。最后通过对兼容的数据源文件格式、能够处理的问题种类、问题处理时间、处理数据极限值等4个方面进行对比,从几组常见的数据处理问题的对比实验可知,相较于传统的ETL工具,REMCS支持csv格式、json格式、dump格式等典型的9种文件格式,能够处理全部的6种常见问题,处理时间更短,能够支持的数据极限值更大。实验结果验证了针对受限应用场景下常见的数据处理问题,REMCS具有很好的适用性和准确性。 展开更多
关键词 正则表达式 数据清洗 大数据 提取、变形、加载工具
在线阅读 下载PDF
基于MapInfo的海量卫星影像管理与分析 预览
3
作者 方青 肖卫峰 杜延峰 《测绘与空间地理信息》 2019年第3期140-142,共3页
实现海量卫星影像资料快速有效的管理,对开展大区域大数据量的生产任务具有重要意义。本文以天绘卫星影像数据为例,介绍通过自编程序读取关键信息,利用MapInfo软件实现海量影像数据快速有效的管理分析,解决现实生产中的难题。
关键词 海量数据 快速有效 管理分析
在线阅读 下载PDF
基于NTM的配电主站海量数据可靠性分析及应用 预览
4
作者 艾绍伟 《电工电气》 2019年第7期55-58,共4页
保证大数据量采集的可靠性是确保配电网运行的关键。提出了一种通过NTM(Network Time Machine)在线分析系统对配电主站海量数据可靠性进行分析的方法,给出了对主站数据可靠性进行测试的总体思路,并对测试方法实际应用表明,该方法可以对... 保证大数据量采集的可靠性是确保配电网运行的关键。提出了一种通过NTM(Network Time Machine)在线分析系统对配电主站海量数据可靠性进行分析的方法,给出了对主站数据可靠性进行测试的总体思路,并对测试方法实际应用表明,该方法可以对配电网的遥测数据、遥信数据进行精确的统计和分析,也可以对配电网终端层上送主站系统的时延性进行测试。 展开更多
关键词 配电网 可靠性 海量数据 在线分析系统
在线阅读 下载PDF
应对海量数据的超短期负荷预测在实时电力市场的应用研究 预览
5
作者 李家璐 何剑军 +2 位作者 张坤 刘敬诚 吕勃翰 《电力大数据》 2019年第12期21-27,共7页
在开展实时现货市场和辅助服务市场的过程中,负荷预测的精度和速度成为影响各主体报价结果的瓶颈。负荷预测越准确,越有利于保障各市场主体报价的公平性和经济性。本文为解决该问题,选择南方电网某区域的历史负荷作为研究对象,通过对其... 在开展实时现货市场和辅助服务市场的过程中,负荷预测的精度和速度成为影响各主体报价结果的瓶颈。负荷预测越准确,越有利于保障各市场主体报价的公平性和经济性。本文为解决该问题,选择南方电网某区域的历史负荷作为研究对象,通过对其日负荷曲线进行分析,考虑将工作日和非工作日的海量负荷数据进行了筛选和预处理,并针对各自的负荷特性进行了分析,确定了分别预测建模的预测路线,同时本文将当前常用的几种预测算法进行了比较,通过对比优缺点,针对超短期负荷预测的预测时间短、预测速度高的要求,最终选择负荷求导法作为超短期负荷预测的数学模型。最后通过对南网某省的实际负荷进行了算例验证,结果表明该方法具有预测速度快,预测精度高,适应度高,技术系统占用率低的特点。 展开更多
关键词 超短期负荷预测 海量数据 负荷求导法 实时现货市场 快速预测
在线阅读 下载PDF
海量数据驱动下的高分辨率海洋数值模式发展与展望 预览
6
作者 宋振亚 刘卫国 +3 位作者 刘鑫 苏天赟 刘海行 尹训强 《海洋科学进展》 CAS CSCD 北大核心 2019年第2期161-170,共10页
海洋数值模式是定量描述海洋物理现象及其变化的数值模型,也是海洋与气候研究、预测的核心工具。随着海洋观测的不断投入与积累、对海洋认识的不断深入,特别是在高性能计算技术的支撑下,海洋数值模式已有了长足进步,正朝着高分辨率和多... 海洋数值模式是定量描述海洋物理现象及其变化的数值模型,也是海洋与气候研究、预测的核心工具。随着海洋观测的不断投入与积累、对海洋认识的不断深入,特别是在高性能计算技术的支撑下,海洋数值模式已有了长足进步,正朝着高分辨率和多物理过程的方向发展。随着分辨率的提高、物理过程的细化,海洋数值模式的发展面临着多个方面的挑战。当前,海洋数据数量和种类不断增多,同时超级计算机、高性能计算和深度学习等技术的快速发展,为海洋数值模式的突破提供了机遇与挑战。本研究回顾了海洋数值模式的发展现状,梳理和分析了其发展中遇到的大规模高效并行计算和参数优化这两个关键问题,探讨和展望了当前海量数据驱动下海洋数值模式的发展趋势。提出计算负载均衡、计算与I/O重叠的并行流水线设计以及降低全局交换的算法改进是当前突破高分辨率海洋模式大规模高效并行效率的关键。从海洋科学、高性能计算以及深度学习深度交叉融合的角度,提出了实现海洋科学与深度学习相结合的6个途径,在此基础上,探讨了基于深度学习的参数化优化可能实现的途径。 展开更多
关键词 海洋数值模式 海量数据 物理参数优化 高分辨率 深度学习 高性能计算
在线阅读 下载PDF
海量数据驱动的变压器故障类型高性能诊断方法 预览
7
作者 刘洋 刘洋 +2 位作者 许立雄 马晨霄 杨得洋 《电测与仪表》 北大核心 2019年第17期88-95,共8页
电力变压器故障与否直接影响电力系统运行可靠性,准确且高效的变压器故障诊断有助于及时发现电网不安全因素。文章提出一种基于海量数据驱动的优选训练样本的分布式神经网络决策变压器故障类型方法。首先通过比值法求取DGA的比值型特征... 电力变压器故障与否直接影响电力系统运行可靠性,准确且高效的变压器故障诊断有助于及时发现电网不安全因素。文章提出一种基于海量数据驱动的优选训练样本的分布式神经网络决策变压器故障类型方法。首先通过比值法求取DGA的比值型特征向量,根据皮尔逊相关系数和欧氏距离双指标计算方法在各类别中选取更具该类代表性数据作为训练样本;再通过插值-随机抽样方法应对训练样本类间数据不平衡问题并对其进行抽样分块;为适应海量数据处理,在Spark平台上将BPNN算法并行化实现以提高算法性能表现,各BPNN学习不同训练样本块构建性能不同的子分类器;最后对子分类结果多数投票得到最终诊断类型。算例表明所提方法对变压器故障类型诊断效果良好,诊断正确率较IEC三比值法和传统串行BPNN高,证明了该方法对于变压器故障类型诊断的有效性与适用性。 展开更多
关键词 电力变压器 故障诊断 海量数据 DGA SPARK BPNN 插值-随机抽样
在线阅读 下载PDF
基于K-Means算法和重心法求解多配送中心选址问题 预览
8
作者 许彦宸 戴韬 《物流技术》 2019年第6期69-73,共5页
分析了P-中值模型的特点,阐述了传统的模型与算法在求解大量需求点选择问题的局限性,提出了利用改进K-Means算法和重心法相结合的方式来求解该问题的思路,并提出以噪音率来刻画选址的效果,利用公开的数据设计了数值实验,证明该算法是收... 分析了P-中值模型的特点,阐述了传统的模型与算法在求解大量需求点选择问题的局限性,提出了利用改进K-Means算法和重心法相结合的方式来求解该问题的思路,并提出以噪音率来刻画选址的效果,利用公开的数据设计了数值实验,证明该算法是收敛且实用的。 展开更多
关键词 K-MEANS 重心法 多设施选址 P-中值模型 海量数据
在线阅读 下载PDF
面向海量数据的海情分析技术研究 预览
9
作者 杨荣芳 《兵器装备工程学报》 CAS 北大核心 2018年第4期97-100,142共5页
现代情报系统积累的情报数据具有快速积累、类型多样、关系复杂、数据量大等特点,难以做到全面细致的研究,数据挖掘能够有效利用这些数据中的潜在价值,较好地解决情报数据分析中存在的问题,在军事领域中具有很好的应用前景。以渤海海情... 现代情报系统积累的情报数据具有快速积累、类型多样、关系复杂、数据量大等特点,难以做到全面细致的研究,数据挖掘能够有效利用这些数据中的潜在价值,较好地解决情报数据分析中存在的问题,在军事领域中具有很好的应用前景。以渤海海情应用为需求,将数据挖掘引入海情业务系统中,对海量情报数据进行分析,提出了一种面向海量数据的海情数据分析软件总体框架,探讨了多源异构数据的高效检索、基于轨迹的目标运动规律与异常检测、基于模板的目标意图表示与挖掘等关键技术,为进一步提升渤海海区情报处理能力提供技术支撑。 展开更多
关键词 海量数据 数据挖掘 数据分析 软件总体架构
在线阅读 免费下载
基于数据缓冲池技术的二次设备状态评价数据处理方法 预览
10
作者 李金 高寿 《信息技术与网络安全》 2018年第3期131-133,149共4页
提出了一种在主站端针对大量二次设备状态监测数据进行分析、处理、评价的解决方案。通过监测数据解析任务读取监测信息,并从数据库中找到需要进行状态评价的数据对象,将其填入数据缓冲池中,状态评价任务循环访问数据缓冲池,对缓冲池中... 提出了一种在主站端针对大量二次设备状态监测数据进行分析、处理、评价的解决方案。通过监测数据解析任务读取监测信息,并从数据库中找到需要进行状态评价的数据对象,将其填入数据缓冲池中,状态评价任务循环访问数据缓冲池,对缓冲池中的数据对象进行处理、评价,完成后将缓冲池中的数据对象和评价结果在数据库中进行更新入库保存,实现了多任务并行处理。通过标记状态评价对象在缓冲池中的任务状态,避免了重复评价相同的数据对象,提高了系统使用效率。 展开更多
关键词 状态监测 数据缓冲 大量数据 数据处理 状态评价 二次设备
在线阅读 下载PDF
移动防汛应急Mobile GIS系统设计与实现 预览 被引量:1
11
作者 程昊 普恒 +1 位作者 刘建华 杜明义 《北京测绘》 2018年第3期260-265,共6页
基于移动终端的防汛信息查询系统应用广泛,但由于实际防汛抢险业务的复杂性,满足防汛应急工作全生命周期业务的处理软件仍不完善。针对这一现状,本文提出移动防汛应急Mobile GIS系统的设计架构与实现方式。首先,确立以Android主活动、... 基于移动终端的防汛信息查询系统应用广泛,但由于实际防汛抢险业务的复杂性,满足防汛应急工作全生命周期业务的处理软件仍不完善。针对这一现状,本文提出移动防汛应急Mobile GIS系统的设计架构与实现方式。首先,确立以Android主活动、自定义View以及全局Application作为系统的基础底层框架,其中主活动负责防汛多业务逻辑之间的信息交换,由自定义View衍生出的Dialog等视图层实现信息展示,全局Application实现数据的统一调度管理。其次,在此基础框架上构建案件处理、汛情信息查询、预警信息推送三大功能层;最后对防汛多源异构数据处理分析的关键技术进行探究,提出了切实可行的实现方案并实践应用。 展开更多
关键词 安卓 移动地理信息系统 移动防汛应急 多源数据处理 汛情大数据
在线阅读 下载PDF
基于海量数据集中式数字图形仿真视景系统的研究与应用
12
作者 贾如春 《激光杂志》 北大核心 2018年第11期195-199,共5页
本文基于海量数据集中式结合目前在传统视景仿真系统模拟下大规模高细节度的自然环境深入研究,从现在数据处理的规模已经达到TB甚至PB级,并且场景要求也越来越精细,难易达到效果进行分析。为了提高视景仿真的真实度、高效率的实时渲染... 本文基于海量数据集中式结合目前在传统视景仿真系统模拟下大规模高细节度的自然环境深入研究,从现在数据处理的规模已经达到TB甚至PB级,并且场景要求也越来越精细,难易达到效果进行分析。为了提高视景仿真的真实度、高效率的实时渲染。本文提出通过研究海量视景数据库技术、并行绘制技术,基于海量集中式大规模地景数据库的管理和调度算法,利用视景数据库技术、并行绘制技术、反走样(抗混叠技术)、显示解算技术、实时复杂气象视景效果模拟技术、快速地从海量数据中进行数学图像处理建模,通过海量数据构成的特点和帧间负载平衡算法进行测试,多次试验测试突破了传统的视景模式,完成了视景系统的并行绘制架构应用。 展开更多
关键词 海量数据 数据管理 调度算法 视景系统 显示解算
建筑裂缝大数据处理平台架构 预览 被引量:5
13
作者 任晓宇 黄晨 +1 位作者 田畅顺 王琦 《建筑技术》 2018年第1期61-64,共4页
建筑裂缝影响建筑物的安全和美观,裂缝变化过程中会产生大量数据,将大数据应用到建筑裂缝中是技术发展的需要。若国家建立建筑数据平台,存储试验、工程和事故的大数据,通过输入数据条件可直接输出构件的最佳设计结果。结合结构构件... 建筑裂缝影响建筑物的安全和美观,裂缝变化过程中会产生大量数据,将大数据应用到建筑裂缝中是技术发展的需要。若国家建立建筑数据平台,存储试验、工程和事故的大数据,通过输入数据条件可直接输出构件的最佳设计结果。结合结构构件的传统公式及设计方法,构建建筑裂缝大数据平台,建设建筑裂缝数据中心,运用大数据随机森林和GDBT算法估测出最佳建筑构件的设计,对建筑裂缝进行分析和预测并提出裂缝处理的解决方案。 展开更多
关键词 大数据 建筑裂缝 数据分析 随机森林模型
在线阅读 下载PDF
基于大数据的ETL中的数据清洗方案研究 预览 被引量:1
14
作者 周瀚章 冯广 +2 位作者 龚旭辉 曾虎 徐启东 《工业控制计算机》 2018年第12期108-110,共3页
ETL,又被称为数据仓库技术,是指数据源经过抽取(Extract)、转换(Transform)、加载(Load)的过程。在运用ETL技术的过程中,会产生一些有着错误属性的数据,特别是在大数据时代的背景下,这种错误数据量往往十分庞大,传统的数据清洗方案效果... ETL,又被称为数据仓库技术,是指数据源经过抽取(Extract)、转换(Transform)、加载(Load)的过程。在运用ETL技术的过程中,会产生一些有着错误属性的数据,特别是在大数据时代的背景下,这种错误数据量往往十分庞大,传统的数据清洗方案效果不甚理想。设计一种基于大数据的ETL的高效数据清洗方案,通过对27组数据的清洗,将数据清洗方案与传统数据清洗方案进行对比,实验结果表明:该数据清洗方案能够有效提高数据清洗的效率,并且保持较高的准确性。 展开更多
关键词 数据清洗 ETL技术 海量数据
在线阅读 下载PDF
PCB品质数据可视化与智能化控制技术 预览
15
作者 杜晓伟 《印制电路信息》 2018年第A02期579-585,共7页
质检作为PCB生产的重要一环。我们需要根据不同的客户制定不同的质检方案,购买不同的检测仪器与设备,甚至指派专员跟进产品的每一道工序。由此产生的海量品质数据,包含制作流程参数,中检缺陷数据,功能性测试结果,尺寸测量数据,... 质检作为PCB生产的重要一环。我们需要根据不同的客户制定不同的质检方案,购买不同的检测仪器与设备,甚至指派专员跟进产品的每一道工序。由此产生的海量品质数据,包含制作流程参数,中检缺陷数据,功能性测试结果,尺寸测量数据,以及终检报废数据等,都是产品允许出厂最重要的凭据。借大数据时代的到来.我们也将数据可视化技术引入到PCB的品质系统中。采用SQL技术及Windows应用程序开发技术,我们将品质数据高度聚合,实现周期性的成品率和报废率的统计,形成动态的趋势图表。在这基础上,我们制定了周期性的品质目标。通过比对目标值与实际趋势。我们制定改善或纠正措施,降低甚至避免缺陷的产生。达到智能化控制。 展开更多
关键词 海量品质数据 数据可视化 智能化控制
在线阅读 下载PDF
基于海量数据分析与挖掘技术的自动化检测响应场景设计 预览
16
作者 董娜 刘伟娜 +1 位作者 张红梅 侯波涛 《科学与信息化》 2018年第34期36-37,共2页
随着网络海量数据的增长和恶意程序大规模爆发,传统的检测技术无法应对未知的攻击模式,异常检测技术和混合型检测技术被提出。据此,本文介绍了入侵检测技术和数据挖掘模型分析,在此基础上提出了基于海量数据分析与挖掘技术的自动化检测... 随着网络海量数据的增长和恶意程序大规模爆发,传统的检测技术无法应对未知的攻击模式,异常检测技术和混合型检测技术被提出。据此,本文介绍了入侵检测技术和数据挖掘模型分析,在此基础上提出了基于海量数据分析与挖掘技术的自动化检测响应场景。 展开更多
关键词 海量数据 数据挖掘 入侵检测
在线阅读 免费下载
高等学校大数据思想政治教育评价系统研究 预览
17
作者 蒋海彬 郝桂荣 刘刚 《锦州医科大学学报:社会科学版》 2018年第1期103-105,共3页
系统不仅是一种理论,也是一种思维方式和处理问题的基本工具。任何事物都是由不同层次的系统组成,每一个系统都具有不同的结构形式。研究高等学校思想政治教育评价系统及结构,有利于认清高等学校思想政治教育评价系统的本质,把握思想政... 系统不仅是一种理论,也是一种思维方式和处理问题的基本工具。任何事物都是由不同层次的系统组成,每一个系统都具有不同的结构形式。研究高等学校思想政治教育评价系统及结构,有利于认清高等学校思想政治教育评价系统的本质,把握思想政治教育评价中的重点环节,推动评价方法的创新,提高评价效果。本文利用系统论分析方法,将高校大数据思想政治教育评价系统构建为过程系统和层次系统并研究其具体结构,提出了大数据思想政治教育评价层次系统结构优化策略。 展开更多
关键词 大数据 思想政治教育 评价系统 方法
在线阅读 下载PDF
大数据应用于高职教育内部质量保障体系的优势及对策探析 预览 被引量:1
18
作者 谭素美 《岳阳职业技术学院学报》 2018年第4期49-53,共5页
大数据应用于高职教育内部质量保障体系是迎合大数据时代潮流、适应国家政策走向及实现高职教育现代化的需要,目前高职教育内部质量保障体系的子系统存在着各种不同的问题,通过将大数据运用于内部质量保障体系所带来的优势可解决这些问... 大数据应用于高职教育内部质量保障体系是迎合大数据时代潮流、适应国家政策走向及实现高职教育现代化的需要,目前高职教育内部质量保障体系的子系统存在着各种不同的问题,通过将大数据运用于内部质量保障体系所带来的优势可解决这些问题,因此高职院校应培养师生数据意识,建立大数据应用平台,健全大数据安全使用规范,全力培养大数据人才。 展开更多
关键词 大数据 高职教育 内部质量保障体系
在线阅读 下载PDF
基于分形聚集维数的都市旅游吸引物空间特征研究——以上海徐家汇源景区为例 预览
19
作者 高可欣 高峻 +1 位作者 付晶 张中浩 《旅游研究》 2018年第5期84-94,共11页
分形聚集维数的测算可以反映景区旅游吸引物系统空间集聚特征,从而为景区吸引物空间结构的优化提供相应的策略。基于旅游大数据视角,将大众点评上的评论数和评分进行加权计算,结合几何中心确定系统重心吸引物,计算整个景区及其分类子系... 分形聚集维数的测算可以反映景区旅游吸引物系统空间集聚特征,从而为景区吸引物空间结构的优化提供相应的策略。基于旅游大数据视角,将大众点评上的评论数和评分进行加权计算,结合几何中心确定系统重心吸引物,计算整个景区及其分类子系统的集聚分形维数。结果表明:系统整体存在两个无标度区间且都具有集聚特征。历史建筑吸引物系统重心对其他吸引物具有较强的吸附作用;商业中心和文体场馆吸引物围绕系统重心呈双分形集聚式分布;公园绿地吸引物呈离散状态分布。应培养景区中心的商业中心和历史建筑为核心旅游吸引物,推动外围公园绿地和文体场馆类旅游吸引物建设,充分利用重心吸引物空间分布合理规划旅游路线和旅游产品。同时,在系统重心吸引物间建设景观廊道,提高景区内区域旅游的连贯性和通达性。 展开更多
关键词 聚集维数 分形理论 大数据 旅游吸引物 徐家汇源
在线阅读 免费下载
地震数据转储与质量监控技术 预览
20
作者 王建锋 郭明杰 +3 位作者 孙哲 魏振辉 赵宇龙 任艳永 《石油管材与仪器》 2018年第5期8-10,共3页
为解决现场海量数据转储速度低问题,开发了以并行方式为核心的地震数据转储与质量监控软件。介绍了软件所采用的技术,通过实际生产项目的应用,证明该技术可以满足高效采集海量地震数据转储的需求。
关键词 地震勘探 海量数据 快速转储 磁带拷贝 质控
在线阅读 下载PDF
上一页 1 2 19 下一页 到第
使用帮助 返回顶部 意见反馈