期刊文献+
共找到541篇文章
< 1 2 28 >
每页显示 20 50 100
基于可视块的多记录型复杂网页信息提取算法 预览
1
作者 王卫红 梁朝凯 闵勇 《计算机科学》 CSCD 北大核心 2019年第10期63-70,共8页
网页具有丰富的内容和复杂多变的结构,现有的网页信息提取技术解决了单记录型简单页面的信息提取问题,但是对于多记录型复杂页面的信息提取效果往往不佳。文中提出了一种全新的基于可视块的复杂网页信息自动化提取算法(Visual Block Bas... 网页具有丰富的内容和复杂多变的结构,现有的网页信息提取技术解决了单记录型简单页面的信息提取问题,但是对于多记录型复杂页面的信息提取效果往往不佳。文中提出了一种全新的基于可视块的复杂网页信息自动化提取算法(Visual Block Based Information Extraction,VBIE),通过启发式规则构建可视块与可视块树,然后通过区域聚焦、噪声过滤及可视块筛选,实现了对复杂网页中数据记录的提取。该方法摒弃了以往算法对网页结构的特定假设,无需对HTML文档进行任何人工标记,保留了网页的原始结构,且能够在单页面上实现无监督的信息提取。实验结果表明,VBIE的网页信息提取精确度最高可达100%,在主流搜索引擎的结果页面和社区论坛的帖子页面上的F1均值分别为98.5%和96.1%。相比目前方法中在复杂网页上提取效果较好的CMDR方法,VBIE的F1值提高了近16.3%,证明了该方法能够有效解决复杂网页的信息提取问题。 展开更多
关键词 WEB数据抽取 WEB挖掘 数据记录提取 网页数据提取 结构化信息
在线阅读 免费下载
浅析数据挖掘应用与图书馆智慧门户建设 预览
2
作者 窦剑 《四川图书馆学报》 2019年第2期42-44,共3页
基于web的数据挖掘技术能很好地满足读者个性化需求,通过对web日志文件的挖掘,利用路径分析技术、关联规则技术、序列模式技术、聚类分析技术、协同过滤技术等,了解读者行为习惯、个性化需求以及潜在的信息需求,从而满足图书馆网站人性... 基于web的数据挖掘技术能很好地满足读者个性化需求,通过对web日志文件的挖掘,利用路径分析技术、关联规则技术、序列模式技术、聚类分析技术、协同过滤技术等,了解读者行为习惯、个性化需求以及潜在的信息需求,从而满足图书馆网站人性化、个性化的设计需要,打造图书馆智慧门户,彰显图书馆以人为本的服务宗旨。 展开更多
关键词 图书馆网站 WEB数据挖掘 网站设计
在线阅读 下载PDF
基于Web的推荐系统数据挖掘算法分析 预览
3
作者 彭文惠 吴小刚 《信息与电脑》 2019年第13期44-47,共4页
随着互联网的快速发展,人们接收的外界信息越来越多,如何在海量信息中获取有价值的信息,是互联网领域需要解决的重点问题。数据挖掘算法是一门跨学科的综合技术,能够从海量信息中提取人们需要的有用数据。将数据挖掘算法应用在实际中,... 随着互联网的快速发展,人们接收的外界信息越来越多,如何在海量信息中获取有价值的信息,是互联网领域需要解决的重点问题。数据挖掘算法是一门跨学科的综合技术,能够从海量信息中提取人们需要的有用数据。将数据挖掘算法应用在实际中,能够起到一定的应用效果,其涉及了一个非常重要的知识点--推荐系统。基于此,重点介绍Web下推荐系统数据挖掘算法的具体应用过程,结合关联规则和聚类算法,提高推荐系统的准确性。 展开更多
关键词 WEB 推荐系统 数据挖掘 算法分析
在线阅读 下载PDF
基于改进聚类算法的Web异常数据挖掘软件设计 预览 被引量:1
4
作者 张波 李舸 《现代电子技术》 北大核心 2019年第8期73-76,81共5页
以往Web异常数据挖掘软件通常采用小波变换和回声状态网络模型,存在数据库内闭频繁项集"左边"数据循环散布现象,大大降低了异常数据挖掘精度。研究Web异常数据挖掘的软件开发与改进方法,通过post Web异常数据挖掘的堆栈弹出,... 以往Web异常数据挖掘软件通常采用小波变换和回声状态网络模型,存在数据库内闭频繁项集"左边"数据循环散布现象,大大降低了异常数据挖掘精度。研究Web异常数据挖掘的软件开发与改进方法,通过post Web异常数据挖掘的堆栈弹出,保障Web数据库内不出现闭频繁项集"左边"数据循环散布现象。在此基础上,采用改进的K-means算法设计用户行为数据分类模块分类用户行为数据,采用异常检测模块通过MapReduce中的map函数确定数据的异常访问类型,Combine和Reduce函数汇总异常访问类型一致的异常检测数据,输出Web异常数据,并采用警告触发模块进行警告。经实验证明,所研究方法挖掘Web异常数据的平均准确度约为97.86%,挖掘不同规则中异常数据的平均结果为96.88%,说明此方法具有较高的挖掘精度和实用性。 展开更多
关键词 WEB网络 异常数据 数据挖掘 软件开发 堆栈弹出 K-MEANS算法
在线阅读 下载PDF
利用改进型语义特征的Web商品信息挖掘方法 预览
5
作者 徐里萍 侯玲 +1 位作者 张建欣 赵丽 《信息技术》 2019年第7期142-145,共4页
针对于互联网商品信息数据量庞大的问题,提出一种基于改进型轻量级语义特征提取的web商品信息挖掘方法。首先,通过分析网站链接的层级关系,采用层次访问的方式抓取电子商店的网站URL。其次,采用改进型轻量级语义特征提取方法对元素进行... 针对于互联网商品信息数据量庞大的问题,提出一种基于改进型轻量级语义特征提取的web商品信息挖掘方法。首先,通过分析网站链接的层级关系,采用层次访问的方式抓取电子商店的网站URL。其次,采用改进型轻量级语义特征提取方法对元素进行聚类以实现电子商店页面内商品记录的提取。最后,利用产品属性格式和产品记录结构的常识信息进行正则匹配,实现商品属性的提取。实验采用该方法提取来自不同国家的两个电子商店网站不同产品的属性,实验结果表明,提出的方法较好地兼顾了信息提取的完整性和准确性,商品信息的平均提取准确率可高达98.39%。 展开更多
关键词 WEB挖掘 电子商务 轻量级 语义特征提取 数据挖掘
在线阅读 下载PDF
网络信息技术安全防范与Web数据挖掘技术的整合探讨 预览
6
作者 张玎一 苏其刚 《数字技术与应用》 2019年第3期205-206,共2页
随着当代信息技术的飞速发展,互联网的应用越来越普遍,而以网络作为媒介传递的信息产出量和需求量都呈爆炸式增长趋势,21世纪逐步迈入大数据时代,海量的数据信息成为极具价值的财富,由此可见,针对网络信息的安全防范极为必要,此时Web数... 随着当代信息技术的飞速发展,互联网的应用越来越普遍,而以网络作为媒介传递的信息产出量和需求量都呈爆炸式增长趋势,21世纪逐步迈入大数据时代,海量的数据信息成为极具价值的财富,由此可见,针对网络信息的安全防范极为必要,此时Web数据挖掘技术应运而生,它将数据挖掘与Web进行结合,是一种更新更具优势的技术,本文从信息安全防范的角度出发,以Web数据挖掘技术为中心,对两者的整合进行深入探讨。 展开更多
关键词 安全防范 信息技术 网络安全 WEB数据挖掘
在线阅读 下载PDF
云计算环境下对Web数据挖掘技术的研究 预览
7
作者 王建明 《现代信息科技》 2019年第5期100-101,104共3页
随着互联网技术的不断发展,Web数据挖掘技术也在不断地进步,该技术在各行各业的应用越来越广泛。而作为存储技术的里程碑,云计算技术显著提升了数据存储的效率和安全性。因此,分析基于云计算的Web数据挖掘技术对互联网产业的发展来说意... 随着互联网技术的不断发展,Web数据挖掘技术也在不断地进步,该技术在各行各业的应用越来越广泛。而作为存储技术的里程碑,云计算技术显著提升了数据存储的效率和安全性。因此,分析基于云计算的Web数据挖掘技术对互联网产业的发展来说意义重大。本文分析了基于Web数据挖掘技术的特点,探讨了基于云计算的Web数据挖掘技术。 展开更多
关键词 云计算 WEB 数据挖掘
在线阅读 下载PDF
基于网络爬虫大数据的地方高校人才培养质量社会关注度挖掘 预览
8
作者 周世军 戴玉纯 洪旭东 《黑龙江高教研究》 北大核心 2019年第3期44-47,共4页
党的十九大提出'办好人民满意的大学'。换言之,让人民满意,高校应该培养什么样的人?对此,文章以地方高校AH大学为例,利用网络爬虫技术从百度知道、360问答和新浪微博共爬取了30303条人才培养社会评价数据,并进行实证研究。研究... 党的十九大提出'办好人民满意的大学'。换言之,让人民满意,高校应该培养什么样的人?对此,文章以地方高校AH大学为例,利用网络爬虫技术从百度知道、360问答和新浪微博共爬取了30303条人才培养社会评价数据,并进行实证研究。研究结果表明:高校培养人才具有的专业技术知识、就业状况、工作表现以及创新实践能力等成为社会关注的焦点,并显著提升了社会公众对于高校人才培养的满意度。最后提出相应的政策建议。 展开更多
关键词 人才培养 社会评价 网络爬虫 数据挖掘
在线阅读 下载PDF
基于Java的京东商城爬虫实现 预览
9
作者 唐娅雯 鲍正德 李晨曦 《计算机系统网络和电信》 2019年第2期230-235,共6页
网络爬虫捕捉信息类似蜘蛛捕捉蚊虫,是一个能利用Python、Java等编程语言实现的一个程序,从而按程序指定规则自动获取网络上有利用价值的信息,并加以筛选分析让数据价值最大化。本文概述了爬虫设计所涉及的技术,并利用Java语言基于大型... 网络爬虫捕捉信息类似蜘蛛捕捉蚊虫,是一个能利用Python、Java等编程语言实现的一个程序,从而按程序指定规则自动获取网络上有利用价值的信息,并加以筛选分析让数据价值最大化。本文概述了爬虫设计所涉及的技术,并利用Java语言基于大型电商购物平台京东商城设计了一个动态网页爬虫系统,浅析了爬虫程序的工作原理,展现了爬虫采集数据的准确度及速度。 展开更多
关键词 京东商城 网络爬虫 数据挖掘 JAVA
在线阅读 下载PDF
大数据下的Web数据集成及数据挖掘技术研究 预览 被引量:2
10
作者 祝旭 《信息与电脑》 2018年第14期142-143,共2页
21世纪以来,网络信息技术取得了突飞猛进的进步,移动互联网、物联网为代表的新型服务行业开始发展,Web数据也迅猛增长,成为人们关注的焦点之一。Web数据背后巨大的隐藏价值逐渐被人们关注,对Web数据进行集成和挖掘成为行业人士的工作重... 21世纪以来,网络信息技术取得了突飞猛进的进步,移动互联网、物联网为代表的新型服务行业开始发展,Web数据也迅猛增长,成为人们关注的焦点之一。Web数据背后巨大的隐藏价值逐渐被人们关注,对Web数据进行集成和挖掘成为行业人士的工作重点,在如今大数据时代,Web数据规模大、种类广、更新快,这使得Web数据的集成及挖掘面临重重挑战。笔者通过对Web数据的相关介绍,就大数据下的Web数据集成与挖掘面临的挑战进行分析。 展开更多
关键词 大数据 Web数据 数据集 数据挖掘
在线阅读 下载PDF
基于Web的农产品市场数据挖掘系统开发研究 预览 被引量:1
11
作者 黄文秀 《软件》 2018年第4期68-72,共5页
我国是一个农业大国,农产品市场交易数据量与日剧增,这些数据具有多维动态、不完整、不确定及很强的时效性和地域性特点,如何有效地从这些数据中挖掘出具有预测性、时令性及指导性的实用信息已成为目前需要迫切研究解决的问题。本文结... 我国是一个农业大国,农产品市场交易数据量与日剧增,这些数据具有多维动态、不完整、不确定及很强的时效性和地域性特点,如何有效地从这些数据中挖掘出具有预测性、时令性及指导性的实用信息已成为目前需要迫切研究解决的问题。本文结合农产品市场数据的特点,对基于Web农产品市场数据挖掘系统进行开发研究,并用案例对挖掘系统进行测试,为研究人员提供有价值的信息依据。 展开更多
关键词 WEB 数据挖掘 挖掘算法 系统研究
在线阅读 下载PDF
WEB挖掘数据预处理方法分析与实现 预览
12
作者 陈建锋 《安徽职业技术学院学报》 2018年第4期5-7,11共4页
文章设计了一种简单高效地数据预处理方法,通过数据清理、用户识别、会话识别及路径补全等步骤,并在各步骤中采用一定的规则与算法以提高处理准确性,获得了一个完整的数据预处理过程。经实验证明,该方法有效缩减了数据大小,提高了数据质... 文章设计了一种简单高效地数据预处理方法,通过数据清理、用户识别、会话识别及路径补全等步骤,并在各步骤中采用一定的规则与算法以提高处理准确性,获得了一个完整的数据预处理过程。经实验证明,该方法有效缩减了数据大小,提高了数据质量,具有良好的可靠性。 展开更多
关键词 WEB使用数据 数据挖掘 数据预处理
在线阅读 免费下载
网络信息安全防范与Web数据挖掘系统的设计与研究 预览 被引量:1
13
作者 王小君 《电子设计工程》 2018年第12期83-87,共5页
针对传统但技术成熟的信息挖掘方法具有扩展性较差、挖掘范围窄、效率低等问题,文中设计开发了一套包含了Web文本采集和分类模块以及类别判断模块的网络信息安全防范与Web数据挖掘系统。该系统包括Web文本采集和分类模块以及类别判断模... 针对传统但技术成熟的信息挖掘方法具有扩展性较差、挖掘范围窄、效率低等问题,文中设计开发了一套包含了Web文本采集和分类模块以及类别判断模块的网络信息安全防范与Web数据挖掘系统。该系统包括Web文本采集和分类模块以及类别判断模块。Web文本采集模块负责采集互联网中Web网页上存在的文本信息数据,并将其传递给Web文本分类模块。Web文本分类模块又可分为分类器、分类模块和训练模块3部分,是该系统的核心模块,主要负责对Web文本进行分类。类别判断模块负责判断网络文本信息是否应被归入不安全信息类,并针对不同判断结果做出相应的处理。经过实验测试,文中设计的系统挖掘数据性能良好,在检测不安全信息的全面率和准确率方面均具有较高水准,且能够满足当前网络中对不安全信息检测的要求。 展开更多
关键词 信息挖掘 网络信息安全防范 WEB数据挖掘 不安全信息
在线阅读 下载PDF
基于关联推荐的Web服务组合优化 预览
14
作者 郑婷婷 黄英持 曹伟 《电脑知识与技术:学术交流》 2018年第11Z期11-13,共3页
为实现基于历史知识与规则的Web服务组合优化,对于待解决的特定任务和问题,提出了一种Web服务组合优化方法。这种方法把Aprior算法应用于Web服务组合,通过挖掘历史日志中Web服务的关联规则,计算各种历史Web服务组合方案的支持度,生成针... 为实现基于历史知识与规则的Web服务组合优化,对于待解决的特定任务和问题,提出了一种Web服务组合优化方法。这种方法把Aprior算法应用于Web服务组合,通过挖掘历史日志中Web服务的关联规则,计算各种历史Web服务组合方案的支持度,生成针对当前问题的频繁项集,并可根据每种组合的置信度,动态地自动选取合适的Web服务,产生推荐的Web服务组合方案。这种方法可应用于流程管理、智能规划等领域。 展开更多
关键词 WEB服务组合 数据挖掘 APRIOR算法 关联规则 频繁集
在线阅读 下载PDF
XML技术在大数据环境下的运用探讨 预览 被引量:2
15
作者 马孝贺 李莎 《无线互联科技》 2018年第2期112-113,共2页
随着信息化时代的不断发展,网络技术的不断成熟使得网上的信息也越来越丰富。在现阶段的数据库研究中也逐渐将关注点放在对网络中海量的信息的深度运用上面。文章对现在普遍流行的XML技术在大数据环境下的运用进行探讨,以其对Web数据... 随着信息化时代的不断发展,网络技术的不断成熟使得网上的信息也越来越丰富。在现阶段的数据库研究中也逐渐将关注点放在对网络中海量的信息的深度运用上面。文章对现在普遍流行的XML技术在大数据环境下的运用进行探讨,以其对Web数据信息收集、数据挖掘以及数据交换中的技术运用进行具体分析,希望能够借此加深对于XML技术的印象。 展开更多
关键词 大数据环境 XML技术 WEB数据挖掘
在线阅读 下载PDF
基于孤立点异常度的Web攻击数据挖掘算法 预览
16
作者 张路青 《舰船电子工程》 2018年第9期105-110,共6页
随着Web2.0技术的迅猛发展,网络安全变得更加突出。通过Web日志数据挖掘检测恶意攻击行为已经成为网络信息安全领域研究的一项重要技术,目前市场上的Web日志分析系统都是基于特征匹配来实现攻击行为检测的,虽然检测率较高,但对于新出现... 随着Web2.0技术的迅猛发展,网络安全变得更加突出。通过Web日志数据挖掘检测恶意攻击行为已经成为网络信息安全领域研究的一项重要技术,目前市场上的Web日志分析系统都是基于特征匹配来实现攻击行为检测的,虽然检测率较高,但对于新出现的或者尚未发现攻击特征的攻击类型无法识别。因此,深入研究从海量日志中挖掘恶意攻击行为技术有很强的理论意义与应用价值。论文深入研究了聚类算法中的距离定义以及异常度的定义,提出了一种有约束聚类的分簇方法,对Web日志中的HTTP请求进行分簇,最后利用统计学的思想,提出了一种近似正太分布的检测模型,并给出了基于孤立点异常度的Web攻击数据挖掘算法。通过实验验证表明,该算法能有效发现Web日志中的攻击数据,提高了检测率并降低了误报率。 展开更多
关键词 网络安全 WEB日志分析 数据挖掘 聚类分析 孤立点
在线阅读 下载PDF
网络用户角色辨识及其恶意访问行为的发现方法 预览
17
作者 王建 张仰森 +2 位作者 陈若愚 蒋玉茹 尤建清 《计算机科学》 CSCD 北大核心 2018年第10期160-165,201共7页
随着互联网络技术的快速发展,各种恶意访问行为危及到网络的信息安全,因此辨识访问用户的角色并识别用户的恶意访问行为对于网络安全具有十分重要的理论意义和实用价值。首先,以网络日志数据为基础,通过建立IP辅助数据库,构建IP用... 随着互联网络技术的快速发展,各种恶意访问行为危及到网络的信息安全,因此辨识访问用户的角色并识别用户的恶意访问行为对于网络安全具有十分重要的理论意义和实用价值。首先,以网络日志数据为基础,通过建立IP辅助数据库,构建IP用户的日角色模型,在此基础上,引入滑动时间窗技术,将时间的变化动态地融入用户角色辨识,建立了基于滑动时间窗的用户角色动态辨识模型。然后,在分析用户恶意访问流量特征的基础上,将用户访问流量特征和用户信息熵特征进行加权,构建基于多特征的用户恶意访问行为的辨识模型。该模型能够对爆发性和高持续性的恶意访问行为以及少量但大规模分散访问的恶意行为进行识别。最后,采用大数据存储和Spark内存计算技术,对所建立的模型进行实现。实验结果表明,在网络流量产生异常时,所提出的模型能够发现具有恶意访问行为的用户,并准确且高效地辨别出该用户的角色,从而验证了其有效性。 展开更多
关键词 网络用户 数据挖掘 角色辨识 恶意访问行为 滑动时间窗
在线阅读 免费下载
基于爬虫的定向数据检索系统 预览 被引量:1
18
作者 阮阳 刘禹 +1 位作者 韩港成 康晓凤 《软件》 2018年第5期118-120,133共4页
近年来随着互联网技术的发展与推广,数据呈现几何式增长,针对特定数据的搜索变的尤为困难,普通用户在缺乏相关数据搜索能力情况下寻找数据的困难程度大大提高,本课题就是为了解决这一问题而设计开发的一个基于爬虫的定向数据检索系统,... 近年来随着互联网技术的发展与推广,数据呈现几何式增长,针对特定数据的搜索变的尤为困难,普通用户在缺乏相关数据搜索能力情况下寻找数据的困难程度大大提高,本课题就是为了解决这一问题而设计开发的一个基于爬虫的定向数据检索系统,该系统利用网络爬虫、数据库和HTML等技术实现了针对所需数据在特定网站进行定向搜索,缩小了搜索范围,使得结果更加精确,使用该系统可以在网页端对数据进行精确匹配,以及统计、分析等功能。 展开更多
关键词 网络爬虫 数据分析 数据挖掘
在线阅读 下载PDF
基于Hadoop的交通大数据的可视化Web GIS平台的设计与实现 预览 被引量:3
19
作者 申兆慕 张健钦 +1 位作者 王胜开 赵明 《北京建筑大学学报》 2018年第3期33-41,共9页
在智慧城市建设日益加快的背景下,公众出行产生的数据量也呈指数性增长,而在爆炸增长的数据量之中,蕴含的是海量的信息,将这些信息从巨量的数据中挖掘出来并进行可视化展示,对于智能交通乃至智慧城市的建设有着十分积极的社会意义.基于... 在智慧城市建设日益加快的背景下,公众出行产生的数据量也呈指数性增长,而在爆炸增长的数据量之中,蕴含的是海量的信息,将这些信息从巨量的数据中挖掘出来并进行可视化展示,对于智能交通乃至智慧城市的建设有着十分积极的社会意义.基于北京市的公交车IC卡刷卡数据、公租自行车刷卡数据、地铁客流数据以及部分出租车轨迹数据,依托于Hadoop开源大数据处理平台,利用JavaWeb的编程框架,辅助以各种可视化工具,构建了交通大数据的可视化WebGIS平台,实现了多源公众出行大数据的可视化分析与展示,为政府职能部门的决策提供参考信息. 展开更多
关键词 公众出行 交通大数据 HADOOP WEBGIS 数据挖掘 可视化
在线阅读 下载PDF
基于Web日志挖掘的个性化推荐网络教学模型研究 预览
20
作者 梁燕红 《农业网络信息》 2017年第8期68-70,共3页
介绍了Web数据挖掘的概念、分类及Web日志挖掘的实现过程,将Web日志挖掘技术引入到现代教育技术领域,构建一个能够实现个性化推荐的网络教学模型,为不同的受教育对象生成个性化的学习内容,达到差异化教学、因材施教的要求。
关键词 WEB数据挖掘 WEB日志挖掘 网络教学模型 个性化推荐
在线阅读 下载PDF
上一页 1 2 28 下一页 到第
使用帮助 返回顶部 意见反馈