网络热点话题分析

根据中国互联网络信息中心2010年1月发布的《中国互联网发展状况统计报告》数据显示,自2003年开始,中国的网页规模保持成倍地增长,2009年网页数量年增长率超过100%达到336亿个。网络新闻使用率为80.1%,覆盖八成以上的网民群体,较2008年提高了1.6%;用户规模达3.1亿人,年增长7369万人,年增幅31.5%。如何对互联网信息进行监管,已成为亟待解决的问题。但是互联网网页每天都以指数级的方式增长,要人工去甄别每个网页所含的信息,并加以分析统计是不现实的。只有采用计算机自动处理技术,使其自动地对网络热点话题进行分析、整理,才能建立起全面、有效、快速的热点话题监测预警机制,使互联网得以健康、快速的发展。因此,对网络热点话题的获取与分析技术的研究已成为一项紧迫而又重要的课题。网络热点话题的获取与分析离不开文本挖掘技术。文本挖掘是以半结构化( 如web 网页) 或者无结构( 如纯文本) 的自然语言文本为对象的数据挖掘。它是从大规模文本数据集中发现隐藏的、重要的、新颖的、潜在有用的规律的过程。在互联网时代大部分信息是存储在文本数据库中的,对于这种半结构或无结构化数据,能够获取特定内容信息的手段却较弱,导致信息搜寻困难和信息利用率低下。由此,文本挖掘、信息过滤和信息检索等方面的研究出现了前所未有的高潮。快速高质量的文本序列模式挖掘技术可以将大量文本信息组成少数有意义的簇,这种技术能够提供导航/浏览机制,通过序列驱动的降维或权值调整来改善检索性能,因此,序列模式挖掘技术已成为文本信息挖掘技术中的核心技术。序列模式是把数据之间的关联陛与发生次序联系起来。为了挖掘序列模式,不仅需要知道事件是否发生,而且需要确定事件发生的先后次序。我们一般分如下五个步骤来找出所有的序列模式:排序、频繁项集搜索、转换、序列和选最大序列。其中频繁项集搜索是其中关键的一步。随着数据挖掘技术的发展。索引的。garofalakis等人通过利用正则表达式约束方法提出了spirit算法。单维挖掘序列模式只关心一个带有时间戳的属性,多维序列模式的挖掘目的则是寻找不同维度属性具有更多信息的有用模式。三种挖给定序列数据库,通过插入或删除序列形成新的序列数据库,在新的序列数据库中寻找所有的最大频繁序列模式。

guxing 2016-10-05