基于主题模型的微博话题检测算法

黄华军; 谭骏珊; 秦姣华

doi:10.11959/j.issn.2096-109x.2016.00049

您当前的位置：

首页 >

文章列表页 >

基于主题模型的微博话题检测算法

学术论文 | 更新时间：2024-06-03

- 基于主题模型的微博话题检测算法
- Micro-blog topic detection algorithm based on topic model
- 网络与信息安全学报 2016年2卷第5期页码：30-38
- 作者机构：
- 作者简介：
  
  [ "黄华军（1978-），男，湖南宜章人，博士，中南林业科技大学教授、硕士生导师，主要研究方向为网络与信息安全、网络钓鱼防御。" ]
  [ "谭骏珊（1963-），男，湖南益阳人，博士，中南林业科技大学教授、博士生导师，主要研究方向为数据库信息与管理、数据挖掘。" ]
  [ "秦姣华（1973-），女，湖南益阳人，博士，中南林业科技大学教授、硕士生导师，主要研究方向为网络与信息安全、加密图像检索。" ]
- 基金信息：
  
  国家自然科学基金资助项目;The National Natural Science Foundation of China(61304208);湖南省自然科学基金资助项目;The Natural Science Foundation of Hunan Province(13JJ2031);中南林业科技大学青年科学研究基金资助项目;Youth Scientific Research Foundation of Central South University of Forestry ＆Technology(QJ2012009A)
- DOI：10.11959/j.issn.2096-109x.2016.00049
  中图分类号： TP391
- 网络首发：2016-05，
  
  纸质出版：2016-05-15
- 稿件说明：
移动端阅览
黄华军, 谭骏珊, 秦姣华. 基于主题模型的微博话题检测算法[J]. 网络与信息安全学报, 2016,2(5):30-38.

Hua-jun HUANG, Jun-shan TAN, Jiao-hua QIN. Micro-blog topic detection algorithm based on topic model[J]. Chinese Journal of Network and Information Security, 2016, 2(5): 30-38.
黄华军, 谭骏珊, 秦姣华. 基于主题模型的微博话题检测算法[J]. 网络与信息安全学报, 2016,2(5):30-38. DOI： 10.11959/j.issn.2096-109x.2016.00049.

Hua-jun HUANG, Jun-shan TAN, Jiao-hua QIN. Micro-blog topic detection algorithm based on topic model[J]. Chinese Journal of Network and Information Security, 2016, 2(5): 30-38. DOI： 10.11959/j.issn.2096-109x.2016.00049.

摘要

摘要：微博数据的实时、大规模、短文本以及富含噪声等特征为话题检测带来新的挑战，传统向量空模型（VSM）表示文本无法很好地对其进行建模。基于此，提出一种基于主题模型的微博话题检测算法。首先，对微博数据构建文档词条矩阵和词语夫联矩阵来提取主题词；然后，对主题词进行聚类，得到主题模型；最后，利用文本与主题模型相互匹配实现文本聚类，从而达到话题检测的目的。实验结果表示，该算法能有效地进行话题聚类并检测出话题，在最佳参数组合条件下，其各类别的平均F值达到95%以上。

Abstract

Micro-blog data has the characteristic of real-time

volume

short-text

and noise-rich.So it is a challenge for the traditional topic detection technology.A novel micro-blog topic detection algorithm based on topic model was proposed.Firstly

the micro-blog data was expressed as text word matrix and word relation matrix.The topic word was extracted from the two vectors.Secondly

the topic model was obtained with clustering.Finally

the topic detection of micro-blog was obtained by clustering text and topic model.Experimental results show that the algorithm proposed can effectively detection the text topic

and with the best parameter group of precision

recall rate

and the value F is about 95%.

关键词

Keywords

references

王仲远 , 程健鹏 , 王海勋 , 等 . 短文本理解研究 [J ] . 计算机研究与发展 , 2016 , 53 ( 2 ): 262 - 269 .

WANG Z Y , CHENG J P , WANG H X , et al . Short text understand-ing:a survey [J ] . Journal of Computer Research and Development , 2016 , 53 ( 2 ): 262 - 269 .

贺敏 , 杜攀 , 张谨 , 等 . 基于动量模型的微博突发话题检测方法 [J ] . 计算机研究与发展 , 2015 , 52 ( 5 ): 1022 - 1028 .

HE M , DU P , ZHANG J et al . Microblog bursty topic detection method based on momentum model [J ] . Journal of Computer Re-search and Development , 2015 , 52 ( 5 ): 1022 - 1028 .

刘全超 , 黄河燕 , 冯冲 . 基于多特征微博话题情感倾向性判定算法研究 [J ] . 中文信息学报 , 2014 , 28 ( 4 ): 123 - 131 .

LIU Q C , HUANG H Y , FENG C . Multi-feature based sentiment orientation identification algorithm for micro-blog topics [J ] . Jour-nal of Chinese Information Processing , 2014 , 28 ( 4 ): 123 - 131 .

程俊霞 , 李芝棠 , 邹明光 , 等 . 基于 SVM 过滤的微博新闻话题检测方法 [J ] . 通信学报 , 2013 , 34 ( Z2 ): 74 - 78 .

CHEN J X , LI Z T , ZOU M G , et al . Novel topic detection method for microblog based on SVM filtration [J ] . Journal of Communi-cations , 2013 , 34 ( Z2 ): 74 - 78 .

NIST . The 2003 topic detection and tracking task definition and evaluation plan [EB/OL ] . http://www.nist.gov/speech/tests.tdt/tdt2003/evalplan.html http://www.nist.gov/speech/tests.tdt/tdt2003/evalplan.html .

周学广 , 高飞 , 孙燕 . 基于依存连接权 VSM 的子话题检测与跟踪方法 [J ] . 通信学报 , 2013 , 34 ( 8 ): 1 - 9 .

ZHOU X G , GAO F , SUN Y . Sub-topic detection and tracking based on dependency connection weights for vector space model [J ] . Journal of Communications , 2013 , 34 ( 8 ): 1 - 9 .

付艳 , 周明全 , 王学松 , 等 . 面向互联网新闻的在线事件检测 [J ] . 软件学报 , 2010 , 21 ( Z ): 363 - 372 .

FU Y , ZHOU M Q , WANG X S , et al . On-line event detection from web news stream [J ] . Journal of Software , 2010 , 21 ( Z ): 363 - 372 .

郝文宁 , 冯波 , 陈刚 , 等 . 基于领域本体的文档向量空间模型构建 [J ] . 计算机应用研究 , 2013 , 30 ( 3 ): 764 - 767 .

HAO W N , FENG B , CHEN G , et al . Document vector space model construction based on domain ontology [J ] . Application Research of Computers , 2013 , 30 ( 3 ): 764 - 767 .

PHUVIPADAWAT S , MURATA T . breaking news detection and tracking in twitter [C ] // 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology,Toronto . c2010 : 120 - 123 .

YANXIANG H , YE T , QIANG C , et al . Summarizing microblogs on network hot topics [C ] // 2011 International Conference on Internet Technology and Applications . c2011 : 1 - 4 .

谢娟英 , 高红超 . 基于统计相夫性与k-means的区分基因子集选择算法 [J ] . 软件学报 , 2014 , 25 ( 9 ): 2050 - 2075 .

XIE J Y , GAO H C . Statistical correlation and k-means based dis-tinguishable gene subset selection algorithms [J ] . Journal of Soft-ware , 2014 , 25 ( 9 ): 2050 - 2075 .

DAI X Y , CHEN Q C , WANG X L , et al . Online topic detection and tracking of financial news based on hierarchical clustering [C ] // 2010 International Conference on Machine Learning and Cybernetics,Qingdao . c2010 : 3341 - 3346 .

ZHAO W X , JIANG J , WENG J , et al . Comparing twitter and traditional media using topic models [M ] // Advances in Information Retrieval . Berlin:Heidelberg , 2011 : 338 - 349 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据