文本预处理后的LDA模型主题发现与技术演进研究

doi:10.13998/j.cnki.issn1002-1248.2019.03.19-0342

农业图书情报 ›› 2019, Vol. 31 ›› Issue (4): 19-28.doi: 10.13998/j.cnki.issn1002-1248.2019.03.19-0342

文本预处理后的LDA模型主题发现与技术演进研究

王丽^1,2, 沈湘^1,2

1.中国科学院文献情报中心,北京 100190;
2.中国科学院大学经济与管理学院图书情报与档案管理系,北京100190

收稿日期:2019-04-24 出版日期:2019-04-05 发布日期:2019-06-21
通讯作者: 王丽 (1982-),女,ORCID：0000-0002-9513-6159,中国科学院文献情报中心,副研究馆员,研究方向：信息分析、文本挖掘、推荐系统、自然语言处理。
作者简介:王丽 (1982-),女,ORCID：0000-0002-9513-6159,中国科学院文献情报中心,副研究馆员,研究方向：信息分析、文本挖掘、推荐系统、自然语言处理。沈湘（1985-）,女,ORCID：0000-0002-0682-7530,中国科学院文献情报中心,助理研究员,研究方向：学科情报与战略情报研究。
基金资助:
NSTL基金项目“面向国家重点研发计划的专题情报服务”（项目编号：2018XM06）

Research of Topics Discovery and Tech Evolution Based on Text Preprocessed LDA Model

WANG Li^1,2, SHEN Xiang^1,2

1.National Science Library, Chinese Academy of Sciences, Beijing 100190, China;
2.Department of Library, Information and Archives Management, School of Economics and Management, University of Chinese Academy of Sciences, Beijing 100190, China

Received:2019-04-24 Online:2019-04-05 Published:2019-06-21

摘要/Abstract

摘要： [目的]在科技情报资源快速增长的环境下,通过大文本数据分析快速发现研究主题,且进一步挖掘各研究主题下的技术发展与变化,对做出全面快速响应的科技情报工作有着重要的意义。[方法]针对大文本数据,利用Python实现了文本预处理后的LDA模型主题发现与技术演进,首先构建文本预处理泛化模型,实现技术词自动识别处理;然后基于技术词进行LDA模型构建及可视化,来识别研究主题;最后基于技术词构建技术演进的计算模型,来进一步挖掘技术的发展与变化。[结果]文章以SiC技术领域43 621项专利为分析对象进行了实践,包括文本预处理、主题发现及可视化、某主题下技术发展和变化分析等全流程,处理畅通且用时很短（案例全程历时约10分钟）。[局限] 文章提出的LDA各主题下技术演进模型中,文档只与其相关度最大的主题关联,尚未对文档多主题关联情况下的演进效果进行对比,后续有待进一步优化验证。[结论]文章提出的方法对快速全面把握一个科技领域有着重要作用,通过主题的识别以及主题之下的技术发展变化,可以以不同的颗粒度去研究一个科技领域,并对后续的调研分析提供有价值的线索。

关键词: LDA模型, 技术演进, 文本预处理, 可视化, 技术词自动识别

Abstract: [Objective] Computational science and Data Science are inspiring the intelligent analysis and information service today. Machine learning text analysis methods is changing the traditional analysis methods. This article discuss the benefits of unsupervised learning approaches in patent text mining. [Methods] Patent data of SiC industry were preprocessed by filter model based on NLTK Toolkit to identify the tech terms and then clustered based on Latent Dirichlet Allocation model to find the latent topics which were visualized. Based on group operation Top terms ranked by tf-idf through every year were used to reveal the R&D focus evolution. [Results] This research offers a demonstration of the proposed method based on 43,621 SiC patents. The results show 28 Research and Development topics with tech terms in SiC industry and present a Research and Development focus evolution based new emerging terms of every year which provides a clue for more detail analyses later. Finally,we discuss the clues for the R&D focus in the SiC industry.[Limitation]Multi Topics for documents were not compared for the R&D focus evolution in this article. That will be discussed in future. [Conclusions]The results show a efficent way to find technology focus evolution from a large scale text data.

Key words: LDA model, tech evolution, preprocessed text, visualization, automatic term identification

中图分类号:

TP393

王丽, 沈湘. 文本预处理后的LDA模型主题发现与技术演进研究[J]. 农业图书情报, 2019, 31(4): 19-28.

WANG Li, SHEN Xiang. Research of Topics Discovery and Tech Evolution Based on Text Preprocessed LDA Model[J]. Agricultural Library and Information, 2019, 31(4): 19-28.

参考文献

[1] Alghamdi, R, Alfalqi K. A Survey of Topic Modeling in Text Mining[J]. International Journal of Advanced Computer Science and Applications, 2015, 6(1): 9-27.
[2] van Eck NJ, Waltman L, Noyons ECM, et al. Automatic Term Identification for Bibliometric Mapping[J]. Scientometrics, 2010, 82: 581-569.
[3] Didier B.Surface Grammatical Analysis for The Extraction of Terminological Noun Phrases[C].
Proceeding COLING '92 Proceedings ofthe 14th conference on Computational linguistics, 1992, 3:977-981.
[4] 王博, 刘盛博, 丁堃, 刘则渊. 基于LDA 主题模型的专利内容分析方法[J]. 科研管理,2015, 36(3):111-117.
(Wang Bo, Liu Shengbo, Ding Kun, Liu Zeyuan.Patent content analysis method based on LDA topic model[J]. Science Research Management, 2015, 100: 317-329.)
[5] Justeson,J.S., Katz,S.M.Technical Terminology: Some Linguistic Properties and An Algorithm for Identification in Text[J]. Natural
Language Engineering, 1995, 1(1): 9-27.
[6] Thomas L G, Mark S.Finding scientific topics[J]. PNAS, 2004, 101(1): 5228-5235.
[7] Donghyun Choi, Bomi Song.Exploring Technological Trends in Logistics: Topic Modeling-Based Patent Analysis[J]. Sustainability, 2018, 10(8): 2810-2835.
[8] 宫小翠, 安新颖. 基于LDA 模型的医学领域主题分裂融合探测[J]. 图书情报工作, 2017, 61(18): 76-83.
(Gong Xiaocui, An Xinying.A Research of Topic Splitting and Merging Detecting in the Medical Field Based on the LDA Model[J]. Library and Information Service, 2017, 61(18): 64-74.
[9] 曲佳彬, 欧石燕. 基于主题过滤与主题关联的学科主题演化分析[J]. 数据分析与知识发现, 2018, 2(1): 64-75.
(Jiabin Qu,Shiyan Ou.Analyzing Topic Evolution with Topic Filtering and Relevance. Data Analysis and Knowledge Discovery[J]. Data Analysis and Knowledge Discovery, 2018, 2(1): 64-75.)
[10] Jacob P.Python Text Processing with NLTK 2.0 Cookbook[M]. UK.: Packt Publishing Ltd., 2010.
[11] 王丽, 邹丽雪, 刘细文. 基于LDA主题模型的文献关联分析及可视化研究[J]. 数据分析与知识发现, 2018, 2(3): 98-107.
(Wang Li, Zou Lixue, Liu Xiwen.Visualizing Document Correlation Based on LDA Model[J]. Data Analysis and Knowledge Discovery, 2018, 2(3): 98-107.)
[12] Blei David M., Ng Andrew Y., Jordan, Michael I. Lafferty, John.Latent Dirichlet allocation[J]. Journal of Machine Learning Research. January 2003, 3: 993-1022.

[1]	李兰芳, 陈云伟, 张雪, 邓勇. 论空间科学计量学的研究与应用[J]. 农业图书情报学报, 2022, 34(7): 27-38.
[2]	熊涛, 刘文江. 国内农民工研究的热点主题及研究前沿演进[J]. 农业图书情报学报, 2021, 33(8): 45-62.
[3]	邢云菲, 李玉海. 基于文本挖掘的微博舆情主题图谱可视化研究[J]. 农业图书情报学报, 2021, 33(7): 12-23.
[4]	王菲菲, 韩文菲, 苏子尧, 弋新月. 透视“一带一路”沿线国家学术交流情况——高被引论文计量分析视角[J]. 农业图书情报学报, 2021, 33(6): 94-106.
[5]	梁晶璇, 宋慧琪, 陈佑成, 郑琼娥. 基于可视化分析的中国知识转移研究热点与展望[J]. 农业图书情报学报, 2021, 33(3): 38-55.
[6]	徐永乐, 陈媛媛, 杨婷婷, 万向丽. 中外智库影响力研究对比分析[J]. 农业图书情报学报, 2021, 33(11): 50-62.
[7]	王译晗, 叶钰铭. 近10年国内外开放科学研究述评[J]. 农业图书情报学报, 2021, 33(10): 20-35.
[8]	彭霞, 刘敏, 杨莉, 樊姗. 空间视域下明清女性作家地理分布及其成因——以松江府为例[J]. 农业图书情报学报, 2020, 32(9): 31-38.
[9]	林海, 古婷骅, 吴育冰. 社会化商务研究的发展脉络及特征：基于可视化技术的回顾与展望[J]. 农业图书情报学报, 2020, 32(5): 31-44.
[10]	曹祺. 基于t-SNE算法的双一流大学基金立项关键词降维的可视化建模研究[J]. 农业图书情报学报, 2020, 32(2): 47-57.
[11]	张发亮, 刘君杰. 中国学科建设研究现状与主题演化可视化分析[J]. 农业图书情报, 2019, 31(6): 31-39.
[12]	付健, 丁敬达. Citespace和VOSviewer软件的可视化原理比较[J]. 农业图书情报学报, 2019, 31(10): 31-37.
[13]	刘锋, 黎香兰, 南虹, 唐研. 中国大豆抗病虫害育种研究的文献计量与可视化分析[J]. 农业图书情报学刊, 2018, 30(5): 70-74.
[14]	刘中凯. 国内图书馆微信研究的可视化分析[J]. 农业图书情报学刊, 2018, 30(3): 71-75.
[15]	赵来娟，陈炜，张宁. 国内高校特色数据库研究可视化分析[J]. 农业图书情报学刊, 2018, 30(2): 110-113.

文本预处理后的LDA模型主题发现与技术演进研究

Research of Topics Discovery and Tech Evolution Based on Text Preprocessed LDA Model

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 0