使用Spark框架中文分词统计

最新推荐文章于 2022-06-20 15:01:07 发布

07H_JH

最新推荐文章于 2022-06-20 15:01:07 发布

阅读量4.8k

点赞数 3

分类专栏：大数据框架 spark/hadoop学习

本文链接：https://blog.youkuaiyun.com/jianghuxiaojin/article/details/50983185

版权

107 篇文章 ¥9.90 ¥99.00

订阅专栏

36 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何利用Spark Streaming与哈工大语言云进行中文分词和词频统计。通过调用语言云API进行分词，再通过Spark Streaming进行实时流处理和统计分析。最终，讨论了结合Nutch爬虫和聚类模型进行实时新闻主题分类的可能性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

技术
Spark+中文分词
算法
对爬取的网站文章的关键词进行统计，是进行主题分类，判断相似性的一个基础步骤。例如，一篇文章大量出现“风景”和“酒店”之类的词语，那么这篇文章归类为“旅游”类的概率就比较大。而在关于“美食”的文章中，“餐厅”和“美味”等词语出现的频率一般也会比较大。
分词使用语言云http://www.ltp-cloud.com实现对一段中文先进行分词，然后通过Spark streaming 对分词后的内容进行词频统计。
通过ltp-cloud进行中文分词
目前国内有不少科研机构开发了中文分词系统，例如中科院、哈工大、科大讯飞等，本次体验的是哈工大的语言云。
Rest API调用，
例如(YourAPIKey替换成你的APIKey)：

curl -i"http://api.ltp-cloud.com/analysis/?api_key=YourAPIKey&text=认知商业需要认知技术&pattern=ws&format=plain"

了解本专栏