jieba分词中，有些词不想分，比如 #标签# 比如http://...(URL)应该怎么解决？

最新推荐文章于 2024-04-14 10:43:26 发布

lx446464

最新推荐文章于 2024-04-14 10:43:26 发布

阅读量3k

点赞数 2

CC 4.0 BY-SA版权

文章标签： jieba自然语言处理

本文链接：https://blog.youkuaiyun.com/lx446464/article/details/90717409

使用jieba分词，对新浪微博的数据进行处理，想统计用户的每条微博使用 标签即## 和使用短连接 URL的频率
可是正常分词之后，类似 #王思聪##权力的游戏# 这样的标签，被分词成 # 王思聪 ## 权利的游戏 #
想保护原有的样子应该怎么办？

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lx446464

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

jieba 分词用户自定义词典（即不想被分开的词）

qq_38101190的博客

03-21

1万+

jieba 分词简介： jieba 对于一长段文字，其分词原理大体可分为三部： 1.首先用正则表达式将中文段落粗略的分成一个个句子。 2.将每个句子构造成有向无环图，之后寻找最佳切分方案。 3.最后对于连续的单字，采用HMM模型将其再次划分。三种分词模式: 精确模式：试图将句子最精确地切开，适合文本分析；全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎...

如何让jieba分词不分开某些词（suggest_freq方法的使用）

拼命小李博客

12-30

1万+

问题来源：本人在进行jpython的jieba分词时，发现在对不高兴，不开心等词汇进行分词时,将其分开下图 Prefix dict has been built succesfully. [精确模式]: 我不喜欢也不高兴 [Finished in 1.7s] 期望形式：但是我们希望jieba应该分成这种形式，不和高兴是连在一起的来表示消极的程度副词 Pref...

1 条评论您还未登录，请先登录后发表或查看评论

jieba分词

qq_39249347的博客

05-18

435

三中分词模式精确模式，试图将句子最精确地切开，适合文本分析全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。安装 pip3 install jieba 分词 jieba.cut方法接受两个输入参数：（1）第一个参数为需要分词的字符串（2）cut_all参数用来控制是否采用全模式 jieba.cut_for_search方法接受一个参数：需要分词的字符串,该方法适合.

jieba分词错误_jieba分词处理

weixin_39915081的博客

12-23

958

分词是一种数学上的应用，他可以直接根据词语之间的数学关系进行文字或者单词的抽象，比如，讲一句话“我来自地球上中国”进行单词分割，我们可能会得到如下的内容：“我”、“来自”、“地球上”、“中国”，这些就相当于是分词的概念，在我们搜索引擎开发的过程中，是必须要要使用到分词的概念的。jieba简介jieba是一个在中文自然语言处理过程中使用最多的工具包之一，目前能够实现包括分词、词性标注以及命名实体识别...

jieba分词保证IP地址作为一个整体切分

weixin_42612804的博客

01-07

125

jieba是一个中文分词库，可以将文本切分为独立的词语。如果希望jieba分词保证IP地址作为一个整体切分，则可以将IP地址添加到jieba的自定义词典中，这样jieba在分词时就会将IP地址作为一个整体输出。例如： import jieba jieba.add_word('192.168.0.1') text = '我的电脑IP地址是192.168.0.1' seg_list = jieb...

python代码排除词汇库_Python基础库之jieba库的使用（第三方中文词汇函数库）

weixin_39653442的博客

03-02

1094

各位学python的朋友，是否也曾遇到过这样的问题，举个例子如下：“I am proud of my motherland”如果我们需要提取中间的单词要走如何做？自然是调用string中的split()函数即可那么将这转换成中文呢，“我为我的祖国感到骄傲”再分词会怎样？中国词汇并不像是英文文本那样可以通过空格又或是标点符号来区分，这将会导致比如“骄傲”拆开成“骄”、“傲”，又或者将“为”“我的”...

GitHub 项目精选（2022.5.18更新）

u012199290的博客

05-18

1万+

贝叶斯算法（3）新闻分类任务实战：jieba中文分词、tfidf特征词提取、wordcloud词云展示、LDA主题建模、朴素贝叶斯算法分析预测

haiwang_luo的博客

06-10

1697

1 加载数据 import pandas as pd import jieba # 数据源：http://www.sogou.com/labs/resource/ca.php val_path = '/Users/haiwangluo/Downloads/人工智能全套/自然语言处理(Python版)/第六章：贝叶斯算法-新闻分类任务/贝叶斯Python文本分析/Python文本分析/data/val.txt' df_news = pd.read_table(val_path,names=['categor

python中使用jieba进行中文分词

热门推荐

学习机器学习

05-14

4万+

一 “结巴”中文分词：做最好的 Python 中文分词组件。支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。支持繁体分词支持自定义词典MIT 授权协议 GitHub: https://github....

Anaconda3安装jieba分词和wordcloud词云组件(2020.2.6)

莫莫先生的博客

02-06

4455

目录前言一、安装jieba分词库（一）第一步、下载安装包（二）第二步，运行setup.py二、安装wordcloud词云库（一）第一步、下载安装包（二）第二步、输入指令安装最后前言 jieba是优秀的中文分词第三方库，安装后可以使用其来对中文文本进行分词。而wordcloud，见名知意“词云”，wordcloud是基于Python的词云生成类库，以词语为基本单位，更加直观艺术的展示文本。由wor...

jieba分词.net使用（VS2013）

02-27

进行中文文本分词时，使用的是jieba分词工具。文档中演示了结巴分词器的.Net版本在VS2013中的使用流程。新人上货，请指正！

jieba分词jieba.NET-master.zip

08-13

jieba分词jieba分词jieba.NET-master.zip

import requests, time,jieba,wordcloud from bs4 import BeautifulSoup def getHtmlDoc(url):#从指定的 URL 获取网页内容，并将其保存到一个 HTML 文件中，同时提供了简单的错误处理机制。 headers = {#这个信息模拟了一个浏览器，目的是为了避免被网站识别为爬虫。 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', } try: r = requests.get(url, headers=headers) # 添加headers r.raise_for_status() # 检查是否请求成功 page_text = r.text # 存储 with open(r"D:\Write Code\python\爬虫\comment\xiaowangzi11.html", "w", encoding="utf-8") as f: f.write(page_text) print("存储成功") return page_text except Exception as e: print(f"发生错误: {e}") def getComment(html): comment=[] soup = BeautifulSoup(html, 'html.parser')#使用 BeautifulSoup 库将传入的 HTML 文档解析成一个 soup 对象。这里指定使用 html.parser 作为解析器。 #soup = BeautifulSoup(html, 'lxml')#使用 lxml 库解析 HTML 文档，速度更快。 comment = soup.find_all("p", class_="comment-content") return comment #主程序 #all_comment = [] url = "https://book.douban.com/subject/1084336/comments/?start={p}&limit=20&status=P&sort=score" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', } all_comment=[] for p in range(0, 1200, 20): html=getHtmlDoc(url) page_comment = getComment(html) all_comment.extend(page_comment) time.sleep(1) # 延时1秒，防止被禁 print("第{}页评论爬取完成".format(p//20+1)) print(len(all_comment)) # with open("D:\\Write Code\\python\\爬虫\\comment\\小王子评论11.txt", "w", encoding="utf-8") as file: for comment in all_comment:#循环遍历所有评论 file.write(comment.get_text(strip=True) + "\n") # get_text(strip=True) 是 BeautifulSoup 的方法，用于从 comment 中提取纯文本内容。参数 strip=True 表示在提取文本时，会去掉前后空白字符（如空格和换行），使用 get_text() 方法获取文本，并写入文件解析每一句代码。

最新发布

03-27

这里可能的问题是jieba和wordcloud在代码中未被使用，用户可能在后面的步骤中打算进行分词和词云生成，但目前代码不完整，需要指出。 2. **getHtmlDoc函数**：这个函数负责获取网页内容并保存。注意到函数内部在...

jieba导入自定义词库，特殊字符不分割，识别词性

hforever99的博客

10-25

2343

导入自定义词库，特殊字符不分割，识别词性。

jieba自定义词典进行切分

qq_39321513的博客

03-09

1043

用jieba进行分词时，人名总是切分不出来，比如‘袁今夏’可能会被分成袁、今夏或者是袁今、夏，所以我需要提供一个人名表（roles_name.txt），用jieba依据这个表来分词，这样的话“袁今夏”会当成一个整体被分出来 jieba.load_userdict('../roles_name.txt') default_mode = jieba.lcut(file, cut_all=False) # 精确模式 roles_name.txt 截取了部分 ...

测试C#分词工具jieba.NET

gc_2299的博客

05-26

1771

学习分词工具jieba.NET的基本用法、

C#中的分词库Jieba.NET介绍

java专栏

04-14

1124

Jieba.NET 是一个在 C# 中实现的分词库，它基于 Java 的 jieba 分词库，并进行了 C# 语言的移植。Jieba 是一个高效的中文分词工具，能够处理全模式、精确模式以及搜索引擎模式。CutForSearch 方法的第一个参数是要分词的文本，第二个参数是一个布尔值，用于指示是否启用全模式。如果你需要使用全模式或搜索引擎模式，你可以调用 CutForSearch 方法，并传递一个额外的参数来指定模式。安装完成后，你就可以在你的 C# 项目中使用 Jieba.NET 了。

jieba中文分词的.NET版本：jieba.NET

weixin_34067980的博客

09-08

410

简介平时经常用Python写些小程序。在做文本分析相关的事情时免不了进行中文分词，于是就遇到了用Python实现的结巴中文分词。jieba使用起来非常简单，同时分词的结果也令人印象深刻，有兴趣的可以到它的在线演示站点体验下（注意第三行文字）。 .NET平台上常见的分词组件是盘古分词，但是已经好久没有更新了。最明显的是内置词典，jieba的词典有50万个词条，而盘古的词典是17万，这样会造成明...