AttributeError: module ‘hanlp.utils.rules‘ has no attribute ‘tokenize_english‘

于 2023-10-10 16:27:35 发布
阅读量512 收藏
点赞数
文章标签： python 经验分享 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_37905754/article/details/133749905
版权

附原文链接：http://t.csdnimg.cn/wVLib

  1. import hanlp

  2. tokenizer = hanlp.utils.rules.tokenize_english

  3. tokenizer('Mr. Hankcs bought hankcs.com for 1.5 thousand dollars.')

  4. 改为：

  5. from hanlp.utils.lang.en.english_tokenizer import tokenize_english
    tokenizer = tokenize_english
    tokenizer('Mr. Hankcs bought hankcs.com for 1.5 thousand dollars.')

Python 版本为 3.8.10

成功解决logging in emit stream.write(msg+self.terminator) ValueError:underlying buffer has been detached
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-20 1703
成功解决logging in emit stream.write(msg+self.terminator) ValueError:underlying buffer has been detached。
Transformers 源码阅读之BertTokenizerFast分词模型
羊城迷鹿的博客
07-01 7431
从bert-base-chinese下载预训练语言模型及其他词表，由于使用的是pytorch，因此下载即可。如果要使用英文模型，就下载能区分大小写的或者是不能区分大小写的，对于uncased，初始化时必须要把lower设为true。在深入模型细节之前，我们先用一个简单的例子看一看BertTokenizerFast究竟是用来干什么的，需要什么样的输入，又会给出怎样的输出。...........................
hanlp句法分析
qq_38148600的博客
04-24 1074
from pyhanlp import * HanLP.Config.ShowTermNature = False a=HanLP.parseDependency('08年公司毛利率40.6%,比07年下降仅1个百分点,主要源于大麦、酒花和包装物成本上升。') for i in a: print(i) 结果 1 08年 08年 nt t _ 2 定中关系 _ _ 2 公司 公司 n n _ 3 定中关系 _ _ 3 毛利率 毛利率 n n _ 4 主谓关系 _ _ 4 40.6% 4.
《自然语言处理入门》12.依存句法分析--提取用户评论
mantch
02-18 3460
文章目录12. 依存句法分析12.1 短语结构树12.2 依存句法树12.3 依存句法分析12.4 基于转移的依存句法分析12.5 依存句法分析 API12.6 案例: 基于依存句法分析的意见抽取12.7 GitHub 笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP 12. 依存句法分析 语法分析(syntactic parsi...
自然语言处理（NLP）（一）文本预处理篇之分词、向量表示和特征处理
weixin_36488653的博客
06-09 3869
文章目录一、文本处理1. 文本预处理的基本方法1.1 jieba模块分词1.1.1 精确模式分词1.1.2 全模式分词1.1.3 搜索引擎模式分词1.1.4 中文繁体分词1.1.5 自定义词典分词1.2 hanlp模块1.2.1 中文分词1.2.2 英文分词1.2.3 命名实体识别1.2.4 词性标注2. 文本张量表示方法2.1 one-hot词向量表示2.2 word2vec2.2.1 CBOW(Continuous bag of words)模式2.2.2 skipgram模式2.2.3 使用fastt
AttributeError: module ‘nltk‘ has no attribute ‘download‘的可能解决办法
HermitSun的博客
07-09 4780
在.py文件里直接运行nltk.download()，会报错： import nltk nltk.download() 环境是anaconda 3。 后来看到有人说，不能在.py文件里直接运行，而应该在Jupiter Notebook或者命令行运行。所以，我用命令行试了一下： C:\Users\Administrator>python Python 3.7.7 (default, May 6 2020, 11:45:54) [MSC v.1916 64 bit (AMD64)] :: Anacon
AttributeError: module 'torchtext' has no attribute 'data'
最新发布
03-08
### 解决 `torchtext` 模块中不存在 `data` 属性的 `AttributeError` 在较新的版本中，`torchtext` 的 API 发生了变化，移除了顶层命名空间中的 `data` 和其他一些组件。为了兼容旧版代码并解决此问题，可以采用两...
def parse_corpus(infile, outfile): '''parse the corpus of the infile into the outfile''' space = ' ' i = 0 def tokenize(text): return [lemma(token) for token in text.split()] with open(outfile, 'w', encoding='utf-8') as fout: # wiki = WikiCorpus(infile, lemmatize=False, dictionary={}) # gensim中的维基百科处理类WikiCorpus wiki = WikiCorpus(infile, tokenizer_func=tokenize, dictionary={}) # gensim中的维基百科处理类WikiCorpus for text in wiki.get_texts(): fout.write(space.join(text) + '\n') i += 1 if i % 10000 == 0: logger.info('Saved ' + str(i) + ' articles') 报错D:\软件\python\lib\site-packages\gensim\utils.py:1333: UserWarning: detected Windows; aliasing chunkize to chunkize_serial warnings.warn("detected %s; aliasing chunkize to chunkize_serial" % entity) Traceback (most recent call last): File "D:\pythonFiles\图灵\Python_project\self_learn\大语言模型\WikiExtractor.py", line 52, in <module> parse_corpus(infile, outfile) File "D:\pythonFiles\图灵\Python_project\self_learn\大语言模型\WikiExtractor.py", line 29, in parse_corpus for text in wiki.get_texts(): File "D:\软件\python\lib\site-packages\gensim\corpora\wikicorpus.py", line 693, in get_texts for tokens, title, pageid in pool.imap(_process_article, group): File "D:\软件\python\lib\multiprocessing\pool.py", line 870, in next raise value File "D:\软件\python\lib\multiprocessing\pool.py", line 537, in _handle_tasks put(task) File "D:\软件\python\lib\multiprocessing\connection.py", line 211, in send self._send_bytes(_ForkingPickler.dumps(obj)) File "D:\软件\python\lib\multiprocessing\reduction.py", line 51, in dumps cls(buf, protocol).dump(obj) AttributeError: Can't pickle local object 'parse_corpus.<locals>.tokenize' 怎么优化
06-07
尝试将`tokenize`函数定义在`parse_corpus`函数外，并将其作为参数传递到`WikiCorpus`中，如下所示： ```python def tokenize(text): return [lemma(token) for token in text.split()] def parse_corpus(infile,...
AttributeError: module 'scipy.misc' has no attribute 'imresize'
Hello Word!
02-05 2204
sicpy版本不对，卸载其他版本，安装1.2.1版 1，查看现有版本 $ pip3.6 list 2，卸载现有版本 $ pip3.6 uninstall scipy 3，安装指定岸本 $ pip3.6 --trusted-host=files.pythonhosted.org --trusted-host=pypi.org install scipy==1.2.1 --user 参考：ht...
自然语言处理（二）：文本预处理之文本处理的基本方法
GeniusAng的博客
01-02 1655
自然语言处理（二）：文本预处理之文本处理的基本方法
HanLP中文分词、人名识别、地名识别
This blog is a space to document my professional learnings, personal reflections, and everything in between.
11-21 6782
使用Python的HanLP自然语言处理包，调用其API，实现中文分词、中国人名识别、音译识别名字和地名识别。本实验选用的文本是曾经爬取的百度百科的前40条简介数据，并且对比了不同语义（Semantic）算法下的结果。
【NLP】文本处理的基本方法（超详解）
风口IT猪的成长录
07-30 3274
文本处理的基本方法1. 分词1.1 什么是分词1.2 分词的作用1.3 流行中文分词工具jieba1.3.1 jieba的特性1.3.2 jieba的安装1.3.3 jieba的使用 1. 分词 1.1 什么是分词 分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。 我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符, 分词过程就是找到这样分界符的过程. 举个栗子: 工信处女干事每月经过下属科室都要亲口交代24
python自然语言处理学习笔记三
retacn_yue的专栏
05-04 2197
第三章 处理原始文本   1 从网络和硬盘访问文本 #>的英文翻译 未作测试?? From utlib import urlopen Url=’http://www.gutenberg.org/files/2554/2554.txt’ Raw=urlopen(url).read() Type(raw) Len(raw) Raw[:75]   #分词 未作测试?? Token
python网络通信时出现乱码_python 调用时候出现的乱码问题
weixin_39863017的博客
11-24 1万+
From: hankcs [mailto:notifications@github.com]Sent: 2016年1月28日 21:14To: hankcs/HanLPCc: yarayuSubject: Re: [HanLP] python 调用时候出现的乱码问题 (#101)请详细描述你的问题，附带示例代码和报错信息。说明：好几个demo例子运行时都会报“相应类库里缺少segment属性”代码...
AttributeError: module 'torch.utils' has no attribute 'data' 解决方法
落队的飞行兵
05-25 3万+
今天在用 pytorch 实现自定义数据读取时，出现了下面这个bug ： AttributeError: module 'torch.utils' has no attribute 'data' 原因是自己没有导入 'data' 包，不能通过 '.' 的方式使用；添加 import torch.utils.data 或是 另一种导入包的方式：from torch.utils import data 都可以
【Python 脚本报错】AttributeError:'module' has no attribute 'xxx'的解决方法
热门推荐
quokka
08-03 28万+
最近在编写Python脚本过程中遇到一个问题比较奇怪：Python脚本正常的，但执行报错”AttributeError: ‘module’ object has no attribute ‘xxx’”，其实是.pyc文件存在问题。 问题定位：查看import库的源文件，发现源文件存在且没有错误，同时存在源文件的.pyc文件。 问题解决方法：删除该库的.pyc文件，重新运行代码；或者找一个可以运...
AttributeError:partially initialized module ''has no attribute''(most likely dueto a circular import
c_lanxiaofang的博客
01-15 10万+
给我自己笑死，这个错误： AttributeError: partially initialized module 'itchat' has no attribute 'auto_login' (most likely due to a circular import) 1、我已经是确定导入了itchat了 pip install itchat 2、报错翻译过来的结果就是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值