使用Counter构建词汇表

最新推荐文章于 2025-04-25 20:01:35 发布
最新推荐文章于 2025-04-25 20:01:35 发布
阅读量907 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kunAUGUST/article/details/106886070
本文介绍了如何使用Python的Counter类来构建词汇表。在处理文本数据时，无论是连续的文本还是二维列表形式的词汇，Counter都能有效地统计元素频率。通过most_common()方法，可以获取最常出现的词汇。此外，还讨论了如何在词汇表中添加'unk'和'pad'特殊标记，并确保它们的特定索引。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里只记录两种情况：

1

数据集是一段连续的文本，所有词汇放在一个list中（一维的）
text:
在这里插入图片描述
此时Counter（text）,text可以是一个list，统计该list中所有元素出现的次数并返回一个dict
在这里插入图片描述
结合most_common()方法，就可构建词汇表：print(Counter(text).most_common(5))

在这里插入图片描述
（5）表示选取频率最高的5个元素，返回由（key,value）元组组成的list
再由二元组列表组成dict：print(dict(Counter(text).most_common(5)))
在这里插入图片描述

2

当所有的词汇不是放在一个一维的list中，而是一个二维list：
在这里插入图片描述
我们可以通过二层循环访问到其中的每一个元素，然后要把这些元素的值累计计数
先通过Counter()构建一个空字典（Couner对象）：

sentences = [['BOS', '任', '何', '人', '都', '可', '以', '做', '到', '。', 'EOS'],
最低0.47元/天 解锁文章

200万优质内容无限畅学
词汇表构建：从词频统计到词嵌入
AI天才研究院
03-15 317
1. 背景介绍 1.1 自然语言处理的挑战 自然语言处理（NLP）是计算机科学、人工智能和语言学领域的交叉学科，旨在让计算机能够理解、解释和生成人类语言。然而，由于自然语言的复杂性和多样性，为计算机设计有效的自然语言处理算法一直是一个巨大的挑战。 1
python 词汇表_使用Counter构建词汇表
weixin_30701661的博客
01-13 1359
这里只记录两种情况：1数据集是一段连续的文本，所有词汇放在一个list中(一维的)text:此时Counter(text),text可以是一个list，统计该list中所有元素出现的次数并返回一个dict结合most_common()方法，就可构建词汇表：print(Counter(text).most_common(5))(5)表示选取频率最高的5个元素，返回由(key,value)元组组成的l...
词汇表
程序员民工
09-30 3843
ABC （基于活动的成本核算）ABM （基于活动的管理）abstract class（抽象类）abstract operation（抽象操作）abstraction（抽象）access modifier（存取权限）accessor methods（存取器方法）acceptance（验收）ACL 访问控制列表action（动作）对构成计算过程抽象的可执行语句的
构建词表与抽样——【torch学习笔记】
诗酒趁年华。
06-02 966
语言符号（又称词）的数量很大，而且分布很不均匀。因此，预测下一个符号的简单多类分类方法并不总是很有效。此外，我们需要把文本变成我们可以优化的格式，即我们需要把它映射到向量。
torchtext处理文本数据——使用自己的word2vec模型作为词向量建立词表（学习二）
呆萌的代Ma
08-30 1837
首先复制上一篇博客的完整代码，代码如下： 注：如果有不明白的地方请参考上一篇博客——torchtext处理文本数据——构造dataset读取文本（学习一） 数据源和解释都在上一篇博客中 from torchtext import data def split_tokenize(x): # 传入的x就是一个格子的文本 return x.split(' ') # 按空格切分 def country_tokenize(x): # 这是专门处理国家字段，不分词直接返回结果 retu
# 构建词汇表：自然语言处理中的关键步骤
最新发布
www_pp_的博客
04-25 893
构建词汇表是 NLP 中的一个重要步骤。通过统计字符频率、过滤低频字符并映射为索引值，我们可以高效地处理文本数据。本文通过一个具体的例子展示了如何使用 Python 构建词汇表，并保存为.pkl文件以便后续使用。希望这篇文章对你有所帮助！
Python中的大语言模型词汇表管理与优化
二进制的梦想
01-07 643
词汇表管理与优化是大语言模型开发中的关键步骤。通过合理的词汇表设计和优化策略，如子词分解、频率截断和停用词过滤，可以有效提升模型的性能和效率。Python作为一种灵活且强大的编程语言，为我们提供了丰富的工具和库，帮助实现高效的词汇表管理与优化。在未来的研究和应用中，我们可以结合不同的优化技术，为大语言模型开发提供更强大的支持。
（二）依据词频，构造词汇表（单个字符级）
HaiYang_Gao的博客
10-24 983
步骤： 1.打开文件test1.txt 2.读取文件 3.筛选test1中高频词（含标点，空格），构成词汇表 代码 import sys from collections import Counter import numpy as n def open_file(filename, mode='r'): return open(filename, mode, encoding='ut...
如何从零建立一个词表
zh515858237的专栏
07-02 1774
背景：当我们拿到一份语料，但是却没有分词的词表，我们如何找到一个最佳的词表，能够对这份语料是最匹配和适应的呢？ 解决方案： 首先，我认为词的定义是指，对语料能做语义上最合理的划分。 这里会有一种矛盾，如果词数量越多，那么在统计ngram文法时，文法数就越多，对语料的统计频次就越稀疏，可信度就会下降； 而如果走另一个极端，直接按字来划分语料，那文法数是会减少，统计频次也足够多，但是每个文法跨越的文字范围又太短，例如5元文法，只能看到前面四个字而已。 所以，我们需要找到一个方案，能够在字的基础上，逐步
如何处理我们的文本数据成构建词表
weixin_44535934的博客
02-03 825
target：{'PAD': 0, 'UNK': 1, 'SOS': 2, 'EOS': 3, '是': 4, '王': 5, '若': 6, '猫': 7, '的': 8, '。input ：{'PAD': 0, 'UNK': 1, 'SOS': 2, 'EOS': 3, '呵': 4, '不': 5, '是': 6, '怎': 7, '么': 8, '了': 9, ...}，每一个字对应的数字都应该是独一无二的，比如，['不', '是'] 会对应的转换为 [ 6, 4 ]这样的形式。
Python-使用单词向量来交互式生成类似单词的列表
08-10
使用单词向量来交互式生成类似单词的列表
python3内置函数一Counter
坏孩子
09-07 741
列表里面元素的统计 from collections import Counter text1 = "There are moments in life when you miss someone so much that you just want to pick them from your dreams and hug them for real! Dream what you wan...
Keras词级自然语言模型
weixin_34187822的博客
11-10 233
更多深度文章，请关注云计算频道：https://yq.aliyun.com/cloud 语言模型是许多自然语言处理模型（如机器翻译和语音识别）中的关键元素，它可以根据给出的单词序列预测到序列中的下一个单词。在选择语言模型的框架时需要注意与语言模型的目的匹配。 本教程分为5个部分;他们是： 1.语言建模框架。 2.模型1：单字输入，单字输出序列。 ...
word2vec
m0_71334725的博客
05-22 161
绿色部分为非上下文词，按照之前定义的获取词向量时，只需考虑上下文词，但是优化时，我们不仅要考虑上下文词，而且还要考虑非上下文词，但是当语料库非常大的时候，非上下文词太多了，会导致计算灾难，因此只采样部分负样本，负样本即非上下文词。在词库中，在出现该词的地方标记为1，其它地方标记为0，这样，每一个词就唯一表示为一个向量，但是这种表示方式受限于词库的大小，当词库过于庞大时，每一个one-hot向量的维度也会很大，对于计算机的存储和计算来说是灾难性的。方法一：输出与特定词语的相关度比较高的词语。
NLP自然语言处理实战(一):利用分词器构建词汇表
weixin_44288092的博客
09-27 5547
在NLP中，分词（tokenization，也称分词）是一种特殊的文档切分（segmentation）过程。而文档切分能够将文本拆分成更小的文本块或片段，其中含有更集中的信息内容。文档切分可以是将文档分成段落，将段落分成句子，将句子分成短语，或将短语分成词条（通常是词）和标点符号。
《自然语言处理实战：利用Python理解、分析和生成文本》读书笔记：第2章 构建自己的词汇表——分词
weixin_44850744的博客
08-11 1040
本章实现了分词功能，并且可以为应用定制分词器。
pytorch学习日记之导入图片、文本训练测试数据
weixin_43275631的博客
02-25 584
使用data.BucketIterator()函数将训练数据集和测试集定义为数据加载器，使用TEXT.build_vocab()方法对指定的数据集（训练集）建立一个单词表，参数vector用于指定单词的词向量，可选训练好的词向量 或者不指定。读取文本数据 train.csv和test.csv 在每个文件中均包含两列数据，分别对应标签变量label和文本变量text，使用torchtext库进行数据准备。使用data.Field()函数类，分别定义将文本和标签转化为张量的相关操作。
第二课 词向量简介
qq_44177462的博客
07-05 361
》词向量：在很多时候需要把单词转换为数值，单词包含人类表达信息。 》离散表示：One-hot 语料库 John likes to watch movies. Mary likes too. John also likes to watch football games. 词典 {"John": 1, "likes": 2, "to": 3, "watch": 4, "movies": 5, "also": 6, "football": 7, "games": 8,......
Python 集合应用之“简易英语词汇生词本”
zhouhua2022的博客
05-17 3827
# 英语生词本 """ 介绍：背单词是学英语最基础的一环，不少学生在背单词的过程中会整理自己的生词本，以不断拓展自己的词汇量。 知识点： 1、集合的创建、增添、删除、查询、遍历 2、循环语句：while、for 3、条件语句：if、elif、else 4、跳转语句：break、continue 5、旗帜应用 不足（待改善）： 1、完善程序，可以尝试添加提示语，让程序可读性更强 2、可尝试添加一些确认，例如：加一个条件，是否确认删除生词 .
清华文本分类数据集词汇表
03-21
### 关于清华大学文本分类数据集词汇表的获取 对于清华大学提供的文本分类数据集（如THUCNews），官方并未直接提供现成的词汇表文件。然而，可以通过以下方式自行构建词汇表： #### 构建词汇表的方法 1. **加载数据集** 首先需要下载并解压THUCNews数据子集[^1]。该数据集中包含了多个类别的新闻文章。 2. **分词处理** 使用中文分词工具（如`jieba`）对每篇文章进行分词操作。这一步骤可以有效提取出语料库中的词语集合[^2]。 3. **统计词频** 对所有文档中的词语进行频率统计，从而得到一个按出现次数排序的词汇列表。此过程有助于筛选高频词汇作为最终词汇表的一部分。 4. **保存为词汇表文件** 将上述获得的高频词汇存储到单独的文件中形成词汇表。通常采用纯文本格式(.txt)，其中每一行代表一个独立词条及其对应的ID编号或者仅列出词条名称即可满足大多数应用场景需求。 以下是利用Python实现这一流程的一个简单示例代码片段: ```python import jieba from collections import Counter def build_vocab(data_path, vocab_file): word_counts = Counter() with open(vocab_file, 'w', encoding='utf-8') as vf: for category in os.listdir(data_path): cat_dir = os.path.join(data_path, category) if not os.path.isdir(cat_dir): continue for file_name in os.listdir(cat_dir): file_path = os.path.join(cat_dir, file_name) try: with open(file_path, 'r', encoding='utf-8') as f: content = f.read().strip() words = list(jieba.cut(content)) word_counts.update(words) except Exception as e: print(f"Error processing {file_path}: {e}") sorted_words = word_counts.most_common() # 获取按照频率排序后的单词 for idx,(word,freq) in enumerate(sorted_words,start=1): vf.write(f"{idx}\t{word}\n") build_vocab('path_to_thucnews_data','vocab.txt') ``` 以上脚本定义了一个函数 `build_vocab()` ，它接收两个参数：一个是包含原始新闻文本的数据路径；另一个是指定输出位置的词汇表文件名。执行完毕后会在指定目录下生成名为`vocab.txt` 的词汇表文件[^4]。 #### 注意事项 在实际操作过程中需要注意一些细节问题： - 确保安装好所需的第三方库(`jieba`)。 - 考虑去除停用词(stopwords)，这样可以使模型更加专注于有意义的信息而不是常见的无意义词汇比如“的”，“了”等等。 - 如果内存资源有限，则可能需要调整批量读取策略以适应大规模数据集的情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值