语料库小结

转载已于 2022-03-31 16:58:45 修改 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/u010533386/article/details/51458591

文章标签：

#linux #hdfs #hadoop

于 2019-09-30 18:02:07 首次发布

其他专栏收录该内容

30 篇文章

订阅专栏

本文分享了电影评分数据集的来源，包括一个广泛使用的电影评分数据集链接，以及大规模中文自然语言处理语料资源，涵盖百科、问答、新闻和翻译等，为NLP研究者提供了丰富的数据支持。

20220331

http://files.grouplens.org/datasets/movielens/
电影评分数据

https://blog.youkuaiyun.com/u010533386/article/details/51458591
停用词

https://mp.weixin.qq.com/s/QTdpGsjHqCutVJaTd_dxZg
大规模中文自然语言处理语料(百科，问答、新闻，翻译)

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_ry5219775

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

计算语言学之语料库

刘炫320的博客

04-10

2793

0. 写在前面我们自然语言处理和语言学方面的不同就在于，我们来源于大量的语料库统计资料。之前所看到的的语言学方面的篇章分析，大多都是基于几十篇的文章得出的结果，并不是太有说服力，仅仅是高频统计。所以，我们这一张来介绍一下语料库。1. 语料库的来源1.1 语料库的定义语料库就是存放语言材料的数据库。做机器学习，最重要的是语料，有了大量的训练样本，才能够学习到更加真实的模型。1.2 语料库语言学的发展语

NLP预训练模型与语料库

AI天才研究院

08-02

1170

1.1 引言：在自然语言处理任务中，有很多关于数据集、模型及词向量等重要环节。本文将结合自己的实际经验分享一些关于预训练模型与语料库的心得体会。随着深度学习的火热，基于神经网络的预训练模型越来越多，例如BERT、ALBERT、RoBERTa等。这些预训练模型对各种任务都有着很好的性能提升，但同时也带来了新的问题——模型太大。为了更好地解决这一问题，研究人员们又研究出更小的预训练模型，如DistilBERT、TinyBERT等。这些模型的大小仍然小于BERT和ALBERT，但精度却有明显优势。

参与评论您还未登录，请先登录后发表或查看评论

英文语料库

weixin_30762087的博客

10-12

198

本语料库由University of California整理，里面包含20newsgroups，reuters21578，census1990等大量经典语料http://kdd.ics.uci.edu/databases/ 转载于:https://www.cnblogs.com/banbana88/archive/2012/10/12/2721492.html...

CNN/Daily Mail（简称CNN/DM）作为单文本摘要语料库，每篇摘要包含多个摘要句。

07-05

训练集大小： 286817 验证集大小： 13368 测试集大小： 11487

语料库

u012474716的博客

08-19

1033

https://github.com/brightmart/nlp_chinese_corpus

英文语料库整理

异ﾘ度ｭ空ｳ間（镜像站）

06-15

4671

Reuters-21578 语料下载 Reuters-21578中文说明 Reuters-21578 语料库SGML转txt脚本（Python） Reuters-21578 语料库SGML转txt脚本（ruby）常用英文语料库下载本语料库由University of California整理，里面包含20newsgroups，reuters21

英语语料库LOB语料库

10-10

LOB语料库创建时间: 1970年代初创建单位:英国Lancaster大学和挪威Oslo大学以及Bergen大学规模层级: 100万词次基本情况:研究当代英国英语,与美国英语对比,使用了TAGIT系统,以统计方式建立换算几率矩阵,提高标注正确率。 The Lancaster-Oslo Bergen Corpus (LOB) was compiled by researchers in Lancaster, Oslo and Bergen. It consists of one million words of British En glish texts from 1961. The texts for the corpus were sampled from 15 different text categories. Each text is just over 2.000 words long (longer texts have b een cut at the first sentence boundary after 2.000 words) and the number of texts in each category varies (see table below). Further information about the t exts can be found in the LOB manual (external link). This corpus is the British counterpart of the Brown Corpus of American English. which contains texts printed in the same year so that comparison bet ween both varieties could be made

构建你的开源语料库：行业模型的启动弹药从哪来？

最新发布

努力分享一些人工智能、计算机视觉、影像等相关的知识干货！

04-02

790

下载数据集↓格式统一：input/output/instruction↓补 instruction、清洗脏样本↓导出 jsonl 或 csv 格式↓送入微调流程（如 QLoRA / SFT）很多团队会说：“我们也用了开源语料，为什么模型训完效果这么拉？因为你可能别等数据全都准备好才开始训，你应该先训一个“初步能答”的模型，试错、调方向、滚雪球。大模型项目从来不是“一口气做完”，而是一个“训一个版本 → 上一个试点 → 拿到反馈 → 喂回新数据”的闭环。

基于python的语料库数据处理电子版_[异步图书].精通Python自然语言处理[PDF][16.04MB]...

weixin_39854326的博客

11-24

554

内容简介自然语言处理是计算语言学和人工智能之中与人机交互相关的领域之一。本书是学习自然语言处理的一本综合学习指南，介绍了如何用Python实现各种NLP任务，以帮助读者创建基于真实生活应用的项目。全书共10章，分别涉及字符串操作、统计语言建模、形态学、词性标注、语法解析、语义分析、情感分析、信息检索、语篇分析和NLP系统评估等主题。本书适合熟悉Python语言并对自然语言处理开发有一定了解和兴...

语料库规模与分析：从定义到概率计算

# 语料库规模与分析：从定义到概率计算 ## 1. 语料库规模的确定在明确了所需数据类型及呈现方式后，就需决定实际要收集和标注的数据量。若使用现有语料库，其整体规模已定，但仍要确定标注的部分。一般而言，...

英文词性标注语料库

08-02

英文分词语料库，共有198796行，每个单词都有词性标注，对句话的结束都有句号，便于处理。覆盖大部分主流行业的语料。例如： Newsweek/NNP ,/, trying/VBG to/TO keep/VB pace/NN with/IN rival/JJ Time/NNP magazine/NN ,/, announced/VBD new/JJ advertising/NN rates/NNS for/IN 1990/CD and/CC said/VBD it/PRP will/MD introduce/VB a/DT new/JJ incentive/NN plan/NN for/IN advertisers/NNS ./.

搜狗语料库搜狗语料库

11-12

搜狗语料库，经验证非常好用。欢迎下载。搜狗语料库，经验证非常好用。欢迎下载。搜狗语料库，经验证非常好用。欢迎下载。

文本分类中文语料库

05-17

这是一个文本分类的语料库，主要是用于文本分类，主旨句提取，关键词提取等等应用。

中文歌词语料（JOSN格式）

02-22

文件为JSON格式数据，很容易解析，包括歌词、歌名、歌手等信息，包括各种风格的歌曲，大约1万8千首左右（未去重）。可以用作歌词生成模型训练、中文歌词向量模型训练等。

知名中文语料库

大明王

03-04

1511

知名中文语料库：中央研究院近代汉语标记语料 http://www.sinica.edu.tw/Early_Mandarin/ (台湾的繁体，在NLTK中有) 2.中央研究院汉籍电子文献 http://www.sinica.edu.tw/ftms-bin/ftmsw3 国家现代汉语语料库 http://124.207.106.21:8080/ 这个没搜索到 4.国家语委现代汉语语料库 ht...

python生成json文件_从不同的JSON文件创建语料库

weixin_39596835的博客

11-25

162

date2015-12-31TheInstituteofDirectors(IoD)has added its...2015-12-31Itisstartling to see how much theHolyroodl...2015-12-31A hikeininterest ratesinthe new year will...2015-12-31TheFirstMinisterhas res...

基于特定语料库的TF-IDF关键词提取实现

weixin_33712987的博客

08-08

2154

2019独角兽企业重金招聘Python工程师标准>>> ...

深度学习核心技术精讲100篇（十七）-多标准中文分词（ Multi-Criteria-CWS）

wenyusuran的专栏

05-08

1399

1.1 背景本文介绍一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能，在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享，复杂度不随语料库种类增长。论文：https://arxiv.org/pdf/1712.02856.pdf ；代码和语料：https://g...

中文电子病历语料库构建与信息抽取研究

他们从哈尔滨医科大学附属第二医院获取了2000份病历，主要类型为首次病程记录和出院小结，且进行了去隐私处理。为了适应病历文本的独特性，他们需要开发专门的自然语言处理工具，如分词、词性标注和句法分析器。目前...