Chinese Treebank系列数据集划分，以及ctb转换成斯坦福标准数据集的完整代码

原创 已于 2023-03-04 21:20:57 修改 · 979 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #nlp #big data

于 2023-02-18 20:12:20 首次发布
文章介绍了如何按照不同的规则对CTB系列数据集（如CTB5、CTB7、CTB8、CTB9）进行训练集、验证集和测试集的划分，特别是何晗提出的CTB8&CTB9的拆分方案，旨在解决样本遗漏、不均衡和复杂性问题。HanLP提供的工具make_ctb用于制作NLP任务的标准数据集，包括词性标注和依存解析等任务。建议在Linux环境下运行此代码。

ctb系列数据集划分训练集、验证集、测试集

文章目录

ctb5

  • Kruengkrai, Canasai, Kiyotaka Uchimoto, Jun’ichi Kazama, Yiou Wang, Kentaro Torisawa和Hitoshi Isahara. 《An Error-Driven Word-Character Hybrid Model for Joint Chinese Word Segmentation and POS Tagging》. 收入 Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, 513–21. Suntec, Singapore: Association for Computational Linguistics, 2009. https://aclanthology.org/P09-1058.
  • 在这里插入图片描述

CTB7

  • Wang, Yiou, Jun Kazama, Yoshimasa Tsuruoka, Wenliang Chen, Yujie Zhang和Kentaro Torisawa. 《Improving Chinese Word Segmentation and POS Tagging with Semi-supervised Methods Using Large Auto-Analyzed Data》, 2011.

  • ctb7

  • ctb7

  • ctb7

ctb8 & ctb9

  • Shao, Yan, Christian Hardmeier, Jörg Tiedemann和Joakim Nivre. 《Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF》. 收入 Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 173–83. Taipei, Taiwan: Asian Federation of Natural Language Processing, 2017. https://aclanthology.org/I17-1018.
  • ctb9

CTB8 & CTB9 (何晗大佬倡导)

  • https://bbs.hankcs.com/t/topic/3024

  • 每个文件以8结尾的划入开发集，以9结尾的划入测试集，否则划入训练集

  • ctb9的拆分在学术界已有定论，根据IJCNLP 2017上Shao et. al的论文，ctb9拆分遗漏了51个文件，亦即4000-4050这个区间。而且该拆分在各个领域（genre）上的分布比较不均匀。ctb9一共8个领域，分别为：

    • nw 新闻
    • mz 杂志
    • bn 广播新闻
    • bc 广播访谈
    • wb 博客
    • df 论坛
    • sc 短信
    • cs 聊天

  • 在这些领域上，学术界拆分导致的文件数统计如下：

    • Shao et. al (2017) 拆分统计

    • genre train dev test
      nw 604(79.47%) 25(3.29%) 131(17.24%)
      mz 117(90.00%) 0(0.00%) 13(10.00%)
      bn 965(79.95%) 122(10.11%) 120(9.94%)
      bc 69(80.23%) 9(10.47%) 8(9.30%)
      wb 171(79.91%) 22(10.28%) 21(9.81%)
      df 447(79.96%) 46(8.23%) 66(11.81%)
      sc 561(80.03%) 70(9.99%) 70(9.99%)
      cs 14(77.78%) 1(5.56%) 3(16.67%)

  • 考虑到上述样本遗漏、样本不均衡以及拆分规则复杂的问题，HanLP提出如下拆分，推荐给工业界和开源界人士：

    • 每个文件以8结尾的划入开发集，以9结尾的划入测试集，否则划入训练集。

    • 这个简单直白的划分不仅操作简单，而且能够保证各个领域的均衡比例。该划分的统计信息如下

  • genre train dev test
    nw 655(80.76%) 78(9.62%)
最低0.47元/天 解锁文章
NLP模型笔记2022-11：CTB5和CTB8数据集预处理 【PennTreebank 和Chinese Treebank】
源代码杀手的博客
06-01 1261
ctb5和ctb8数据集下载地址: ctb5:https://download.csdn.net/download/weixin_41194129/85448924?spm=1001.2014.3001.5503 ctb8:https://download.csdn.net/download/weixin_41194129/85337314?spm=1001.2014.3001.5503NLP模型实践文章：一种联合中文分词和依存分析的统一模型训练CTB5数据集【论文复现+源码+数据集下载】 CTB 有点乱，
词性标注实战：基于BERT的词性标注模型训练，解决生僻词、专业术语标注不准问题
最新发布
IAMIF12的博客
10-11 385
BERT模型通过上下文语义区分——前句中“卷积”修饰“操作”（名词），标注为名词“n”，后句中“卷积”作谓语（搭配宾语“图像数据”），正确标注为动词“v”，完全匹配术语在不同语境下的词性变化。- 垂直领域术语案例：输入“患者需定期做血常规检查，服用靶向药控制病情”，传统CRF模型因未见过“血常规”“靶向药”，统一标注为“未知词”；- 领域术语数据集：以医疗领域为例，从医学论文中提取术语（如“靶向药”“CT影像”“血常规”），标注词性（如“患者服用靶向药”中“靶向药”标注为名词n），共收集2000+句子。
Penn Tree Bank (PTB)数据集
03-26
积分已重新设置。 -------------------- 数据集已经预处理并含有整体10000个不同的词，包括结束句子的标记和用于罕见词语的特殊符号（\ <UNK>）。数据量小，适用于RNN的训练。积分莫名增加了，无积分可以私信我。
Stanford Sentiment Treebank 标准情感数据集.torrent
06-20
Stanford Sentiment Treebank 是一个标准情感数据集，主要用于情感分类，其中每个句子分析树的节点均有细粒度的情感注解。 该数据集由斯坦福大学的 NLP 组发布，其中句子和短语共计 239232 条，相较于忽略单词顺序的大多数情绪预测系统，这套深度学习模型建立了基于句子 结构 的完整表示。它可根据单词组成的短语判断情绪。 该数据集由斯坦福大学 自然语言处理 组于 2013 年发布，相关论文有《Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank》。
中文词性标注数据集
SYSU_BOND的博客
07-03 3600
中文词性标注数据集 1. Chinese Treebank X.0 (CTBX) 数据集简介： 由LDC构建的中文树库。CTBX中X表示版本，随着版本数据规模扩大，以及部分标准修正。CTB1标注数据来自新华日报；CTB2对CTB1进行部分纠正以及进行发布；CTB4标注数据来自新华日报、香港政府新闻处发布的新闻、以及台湾Sinorama magazine；CTB5标注数据来源同CTB4，对规模进行扩大；CTB6增加了来自广播节目的标注数据；CTB7增加了广播新闻、微博数据、以及广播电视谈话类节目数据；CT
Chinese Treebank 7.0数据集介绍，官网编号LDC2010T07
ldcdata的博客
05-21 412
CTB 7.0数据集包含了大量的中文句子，并且每个句子都经过了详细的句法标注。这些标注包括句法结构、词性、短语边界等信息，有助于研究人员更深入地理解中文句子的语法和语义结构。Chinese Treebank 7.0（简称CTB 7.0）是一个针对中文语言的句法标注语料库，它始于1998年，旨在建立一个具有句法标记的中文句法语料库，以便用于自然语言处理（NLP）和计算语言学的研究。在NLP领域，CTB 7.0数据集被广泛用于句法分析、语义角色标注、依存句法分析等任务的研究和实验。
Chinese Treebank简单介绍
qq_45385038的博客
12-14 1729
CTB中汉语词性划分规则： 汉语被划分为33类 4类动词和谓语性形容词（Verb, adjective） – VC: Copula 系动词 – VE: main verb – VV: Other verb（其他动词） – VA: Predicative adjective（表语形容词） 3类名词 – NR（专有名词） – NT（时间名词） – NN（其他名词） 1类处所词 – LC（处所词），方位：前后里外左右上下 1类代词 – PN（代词） 3类限定词和数词 – DT: Determiner（限定词），
斯坦福句法分析器Java调用源码解析
以 PCFG 模型为例，它通过对大规模人工标注语料库（如 Penn Treebank 英文树库、CTB 中文树库）进行训练，学习出各种语法规则的概率分布。当面对新的句子时，分析器会使用 CKY（Cocke-Kasami-Younger）算法或 Earley...
TextParser项目借助斯坦福NLP工具实现中文文本解析
- ctb.prop：可能是一个配置文件，用于设置CTB（Chinese Treebank）分词器的相关参数。 - norm.simp.utf8：可能是一个标准化后的中文语料库，用于提供给分词器和词性标注器等后续处理。 6. Java开发环境配置： -...
中文句法分析器源码下载与Stanford解析器应用
尽管距今已有十余年，但该版本在当时已具备较为成熟的中文处理能力，可能包含针对CTB（Chinese Treebank）语料库训练的句法模型。CTB是由LDC发布的标准中文树库，被广泛用于训练和评测中文句法分析器。此版本虽非...
stanford-postagger-full词性标注
huangyinge的专栏
02-24 7857
1 models介绍 该版本的词性标注工具中有一个models文件夹，该文件夹下有两种类型的文件：.tagger类型和. props类型。其中.tagger类型的文件是词性标注训练出来的模型文件，. props类型是其对应的properties文件。models文件夹下所有的文件如下图： 下面分别介绍该文件夹下主要的几个模型。 1.1  arabic.tagger Trainedon
CTB 论坛 数据库结构分析
02-26
CTB 论坛 数据库结构分析
汉语分词语料库
05-23
CTB6汉语分词语料库，可以拿来做分词任务。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
PTB数据集和baseline
03-01
Penn Tree Bank (PTB) dataset， is widely used in machine learning of NLP (Natural Language Processing) research.
Treebank-3数据集
z_shouwangzhe的博客
05-10 619
Treebank-3数据集是一个比较不错的数据集，其官网编号为LDC99T42，该数据集经过了更新，补充了一些Treebank-2的内容，其截图如下： 官网正式介绍如下： Item Name: Treebank-3 Author(s): Mitchell P. Marcus, Beatrice Santorini, Mary Ann Marcinkiewicz, Ann Taylor LDC Catalog No.: LDC99T42 ISBN: 1-58563-
Treebank3数据集介绍，编号LDC99T42
ldcdata的博客
10-12 180
它包含了大量的句子，并为每个句子提供了详细的句法结构信息，这些信息以树形结构表示。这种树形结构有助于揭示句子中各个成分之间的关系，如主语、谓语、宾语等，从而有助于理解句子的含义。这个数据集由米切尔·P·马库斯、比阿特丽斯·圣托里尼、玛丽·安·马尔辛凯维奇和安·泰勒等人创建，并于1999年由语言数据联盟（LDC）发布。与Treebank 2相比，Treebank 3进行了更新和扩展，补充了一些新的内容。这使得Treebank 3成为一个更加全面和丰富的数据集，适用于各种NLP任务的研究和开发。
Treebank-2数据集介绍，官网编号LDC95T7
ldcdata的博客
05-13 388
Treebank2数据集是一个用于句法分析和自然语言处理研究的大型语料库。它包含了大量经过精心标注的文本数据，这些数据被用来训练和开发句法分析器以及其他自然语言处理系统。
Dataset之PTB：Penn Treebank Dataset（PTB 数据集）的简介、安装、使用方法之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-22 1万+
​ Dataset之PTB：Penn Treebank Dataset（PTB 数据集）的简介、安装、使用方法之详细攻略 目录 PTB 数据集的简介 PTB 数据集的安装 PTB 数据集的使用方法 PTB 数据集的简介 Penn Treebank Dataset 数据集是一个用于自然语言处理（NLP）和计算语言学研究的标准数据集。它包含来自多种来源的文本，如新闻、书籍和文章。PTB 数据集通常用于语言模型、词性标注、句法分析等任务的训练和评估。 官方地址：BOLT Treebank |
Penn Chinese Treebank （CTB）论文笔记-成分句法分析的标注体系
qq_40332976的博客
09-16 1593
Penn Chinese Treebank 标注体系 1. 分词（word segmentation） 由于本文的目标是为句子建立句法结构，因此在分词阶段本文采用了句法词（句法原子）的概念。涉及构词法和词法分析。 2. 词性标注（POS tagging） 由于汉语词汇没有时态、格数标记，词性标注的核心问题是词性标注的定义是基于语义还是基于句法分布。这个问题从20世纪50年代就开始争论了(Gong 1997)，存在有两种相反的观点。 例如，“毁灭”翻译成英文：destroy/destroys/destroye
六种论坛数据转换至bmforum的工具合集
“六种论坛转bmforum的转换程序”这一标题明确指出，该压缩包中包含将六种主流论坛系统迁移至bmforum平台的数据转换工具。bmforum 是一款基于 PHP 和 MySQL 构建的轻量级、高效能的开源论坛系统，具有良好的扩展性与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值