无语的CRF测试

最新推荐文章于 2019-06-21 10:34:32 发布
原创 最新推荐文章于 2019-06-21 10:34:32 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#测试

部署运行你感兴趣的模型镜像

跑了几天才把人民日报的预料训练完，做词性标注的。

 

随手做了些测试，发现一个很faint的结果

 

每句测试语句的首个词的词性都被标注为"m"数词

 

无论实际应该是人名/地名/机构名/名称等等。

 

由于我的印象中，CRF的记忆力是很强的。

 

于是看了一下训练的预料，

 

发现所有预料的第一个词都是类似于

"19980101-01-001-001 CN m"的

 

原来这语料是新闻稿，首句都是表示时间的数词，所有语料都如此，难怪会出现这样的测试结果

 

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

测试CRF++训练出来的model
xu_erni的博客
01-06 3502
1.分析crf_model.txt version: 100（版本号） cost-factor: 1（默认为1，为了防止过拟合） maxid: 50940 xsize: 1 这是文件的开头部分： maxid：特征函数的最大id（因为中文采用的是BMES标注，所以实际结果） xsize：特征维度（训练的语料库列数减去1） 2.对训练好的crf_model文件进行测试 crf_t
crfasrnn环境搭建，跑demo
liuxiabing150的专栏
06-11 6070
crfasrnn官网： https://github.com/torrvision/crfasrnn 按照官网的步骤说明做即可 （1）将下载得到的压缩包解压，得到crfasrnn文件夹，将该文件夹拷贝到Linux下面 （2）安装crfasrnn/caffe/python/requirements.txt中提到的Python包 （3）拷贝caffe下的Makefile.config.e
Caffe实战系列：如何将CRFAsRNN移植到caffe-windows上去
一亩半分地
04-17 6537
（1）移植辅助的文件 将include/caffe/util/下的coords.hpp和modified_permutohedral.hpp复制到caffe-windows对应的目录 将src/caffe/util/modified_permutohedral.cpp复制到对应的目录中去 （2）移植Layer中的特性 在include/caffe/layer.h
CrfAsRnn-caffe-windows移植
04-17
CrfAsRnn-caffe-windows移植 配套的博客讲解如下： http://blog.youkuaiyun.com/xizero00/article/details/51174367#t5
CRFasRNN Model指南
triple_J6的博客
04-22 2762
这篇博客主要讲述发表在ICCV2015上的有关图像语义分割的model的用法的指南。（本人不才，竟然跑了一周多，一定要把其中各种吐血的错误写出来）。源码网址 http://crfasrnn.torr.vision/论文网址：http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf开始时，博主是在以上源码网址下的model，但是因为自己环境上的ca...
Python实现的CRF测试脚本教程
在探讨Python实现的CRF（条件随机场）测试代码之前，我们首先需要了解CRF是什么，以及它在自然语言处理中的应用。CRF是一种典型的判别式概率图模型，常用于序列数据的标注与结构化预测问题。在自然语言处理（NLP）中...
python版CRF测试代码
05-10
从提供的文件名`crf.py`和`crf_test.py`来看，它们可能是实现或测试CRF算法的脚本。 `crf.py`可能包含了一个CRF模型的定义和训练部分。通常，这会包括以下步骤： 1. **数据预处理**：将原始文本数据转换为模型可以...
crf++训练和测试包
04-12
**Crf++训练和测试包**是用于实现条件随机场（Conditional Random Fields，简称CRF）算法的一个开源工具，广泛应用于自然语言处理（NLP）领域，如词性标注、命名实体识别、句法分析等任务。CRF++由Taku Kudo开发，是...
lstm+crf、bilstm+crf 、LSTM CRF pytorch 命名实体识别代码
04-21
本项目利用了深度学习模型，特别是结合了长短期记忆网络（LSTM）和条件随机场（CRF）的结构，以PyTorch框架实现。以下将详细解析这些关键概念及其在NER中的应用。 首先，LSTM是一种特殊的循环神经网络（RNN），旨在...
CRF++ vs2010版本运行+运行方法（训练测试）
02-14
本教程将围绕如何在VS2010环境下使用CRF++进行训练和测试展开。 首先，让我们理解CRF是什么。条件随机场是一种概率模型，特别适合用于序列标注任务，比如词性标注、命名实体识别等。与传统的HMM（隐马尔科夫模型）...
CRF原理和CRF++ 安装与使用
魏菱延的博客
05-15 1625
预测函数 普通的分类问题是把 (x,y) 看做一个样本，序列分类问题是把(x1,…,xt, y1,…,yt) 整体看做一个样本。 比如以前用 svm，输入x输出y是标量，表示类别；现在用crf，输入x输出y是个序列，表示不同位置/时刻的类别。通过训练迭代出各个特征函数的类别。 CRF的预测函数是对状态序列的所有位置的词的所有特征函数加权求和，在此基础上进行指数变化和标准化。 我们需要什么？ 一个特...
CRF as RNN训练自己的数据集（FCN）以及一些问题解决
绅商的博客
03-01 4084
crf as rnn官网：https://github.com/torrvision/crfasrnn    官网中有相关的代码、论文、在线演示，可以参考。但本人在下载官网中的代码使用时遇到的一些问题或者说是困难，记录下可供自己和一些爱好者参考，有不对的地方请指正。我这里就不介绍Caffe的安装，驱动，CuDNN等安装，以前的文章中有写，有问题的可以参考之前的文章。一、官网代码下载    下载官网...
CRF++使用教程
秋水顽石
11-01 3万+
前言　　CRF++是著名的条件随机场的开源工具，也是目前综合性能最佳的CRF工具。在这里我们简单介绍一下windows系统下CRF++的使用。一、工具包的下载： CRF 的工具有两种，一种是支持Linux环境的，一种是支持Windows环境的，大家可以自行根据自己的系统进行下载。 （在此我下载的是CRF++0.58） 安装 在此先简单说一下Linux环境下的安装，后面我们主要介绍Windows环境
从CRF测试结果中提取出连续的标注行
07-15 1491
现在在处理一批CRF标注的语料，需要将测试结果中标为B、I的行提取出来，对于连续的B、I标注行，要在一起抽出。如有以下测试语料标注结果（片断）： a a1 a2 O b b1 b2 B c c1 c2 I d d1 d2 I e e1 e2 O f f1 f2 B 从中将b、c两行合在一起抽出，f行要单独抽取，目标结果格式如下： [[[
基于CRF的中文分词
热门推荐
王峰的Blog
01-22 3万+
 CRF简介Conditional Random Field：条件随机场，一种机器学习技术（模型）CRF由John Lafferty最早用于NLP技术领域，其在NLP技术领域中主要用于文本标注，并有多种应用场景，例如：分词（标注字的词位信息，由字构词）词性标注（标注分词的词性，例如：名词，动词，助词）命名实体识别（识别人名，地名，机构名，商品名等具有一定内在规律的实体名
【实验记录】CRF as RNN测试
学习 & 分享 ~
06-21 1354
论文：《Conditional Random Fields as Recurrent Neural Networks》，ICCV 2015 代码：https://github.com/torrvision/crfasrnn
CRF++源码解读
CarlXie
04-05 1万+
在《条件随机场(Conditional Random Field)简介》中我们了解了条件随机场的基本原理，但是通篇都是数学公式，对于奋战在一线的兄弟估计有点看不爽，并且里面对feature function仅仅只是一笔带过，这通常在实际应用中恰恰相反，一般工作应用在feature engineering上会大费周章，而在算法模型上只是简单套用。为了更好地掌握和运用CRF，本篇将带领大家解读CRF一个
使用conlleval.pl对CRF测试结果进行评价的方法
rainysun的专栏
11-16 6714
1.需安装perl的环境，测试。 2下载conlleval.pl拷贝到某个文件夹的下面。 2.conlleval.pl提供的有标准模板output.txt,必须严格按照此格式转换CRF的测试结果文件。 3.列和列之间必须为空格（ASCII为20H），只能有一个空格；行之间为换行符\n（ASCII为0AH), 不是回车换行符\r\n（ASCII为0D0AH);可以借助于ultraEdit来进
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值