标注偏置问题(label bias)

最新推荐文章于 2025-10-13 13:46:31 发布
原创 最新推荐文章于 2025-10-13 13:46:31 发布 · 1.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#C #C++ #C#

条件随机场(CRF)作为一种概率模型，在处理序列数据的分割和标注任务中展现出优势，尤其是在克服标注偏置问题方面。标注偏置是指在训练过程中某些状态转移概率较高而导致模型在预测时偏好这些转移路径的问题。CRF通过采用无向图结构和丰富的特征集来避免这一问题。
部署运行你感兴趣的模型镜像
CRF 相比于 maximum entropy Markov models一个很重要的特点就是避免了标注偏置问题。
什么是标注偏置问题?
在Conditional Random fields: Probabilistic Models for Segmenting and Labeling Sequence Data (http://www.cis.upenn.edu/~pereira/papers/crf.pdf)这篇论文中，有解释。

[img]http://dl.iteye.com/upload/attachment/433002/24f91c85-4590-3ae2-95a8-990deb776b40.jpg[/img]


我对这个问题的理解是：
有三个状态a,b,c,
在训练语料中，a转移b的概率，大于a转移到c的概率，造成在进行测试时，始终只能出现a到b状态。


[img]http://dl.iteye.com/upload/attachment/433026/ab3e291f-64bc-3612-8b9a-7160ba714f03.jpg[/img]

CRF 能够采用丰富的特征，其无向图的结构，能够避免这个问题。

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

关于YOLO训练的问题：改进yolov8训练结果精确率和召回率波动很大，如何优化？
**My Coding Family**
08-08 982
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
热门推荐
zhoubl668的专栏：远帆，梦之帆！
07-26 1万+
路径1-1-1-1的概率：0.4*0.45*0.5=0.09 路径2-2-2-2的概率:0.018 路径1-2-1-2:0.06 路径1-1-2-2:0.066 由此可得最优路径为1-1-1-1 而实际上，在上图中，状态1偏向于转移到状态2，而状态2总倾向于停留在状态2，这就是所谓的标注偏置问题，由于分支数不同，概率的分布不均衡，导致状态的转移存在不公平的情况。
标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM
x_yz_的专栏
04-24 3206
隐马尔科夫模型（HMM）： 图1. 隐马尔科夫模型 隐马尔科夫模型的缺点：         1、HMM只依赖于每一个状态和它对应的观察对象：               序列标注问题不仅和单个词相关，而且和观察序列的长度，单词的上下文，等等相关。         2、目标函数和预测目标函数不匹配：               HMM学到的是状态和观察序列的联合分布P(Y,X)，而预
NumPy argmax()函数详解
经天纬地，格物致理
10-13 1623
在日常数据分析和机器学习中，经常需要找到数组或矩阵中最大值的位置，这时，NumPy 提供的 argmax() 函数就派上了用场。本文将系统地了解 argmax() 的作用、用法、常见陷阱以及在机器学习中的实际应用。
标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型
hlang8160的博客
05-15 2855
标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较<转>转自http://blog.youkuaiyun.com/lskyne/article/details/8669301路径1-1-1-1的概率：0.4*0.45*0.5=0.09路径2-2-2-2的概率:0.018路径1-2-1-2:0.06路径1-1-2-2:0.066由此可得最优路径为1-1-1-1而实...
标注偏置问题 Label Bias Problem 和HMM MEMM CRF模型比较
bgfuufb的博客
11-15 473
标注偏置问题 Label Bias Problem 和HMM MEMM CRF模型比较
机器学习笔记之条件随机场(三)MEMM的标注偏置问题
静静的学习就好
11-09 931
上一节介绍了隐马尔可夫模型(Hidden Markov Model,HMM)向最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM)的演化过程。本节将介绍MEMM模型的缺陷——标注偏置问题(Label Bias Problem)
从零开始学NLP（九） 无向图模型与标记偏置
07-02 830
前言 上一节介绍完了隐马尔科夫模型，其存在一些缺点，所以我们要引进条件随机场CRF。本章将会介绍无向图模型以及如何从隐马尔科夫模型到条件随机场CRF。下一章将会详细讲解条件随机场CRF。 一、有向图与无向图模型 1.生成模型与判别模型 生成模型和判别模型是两种不同类型的模型，在构造时采用了不同的方法来训练。顾名思义，生成模型可以用来生成数据，判别模型只能用于判别的任务。比如想让模型生成文本、或者创作歌曲、那无疑要使用生成模型。相反，如果我们的任务仅仅是判别，那判别模型其实就足够了。那到底这两...
【CRF系列】第1篇：开启序列标注之门——为啥需要CRF？
熵数实验室
04-13 1253
这篇文章是咱们探索CRF的第一步。我们了解了序列标注任务，回顾了经典模型HMM，知道它观测独立性假设存在局限，也探讨了MEMM是怎么通过引入丰富特征改进的，但却陷入了标签偏置的麻烦。最后，引出了CRF，重点讲了它的全局归一化机制，这个机制巧妙地解决了标签偏置问题，还保留了判别式模型特征灵活的优点。可以这么理解它们的发展过程：HMM -> MEMM （解决观测独立性，带来标签偏置） -> CRF （保留特征灵活性，解决标签偏置）CRF因为建模能力强、性能好，已经成了序列标注领域的标准模型之一。
label bias problem
fengchao_ict的专栏
05-03 2383
今天重读CRF的开山论文，发现对于label bias problem的问题还是不明白，于是就找了一个人转载的解释，在此翻译下。 The label bias problem arises because certain state transitions ignore observations due to the way the state transition diagram is con
标注问题
f81892461的专栏
09-20 3823
标注问题是分类问题的一个推广，是更复杂的结构预测问题的一个简单的形式。 输入是一个观测序列，输出是一个标记序列或者状态序列。其目的是学习一个模型，使得对于观测序列能够给出一个标记序列作为预测。注意标记个数是有限的，但其组合所成的标记序列的个数是随着序列长度成指数级增长的。 学习系统基于训练数据集构建一个模型，表示为条件概率分布.p(Y1,Y2...YN|X1,X2...XN)
label-bias-problem
cyz0202的博客
07-02 526
参考自： label-bias-problem1 label-bias-problem2 B站白板推导MEMM-CRF 现象描述 该问题来自对局部转移概率的归一化； 直观地想象 状态S的向外转移分支较少时，各分支会得到更多的probability； 状态S的向外转移分支虽多，但是其实真实数据中这些转移发生次数都比较少，因为归一化，S的转移概率分布也可能和其他状态的常见转移一样； 上述两种现象针对的问题就是，本身从当前状态S向外转移 在数据中并不常见，但是由于S外转分支少，再加上做归一化，就会.
推荐系统中的偏置问题-bias和debias
jzwei023的博客
12-26 1828
推荐系统中存在很多偏差，如选择偏差、位置偏差、曝光偏差和流行度偏差等
贴一个关于 label bias problem 的解释
爱飞的蒲公英
10-27 2983
我看 John Lafferty 的那篇  CRF 论文里谈到了 label bias problem,不过解释得并不是非常的清晰， 我当时看的不太明白， 在网络上查一下， 发现一个 mail-list 上讨论这个问题， 解释的比较清楚。 更多的讨论参看http://wing.comp.nus.edu.sg/pipermail/graphreading/2005-September/000031
Seq2Seq模型中的label bias和exposure bias问题
Fan9_的博客
06-04 2537
从序列到序列的seq2seq模型中，存在着label bias和exposure bias问题。这两个偏差问题是由于不同的原因导致的。先给出结论在分别解释 label bias：根本原因是我们真实的目标与建模的目标不一致，导致模型最终求得的输出和我们真实想要的输出存在偏差。体现在联合概率分布上就是，真实想要的分布应该是全局归一化得到的。而建模得到的分布是局部归一化得到的。 exposure bias是由于seq2seq训练难以收敛，而引入了teacher forcing训练技巧，使得训练更容易收敛。由于t
请根据报错帮我更改源代码，并且标注更改的地方
最新发布
11-28
报错信息 `RuntimeError: size mismatch for f3.weight: copying a param with shape torch.Size([10, 4096]) from checkpoint, the shape in current model is torch.Size([2, 4096])` 和 `size mismatch for f3.bias: copying a param with shape torch.Size([10]) from checkpoint, the shape in current model is torch.Size([2])` 表明预训练模型的 `f3` 层的权重和偏置形状与当前模型不匹配。可以通过部分加载权重的方式来解决这个问题，即只加载形状匹配的参数。 以下是修改后的代码，标注了更改的地方： ```python import torch import torch.utils.data as Data from torchvision import transforms from torchvision.datasets import FashionMNIST from model import AlexNet from torchvision.datasets import ImageFolder from PIL import Image def test_data_process(): # 定义数据集的路径 ROOT_TRAIN = r'../datas/catdog/test' normalize = transforms.Normalize([0.162, 0.151, 0.138], [0.058, 0.052, 0.048]) # 定义数据集处理方法变量 test_transform = transforms.Compose([transforms.Resize((224, 224)), transforms.ToTensor(), normalize]) # 加载数据集 test_data = ImageFolder(ROOT_TRAIN, transform=test_transform) test_dataloader = Data.DataLoader(dataset=test_data, batch_size=1, shuffle=True, num_workers=4) return test_dataloader def test_model_process(model, test_dataloader): # 设定测试所用到的设备，有GPU用GPU没有GPU用CPU device = "mps" if torch.cuda.is_available() else 'cpu' # 讲模型放入到训练设备中 model = model.to(device) # 初始化参数 test_corrects = 0.0 test_num = 0 # 只进行前向传播计算，不计算梯度，从而节省内存，加快运行速度 with torch.no_grad(): for test_data_x, test_data_y in test_dataloader: # 将特征放入到测试设备中 test_data_x = test_data_x.to(device) # 将标签放入到测试设备中 test_data_y = test_data_y.to(device) # 设置模型为评估模式 model.eval() # 前向传播过程，输入为测试数据集，输出为对每个样本的预测值 output= model(test_data_x) # 查找每一行中最大值对应的行标 pre_lab = torch.argmax(output, dim=1) # 如果预测正确，则准确度test_corrects加1 test_corrects += torch.sum(pre_lab == test_data_y.data) # 将所有的测试样本进行累加 test_num += test_data_x.size(0) # 计算测试准确率 test_acc = test_corrects.float().item() / test_num print("测试的准确率为：", test_acc) if __name__ == "__main__": # 加载模型 model = AlexNet() # 修改部分：部分加载权重 state_dict = torch.load('best_model.pth', map_location=torch.device('mps')) model_dict = model.state_dict() # 筛选出形状匹配的权重参数 pretrained_dict = {k: v for k, v in state_dict.items() if k in model_dict and v.shape == model_dict[k].shape} # 更新当前模型的权重 model_dict.update(pretrained_dict) model.load_state_dict(model_dict) # 利用现有的模型进行模型的测试 test_dataloader = test_data_process() test_model_process(model, test_dataloader) # 设定测试所用到的设备，有GPU用GPU没有GPU用CPU device = "mps" if torch.cuda.is_available() else 'cpu' model = model.to(device) classes = ['猫', '狗'] with torch.no_grad(): for b_x, b_y in test_dataloader: b_x = b_x.to(device) b_y = b_y.to(device) # 设置模型为验证模型 model.eval() output = model(b_x) pre_lab = torch.argmax(output, dim=1) result = pre_lab.item() label = b_y.item() print("预测值：", classes[result], "------", "真实值：", classes[label]) image = Image.open('1.jfif') normalize = transforms.Normalize([0.162, 0.151, 0.138], [0.058, 0.052, 0.048]) # 定义数据集处理方法变量 test_transform = transforms.Compose([transforms.Resize((224, 224)), transforms.ToTensor(), normalize]) image = test_transform(image) # 添加批次维度 image = image.unsqueeze(0) with torch.no_grad(): model.eval() image = image.to(device) output = model(image) pre_lab = torch.argmax(output, dim=1) result = pre_lab.item() print("预测值：", classes[result]) ``` ### 更改说明 在 `if __name__ == "__main__":` 部分，将原来直接加载权重的代码： ```python # model.load_state_dict(torch.load('best_model.pth')) model.load_state_dict( torch.load('best_model.pth', map_location=torch.device('mps'), # ← 关键：映射到 MPS weights_only=True) # ← 顺手去警告 ) ``` 修改为部分加载权重的代码： ```python state_dict = torch.load('best_model.pth', map_location=torch.device('mps')) model_dict = model.state_dict() # 筛选出形状匹配的权重参数 pretrained_dict = {k: v for k, v in state_dict.items() if k in model_dict and v.shape == model_dict[k].shape} # 更新当前模型的权重 model_dict.update(pretrained_dict) model.load_state_dict(model_dict) ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值