【每周一文】Building Text Classifiers Using Positive and Unlabeled Examples(2003)

最新推荐文章于 2025-02-13 14:00:25 发布
原创 最新推荐文章于 2025-02-13 14:00:25 发布 · 2.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ML #PULearning

本文探讨了在只有正样本和未标记数据的PULearning场景下，如何构建文本分类器。首先介绍了如何识别可靠的负样本，如通过朴素贝叶斯、Rocchio方法和1-DNF技术。接着，讨论了第二阶段的分类算法，包括SVM、迭代SVM和Biased SVM，特别强调了Biased SVM在性能上的优势。此外，文章还提出了一种评估方法，对于无法获取大量标注数据的情况，这种策略提供了有效的文本分类解决方案。

概述

PULearning是一类机器学习算法，主要解决的问题是给定训练样本只有正样本和一批未标记的样本，学习一个分类器进行分类。这是一类比较难解决的问题，由于没有负样本其评估的方法不好确定；但是有很多的应用场景，例如蛋白质序列查找、噪声发现等。
常用的解决思路主要分为两步：
1. 识别出一批可靠的负样本集合。
2. 根据正负样本训练多个分类器从中选择一个最优的作为最终的分类器。
该文介绍了这两个步骤比较常用的算法。

问题求解

理论基础：如果样本集合足够大，一个好的分类器能够尽可能的将未标记样本标记为负样本同时将正样本标记为正样本。

第一阶段算法

第一阶段目标是找一些可靠的负样本。

朴素贝叶斯（NB）

流程

  1. 将正样本标记为1
  2. 未标记样本标记为-1
  3. 根据正负样本训练NB模型
  4. 对未标记样本喂入NB模型中，将标记为-1的样本当做是负样本。

Rocchio 方法

该方法的思路，将文本表示成一个向量，向量之间的余弦相似度表示文本之间的相似度；通过该思路给正样本集合表示成一个向量。

cj=α1|Cj|∑d∈cjd||d
最低0.47元/天 解锁文章
Positive&Unlabeled Data Learning——第三弹 (Positive-Unlabeled Learning with Non-Negative Risk Estimator)
Marcus-Bao的个人主页
12-02 1288
PU Learning系列目录 目录 第一弹 PU Learning简介以及关于论文《Learning Embeddings From Positive Unlabeled Data with BGD》的分享 第二弹 关于论文《Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training》的分享，文章主要用到了自步学习，meta-learning，以及知识蒸馏。 本文是第三弹，关于文章《Positive-Unlabeled Learni
Text Classification using Machine Learning Techniques in NLP
AI天才研究院
07-28 1310
作者：禅与计算机程序设计艺术In this article we will explore text classification techniques used by Natural Language Processing (NLP) to classify documents or sentences into different categories based on their content and structure. We will discuss several machine learni
【每周一文】Learning Classifiers from Only Positive and Unlabeled Data（2008）
fangqingan_java的专栏
04-12 3939
概述 本文也是用于求解PULearning问题，并且提出在样本满足一定分布情况下，根据正样本和未标记样本作为负样本训练出来的分类模型，预测出来的结果和该样本属于正样本的概率存在一个固定常数系数。 根据该假设提出两种模型训练思路，能够得到最好的效果。 问题求解 对于给定的样本数据引入第三个随机变量S表示该样本是否被标记过，则p(x,y,s)满足一定的概率分布。 变量含义x为样本特征数据
Learning Classifiers from Only Positive and Unlabeled Data
crazy_scott的博客
04-03 742
PU learning 经典论文。 本文主要考虑在SCAR假设下，证明了普通的分类器和PU分类器只相差一个常数，因此可以使用普通分类器的方法来估计p(s∣x)​p(s|x)​p(s∣x)​，进而得到p(y∣x)​p(y|x)​p(y∣x)​。同时提供了三种方法来估计这个常数，最后，还对先验p(y)​p(y)​p(y)​的估计提供了思路。 Learning a traditional class...
paper reading: Learning Classifiers from Only Positive and Unlabeled Data
lmwang1234的博客
02-21 1315
Learning A TRADITIONAL CLASSIFIER FROM NONTRADITIONAL INPUT Let x be an example and let y ∈\in∈ {0, 1} be a binary label. Let s = 1 if the example x is labeled, and let s = 0 if x is unlabeled. Only p...
只有正样本和无标签样本时如何构建分类器
hestendelin的专栏
04-20 1659
Building Text Classifiers Using Positive and Unlabeled ExamplesBing Liu, Yang Dai, Xiaoli Li...
Tri-Training:Exploiting Unlabeled Data Using Three Classifiers阅读笔记
weixin_42074485的博客
06-27 282
Tri-Training:Exploiting Unlabeled Data Using Three Classifiers阅读笔记本文提出了一种新的协同训练式半监督学习算法——三训练算法。该算法从原始标记样例集生成三个分类器。然后在三训练过程中使用未标记的示例对这些分类器进行改进。具体来说，在每一轮的三训练中，如果在一定条件下其他两个分类器的标记一致，则为一个分类器标记一个未标记的示例。
探索未知：Positive and Unlabeled Learning（pu-learning）框架
gitblog_00057的博客
05-28 539
探索未知：Positive and Unlabeled Learning（pu-learning）框架 项目介绍 在大数据时代，我们常常面临这样的挑战：拥有大量的正面样本，但负面样本却难以获取。这种情况下，传统的有监督学习方法往往无能为力。为了解决这个问题，pu-learning 提供了一套机器学习工具和算法，专门用于处理只有正面样本和未标记数据的学习任务。 项目技术分析 pu-learning ...
Analysis of Learning from Positive and Unlabeled Data
crazy_scott的博客
04-03 1138
PU learning论文阅读。 本文从基本的分类损失出发，推导了PU的分类问题其实就是Cost-sensitive classification的形式，同时，通过实验证明了如果使用凸函数作为loss function，例如hinge loss会导致错误的分类边界（有bias），因此需要使用例如ramp loss之类的凹函数。同时，论文还对先验π\piπ存在偏差的情况进行了讨论，说明了如果样本中...
Positive & Unlabeled Data Learning——第二弹 (Self-PU)
Marcus-Bao的个人主页
11-30 816
写在前面 拖更了好久的PU-Learning的第二弹终于来了，最近事情炒鸡多，再加上尝试了自己的几个idea发现目前都不太work啊，都快要崩溃了= =. 利用这段时间更新点水文，调整下自己。。。。接下来，自己要介绍的文章和之前的文章不同的是，本文更多的是关注"How to do PU Learning？", 怎样做就会存在各式各样的有趣的方法了！而之前的文章更多的是采用简单的PU Learning学习方法，并且argue 使用全样本会带来更多的监督信息，但是要解决学习速度的问题。希望大家还是要了解在解决问
PU learning 算法笔记1-- 论文《Learning Classifiers from Only Positive and Unlabeled Data》中的方法
beingstrong的博客
06-22 1284
PU learning 算法笔记 -- 论文《Learning Classifiers from Only Positive and Unlabeled Data》中的方法。
positive-unlabeled (PU) learning
weixin_30922589的博客
08-17 1880
PULearning的应用场景是，我们可以清晰地确定正样本，但是不能确定负样本，因为它有可能是正样本，只是我们还没有证明。 这时我们可以把这部分不确定的样本称为无标签样本U，加上正样本P来建立模型。 问题可以转化为一个有约束条件的最优化问题： 在保证正例中错误率低于1-r的条件下，最小化无标签样本中U的正例数目。 建立PU分类器有两种方法： 两步方法two- step appr...
论文阅读 (98)：Learning from Positive and Unlabeled Multi-Instance Bags in Anomaly Detection (2023KDD)
因吉的博客
08-18 791
提出首次在异常检测中从PU包学习的方法：1. 使用自编码器作为潜在异常检测器；2. 提出一个新的损失以从PU包中学习；
《On Positive-Unlabeled Classification in GAN 》学习笔记
kkx2218813的博客
03-06 2657
论文摘要 作者提出了一种新的GAN模型，区别于以往的GAN模型，新模型的判别器的目的不再是区分真实样本和判别器生成的样本，而是区分高质量图片样本和低质量的样本，其中高质量的样本就有可能来自生成器。 以往模型的痛点 在普通的GANs模型中，训练进度通常缺乏稳定性，并且生成的图像质量并不总是令人满意的。例如，DCGAN为生成器和鉴别器精心设计了神经体系结构，以缓解这些问题。Progressive GA...
Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning（DS——NER识别（减少人工参与））
Hekena的博客
08-24 640
使用无标注数据和命名实体识别字典：执行该任务的自然做法是使用字典扫描查询文本，并将与字典条目列表匹配的术语视为实体。对于标注中出现的错误，一个直观的解决方案是使用字典标记的数据进一步执行监督或半监督学习。风险最小化：给定损失函数l和分类器f的基础上，计算risk值为：Y的标签空间是{0,1}，f(x)表示一个分类器。使用经验损失R^估计损失：通过损失函数最小化，更新模型参数。即argmin(R^)
基于结构感知图学习的正-无标签节点分类，Positive-Unlabeled Node Classification with Structure-aware Graph Learning
L_goodboy的博客
03-12 741
基于结构感知图学习的正-无标签节点分类，Positive-Unlabeled Node Classification with Structure-aware Graph Learning
基于PU-Learning的恶意URL检测——半监督学习的思路来进行正例和无标记样本学习
zhaojie456的博客
09-11 1716
转载自https://www.cnblogs.com/bonelee/p/9848282.html 基于PU-Learning的恶意URL检测——半监督学习的思路来进行正例和无标记样本学习 一、背景介绍现实生活许多例子只有正样本和大量未标记样本，这是因为获取负类样本较为困难、负类数据太过多样化且动态变化。比如在推荐系统，用户点击为正样本，却不能因为用户没有点击就认为它是负样本，因为可能样本的位置很偏，导致用户没有点击。PU Learning（Positive-unlabeled learning）是
Positive-Unlabeled Learning（PU Learning）详解——当数据中只有“已知正类”和“未知标签”时，如何高效分类？
最新发布
2301_80355452的博客
02-13 1005
解决了传统分类中负样本缺失的难题。通过**自助采样（Bootstrap）**生成多个训练集：每次从正样本和未标记样本中随机抽取等量样本作为正负类，训练多个基分类器，最终以平均预测概率作为结果。：从正样本中随机选一部分（如15%）作为“间谍样本”混入未标记集，训练分类器后，将预测概率低于间谍样本最小值的未标记样本视为RN413。：通过挖掘未标记样本中的隐藏信息（如可靠负样本），结合正样本训练分类器，兼顾效率与准确性14。：用户点击的条目是正样本，未点击的条目未必是负样本（可能未被曝光）113。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值