生成式AI改进极端多标签分类技术

最新推荐文章于 2025-12-20 19:32:34 发布
原创 最新推荐文章于 2025-12-20 19:32:34 发布 · 747 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #分类 #机器学习 #极端多标签分类 #生成式AI #自然语言处理 #程序那些事

会议信息

EACL 2023

相关出版物

《极端多标签分类中的聚类引导标签生成》

研究内容

多年来，某中心的研究人员一直在探索极端多标签分类（XMC）这一主题，即在可能的分类类别空间很大（例如数百万个标签）时对输入进行分类。在此过程中，我们多次推动了技术发展。

但先前的工作是在经典分类问题设置中进行的，其中模型为空间中的每个标签计算概率。在一篇新论文中，我们将XMC视为生成式问题，对于每个输入词序列，模型生成标签的输出序列。这使我们能够利用大型语言模型的力量来完成XMC任务。

然而，在这种设置中，与经典设置一样，困难在于XMC标签空间中的大多数标签属于长尾分布，在训练数据中代表性示例很少。过去的工作通过将标签空间组织成层次结构来解决这个问题：首先对输入进行粗粒度分类，然后通过层次树的连续细化遍历，到达语义相关概念的聚类。这有助于模型从相关但具有不同标签的示例中学习通用分类原则，也减少了模型完全错误标记的可能性。

技术方法

在论文中，我们做了类似的工作，使用辅助网络将标签分组为聚类，并使用聚类信息指导生成模型的输出。我们在训练期间尝试了两种不同的指导方式：

  1. 将指示哪些聚类适用于文本输入的位向量直接馈送到生成模型中
  2. 在多任务目标上微调模型：模型学习从聚类名称预测标签，以及从文本预测聚类名称

架构设计

我们考虑的任务是模型接收文档（如维基百科条目）作为输入，并输出表征其内容的一组标签。为了微调生成模型，我们使用包含样本文本和人工标注者应用的标签的数据集。

作为基线生成模型，我们使用T5语言模型。T5是编码器-解码器模型，使用双向而非单向编码：在预测标签时，它可以访问整个输入序列。这非常适合我们的设置，其中标签的顺序不如其准确性重要，我们希望标签最好地表征整个文档，而不仅仅是其子部分。

为了创建标

最低0.47元/天 解锁文章
PyTorch生成式人工智能（10）——CyclelGAN详解与实现
盼小辉丶的博客
06-18 6035
本文详细介绍了CycleGAN的原理与实现，这是一种能够在无配对样本情况下学习不同图像域间转换的生成对抗网络。CycleGAN通过引入循环一致性损失，确保转换后的图像能够重建原始图像，从而保留关键特征。文章以黑发与金发人脸转换为例，从数据集处理、模型构建到训练策略进行了完整讲解。
6大开源生成式 AI 安全测试工具横评：能力对比 × 实战复现 × 场景选型路线图
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-08 1764
生成式 AI 在快速落地，但“安全风险”正悄悄成为部署拦路虎：你知道模型是否会越权？是否会编造？是否会被 prompt 注入控制？本篇系统对比 6 大主流开源 LLM 安全评估工具（含 Evals、AdvBench、Gauntlet、LLM Guard 等），从部署方式、中文支持、攻击样本、评分机制等多个维度进行横评，附实战复现步骤与场景选型建议，帮助开发者与企业构建“能上线、可监控、可治理”的模型安全基线。
生成式AI入门
雪兽软件
07-10 773
生成式人工智能正处于复兴时期，伴随着大量的新发现，以及人们为跟上新发展而产生的令人窒息的狂热。然而，了解技术的现状需要了解它的起源。随着人工智能科学的快速变化，我们首先应该建立适当的知识基础。为了提供帮助，本文提供了一个与生成人工智能形式相关的阅读清单。人工神经网络已经存在了60多年。我们可以从1958年开始，当感知器最初在计算机上实现时。第一次，一种算法利用计算能力来获取标记的数据集并将其分类。近三十年后的1986年，反向传播作为一种训练神经网络从错误中学习的算法被引入。
生成式AI内容过滤：可控性技术的7种实现方式
AI算力网络与通信的博客
08-01 956
生成式人工智能（Generative AI）正以前所未有的速度重塑内容创作、客户服务、教育培训等各行各业。然而，这项强大技术的"双刃剑"效应日益凸显——从虚假信息扩散、有害内容生成到隐私数据泄露，AI系统的"失控"风险已成为制约行业健康发展的关键瓶颈。根据Gartner预测，到2025年，40%的企业AI应用将因内容安全问题被迫下架或重构，直接经济损失超过120亿美元。本文将系统梳理生成式AI内容过滤的7种核心可控性技术，从传统规则引擎到前沿的深度防御架构，构建一套完整的内容安全技术体系。
生成式人工智能入门指南（一）
龙哥盟
09-14 2878
自然语言处理（NLP）的历史与计算机本身一样悠久。20 世纪 50 年代，机器翻译首次引发了人们对 NLP 的兴趣，这也是谷歌在 2006 年推出的第一个商业应用。变换器模型以及注意力机制的首次亮相，是本 decade 最大的 NLP 突破。注意力机制试图通过将“重要性”放在最相关的信息片段上，来模仿人脑中的注意力。近年来 NLP 的繁荣得益于互联网上文本数据的日益丰富以及强大计算资源的发展。这标志着语言大模型（LLM）时代的开始。
生成式人工智能实战（二）
龙哥盟
09-13 1305
基于视觉的生成式 AI 模型使我们能够从简单的提示中创建独特且逼真的内容。这些模型可以生成新的内容，编辑和增强现有图像，并使用简单的提示。生成式 AI 视觉模型在创意内容、图像编辑、合成数据创建和生成式设计等多个用例中都有应用。有四种主要的生成式 AI 模型架构，每种架构都有其优势和挑战。我们解释了变分自编码器（VAEs）、生成对抗网络（GANs）、视觉 Transformer 模型（ViT）和扩散模型。
重塑数学边界：人工智能如何引领数学研究的新纪元
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
08-24 12万+
本文探讨了人工智能如何深刻改变数学研究的边界，特别是在数学理论、推理和证明方式上的创新。随着生成式AI的快速发展，AI不仅帮助数学家加速推理过程，还能在新理论的构建中发挥重要作用。文章还深入分析了人机共证的数学证明探索，展现了AI与数学研究之间日益密切的双向关系。
大模型（LLMs）生成式大模型
hh051020的博客
05-12 1254
生成式大模型（一般简称大模型LLMs）是指能用于创作新内容，例如文本、图片、音频以及视频的一类深度学习模型。模型参数量更大，参数量都在Billion级别；可通过条件或上下文引导，产生生成式的内容（所谓的prompt engineer就是由此而来）。
Python 与 TensorFlow2 生成式 AI（一）
龙哥盟
04-30 1277
在本章中，我们将深入探讨生成模型的各种应用。在此之前，我们将退后一步，详细研究生成模型与其他类型的机器学习的区别。区别在于任何机器学习算法的基本单位：概率以及我们用数学量化我们遇到的数据的形状和分布的各种方法。在本章的其余部分，我们将 covers：AI 的应用判别和生成模型实施生成模型概率的规则为什么使用生成模型？生成模型的独特挑战在本章中，我们讨论了生成建模是什么，以及它如何适应更熟悉的机器学习方法的格局。我使用概率论和贝叶斯定理来描述这些模型如何以与判别式学习相反的方式进行预测。
生成式人工智能的数据分析入门指南（一）
龙哥盟
09-18 1371
介绍生成式 AI 模型的几个关键局限性生成式 AI 在数据分析中的作用开始使用 LLMs 支持数据分析当生成式 AI 的炒作尘埃开始落定，失望的音符与赞扬的合唱交织在一起时，可能是一个问自己问题的好时机：“如果 LLMs 不是解决所有世界问题的银弹，它们究竟有什么真正的用途？”我们使用这些令人惊叹的工具来改进各种流程的经验给了我们答案。它们真的很棒，我们说的“真的很棒”是指它们在支持不同流程的改进方面真的很出色。在这本书中，我们将引导你了解我们利用生成式 AI 矩阵中隐藏的巨大潜力来提高你的分析技能的方法，
宏观层面的AI类型划分 比如生成式人工智能
06-22
嗯，用户这次的问题很明确，就是要了解宏观层面的人工智能类型划分，特别是生成式AI与其他类别的区别。看来用户对技术分类框架感兴趣，可能需要一个清晰的认知地图。从对话历史看，我之前已经提供了相当详细的分类...
幽冥大陆(五十四)ASR C语言识别到自动化软件——东方仙盟筑基期
最新发布
cybersnow精通 28 门计算机语言，凭借其超凡的技术能力，成功开发过上万个应用，广泛涉及政府、商业、个人等众多领域，甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发，在软件架构设计方面更是独树一帜，自创了跨平台软件
12-20 579
ASR（Automatic Speech Recognition，自动语音识别）技术在软件自动化命令领域正掀起一场变革。它使得软件系统能够理解人类语言，并依据指令自动执行任务。通过 ASR，用户无需手动输入复杂的命令或进行繁琐的界面操作，只需说出指令，软件就能精准响应。在自动化脚本编写中，ASR 可以实时将语音转化为代码命令。例如，在编写 Python 自动化脚本时，用户说出 “创建一个名为‘data’的列表”，ASR 系统就能将其转化为对应的 Python 代码data = []。
AI 工具实战测评：从技术性能到场景落地的全方位解析
hello world/linux
12-16 752
多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
Lab4AI的博客
12-17 814
本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。
全品类电商AI助手诞生，AI试衣+万饰穿戴+图生视频，覆盖全链路
Dreamshop_AI的博客
12-19 824
DreamshopAI升级推出三大核心功能，全面革新电商视觉生产流程：AI试衣功能通过智能识别服装款式和材质，7-15天模特拍摄缩短至几分钟；万饰穿戴功能突破品类限制，精准还原珠宝、箱包等商品的材质细节；图生视频功能将静态图片转化为高质量短视频，大幅降低视频制作门槛。系统基于千万级电商数据训练，能自动适配不同市场需求，并推出AI试衣屏Dreamfit实现线上线下体验闭环。此次升级使AI成为电商运营的核心生产力工具，将传统视觉制作效率提升3倍以上，推动电商行业进入智能化新阶段。
深入NVIDIA Nemotron-3：高效准确的技术、工具与数据深度解析
专注于人工智能领域的小何尚
12-18 883
摘要：NVIDIA Nemotron-3技术解析 NVIDIA Nemotron-3系列模型为构建专业AI智能体提供了突破性解决方案。该系列采用创新的混合Mamba-Transformer MoE架构，结合状态空间模型(Mamba)的长序列处理能力、Transformer的精确推理和MoE的高效计算，支持高达100万token的上下文处理。模型通过NeMo Gym多环境强化学习框架训练，使智能体掌握复杂任务执行能力。技术亮点包括：1)混合架构实现超长上下文推理；2)开源RL训练环境支持智能体开发；3)原生支
[LLM]AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning
天下事有难易乎？为之，则难者亦易矣；不为，则易者亦难矣。人之为学有难易乎？学之，则难者亦易矣；不学，则易者亦难矣。
12-20 361
本文提出AIM框架，一种无需训练的多模态大语言模型(MLLMs)推理加速方法。通过双阶段设计：在LLM前基于相似度合并视觉Token，在LLM内基于注意力重要性剪枝Token，显著降低计算量。实验表明，该方法在视频理解任务中可减少6.8倍FLOPs，在图像任务中保持3.7倍加速的同时维持性能。关键发现包括：75%视觉Token冗余、LLM早期层侧重跨模态融合而后期侧重文本推理、跨帧合并会损害视频理解等。该方法支持动态调整压缩比例，为资源受限环境下的高效多模态推理提供了实用解决方案。
开发跨行业技能迁移匹配工具，输入现有技能+目标行业，AI分析可迁移能力，推荐适配岗位+补全学习路径，助力职场转型。
2301_82202864的博客
12-16 554
/ 每项可迁移技能+5分。`).join('') : '<div class="result-item">无缺失核心技能，可直接尝试转型！coreSkills: ['项目规划', '风险管控', '资源协调', '敏捷开发', ' stakeholder管理'],coreSkills: ['用户画像', '交互设计', '可用性测试', 'Figma/Sketch', '设计思维'],coreSkills: ['SQL', 'Excel高级函数', '数据可视化', '统计分析', '业务理解'],
基于MATLAB的MFCC特征提取与SVM训练实现
wuk998的博客
12-19 222
MFCC（Mel频率倒谱系数）是一种模拟人耳听觉特性的特征提取方法，广泛应用于语音识别、情感分析等领域
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值