Fairness in Serving Large Language Models

最新推荐文章于 2025-06-12 16:50:08 发布
最新推荐文章于 2025-06-12 16:50:08 发布
阅读量552 收藏 10
点赞数 8
文章标签： 语言模型 人工智能 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136326663
版权
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文探讨了大型语言模型（LLM）服务的公平性问题，特别是如何在处理请求速率限制的同时提高客户体验。提出了一种新的调度算法——虚拟令牌计数器（VTC），用于实现基于成本函数的公平性，特别是在处理不可预测请求长度和并行加速器上的批处理时。实验证明VTC在确保公平性方面表现出色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Fairness in Serving Large Language Models》的翻译。

服务大型语言模型的公平性

摘要

高需求LLM推理服务（例如，ChatGPT和BARD）支持从短聊天会话到长文档阅读的各种请求。为了确保所有客户端请求都得到公平处理，大多数主要的LLM推理服务都有请求速率限制，以确保没有客户端能够主导请求队列。然而，这种基本的公平概念也会导致资源利用不足，在有空闲容量的情况下，客户体验不佳。虽然有大量关于公平调度的文献，但服务LLM由于其不可预测的请求长度和其在并行加速器上的独特批处理特性而带来了新的挑战。
本文介绍了基于成本函数的LLM服务公平性的定义，该函数考虑了处理的输入和输出令牌的数量。为了实现服务的公平性，我们提出了一种新的调度算法——虚拟token计数器（VTC），这是一种基于连续批处理机制的公平调度算法。根据工作节约的要求，我们证明了两个积压客户之间服务差异的2×紧上界。通过广泛的实验，我们证明了VTC在确保公平性方面的优越性能，特别是与其他基线方法相比，后者在各种条件下都存在缺陷。

1 引言

2 背景

3 LLM服务中的公平性的定义

4

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

Fairness in Large Language Models: A Taxonomic Survey
c_cpp_csharp的专栏
07-11 170
大型语言模型（LLM）在各个领域都取得了显著的成功。然而，尽管这些算法在许多实际应用中具有良好的性能，但大多数算法缺乏公平性考虑。因此，它们可能导致对某些社区，特别是边缘化人群的歧视性结果，促使对公平LLM进行广泛研究。另一方面，与传统机器学习的公平性相比，LLM中的公平性需要独特的背景、分类和实现技术。为此，本调查全面概述了有关公平LLM的现有文献的最新进展。具体而言，对LLM进行了简要介绍，然后分析了导致LLM偏差的因素。
A Survey on Fairness in Large Language Models
c_cpp_csharp的专栏
09-19 490
大型语言模型（LLM）已经显示出强大的性能和发展前景，并在现实世界中得到了广泛的部署。然而，LLM可以从未处理的训练数据中捕捉社会偏见，并将这些偏见传播到下游任务。不公平的LLM制度具有不良的社会影响和潜在的危害。在本文中，我们对LLM中的公平性的相关研究进行了全面的综述。首先，对于中等规模LLM，我们分别从内在偏差和外在偏差的角度介绍了评估指标和去偏方法。然后，对于大规模LLM，我们介绍了最近的公平性研究，包括公平性评估、偏差原因和去偏差方法。最后，我们讨论并深入了解LLM公平发展的挑战和未来方向。
Bias and Fairness in Large Language Models: A Survey
c_cpp_csharp的专栏
10-10 651
大型语言模型(llm)的快速发展使得处理、理解和生成类人文本成为可能，并越来越多地集成到触及我们社会领域的系统中。尽管取得了成功，但这些模式可以学习、延续和放大有害的社会偏见。在本文中，我们提出了对LLM偏见评估和缓解技术的全面调查。我们首先巩固、形式化并扩展了自然语言处理中的社会偏见和公平的概念，定义了伤害的不同方面，并引入了几个必要的条件来实现LLM的公平。然后，我们通过提出三种直观的分类来统一文献，其中两种用于偏见评估，即指标和数据集，另一种用于缓解。
Large Language Model主题的若干论文简述
Jinyao的博客
05-15 1518
1.Architectural Components of Large Language Models (LLMs) SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing： SentencePiece is a subword t...
【论文专辑】2024年大模型推理优化论文精选第六期
CodeFuse的博客
01-08 1763
本文整理了 OSDI 2024 和 SOSP 2024 中与大语言模型（LLM）推理优化相关的10篇论文，涵盖 Parrot、ServerlessLLM、dLoRA 等系统，提出的技术如 Chunked Prefill、Prefix-Caching、P/D分离等已被 vLLM 和 TensorRT-LLM 等主流推理引擎采用。这些研究解决了 LLM 推理中的冷启动延迟、资源分配、KV 缓存管理等问题，提升了推理性能和资源利用率。CodeFuse推理优化项目地址https://github.com/code
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 1839
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-27 1万+
​ LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读 目录 《PaLM: Scaling Language Modeling with Pathways》翻译与解读 Abstract 1、Introduction介绍 2、Model Architecture模型架构 3、Training Dataset训练数据集 4、Training Infrastructure训练基础设施 5、Trai
提示词工程在自然语言理解中的突破性进展
AI天才研究院
12-18 559
Article Title: Prompt Engineering in Breakthrough Advances in Natural Language Understanding
【人工智能】机器学习的持续交付 （CD4ML）
AI天才研究院
04-29 1万+
机器学习的持续交付 自动化机器学习应用程序的端到端生命周期 机器学习应用程序在我们的行业中变得越来越流行，但是与更传统的软件（例如 Web 服务或移动应用程序）相比，开发、部署和持续改进它们的过程更加复杂。它们会在三个轴上发生变化：代码本身、模型和数据。他们的行为通常很复杂且难以预测，而且他们更难测试、更难解释、更难改进。机器学习持续交付 (CD4ML) 是将持续交付原则和实践引入机器学习应用程序的学科。
yolo模型精度提升策略
qq_47798402的博客
06-09 1004
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1270
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 803
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 707
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1420
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
破局零售挑战！华为云AI+零售峰会聚焦数智转型实践
最新发布
weixin_43735236的博客
06-12 223
该方案面向零售伙伴客户物流、运营、门店、客服和办公等场景，依托华为云最新发布的CloudDevice关键产品和自有AI大模型，在云上服务方面具备一跳入云、一云多端、极低时延、普惠AI等方面的优势，可为零售伙伴客户筑牢算力底座，满足零售伙伴客户“产-供-营-销-服”全链路智能化核心需求。该计划面向全国数智化企业，汇聚华为云及合作伙伴在政策、产品、技术、品牌等方面的资源与能力，向伙伴开放能力共生、商业共赢和数字化服务三大平台，为零售企业的品牌营销与业务运营提供强大技术支撑，加速企业成长。6月13日，鹭岛厦门！
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 2243
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
只有左边一个小酒窝的专栏
06-08 937
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
CppCon 2015 学习:Algorithmic Differentiation C++ & Extremum Estimation
虾球
06-10 967
浮点数表示法的灵感：科学记数法浮点数的表示方法受到科学记数法的启发。x×baseexponentx×baseexponent6.022×10236.022×1023这种表示法使得我们能够处理非常大的数（如102310^{23}1023）以及非常小的数（如10−2310^{-23}10−23），并且有效地表示各种数值。
钉钉C10圆桌派在北京召开 AI一体机首次签约
weixin_43735236的博客
06-09 139
一体机也提供多种AI助理，覆盖审批、工单、行政、法务等多个高频场景，可广泛应用于零售、连锁、生产制造、教育、法律服务等众多行业，帮助企业进一步提质降本增效，数智化升级。通过部署钉钉AI一体机，杰锐思打造了装配助手、代码助手等AI应用，实现了从知识检索到业务协同的全链路升级，在数据安全的基础上，进一步实现了增效降本和效率提升。6月6日，钉钉在北京举办C10圆桌派-AI专场思享会，会上，钉钉和苏州杰锐思智能科技股份有限公司（以下简称：杰锐思）就AI一体机应用签署合作协议，这是钉钉首次在客户落地AI一体机实践。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值