亚马逊工程师严选,超 40 篇 LLM 论文汇总

HyDE(Hypothetical Document Embeddings) HyDE 方法的核心思想是通过生成与查询相关的假设文档来扩展查询的语义信息。这些假设文档被视为查询的“假设性答案”,它们包含了与查询相关的潜在信息,可以帮助检索系统更好地理解查询的意图,并找到更相关的文档。 阅读详情

be110a1aa07cf8ffb54a1e0e35d53cd5.png

作者:Eugene Yan

编辑:李宝珠,三羊

亚马逊工程师 Eugene Yan 等人建立了一个语言模型论文阅读清单,持续分享前沿论文,目前已经汇总了 40 余篇高质量论文。

2023 年,大语言模型依旧是「话题制造机」,不管是 OpenAI 的「宫斗剧」,还是各个大厂的新模型、新产品「神仙打架」,亦或是行业大模型发展的风生水起,都昭示着大语言模型具备巨大的发展空间。花香自引蝶,其实从 ChatGPT 一夜爆红后,我们便时常能够听到各路大佬下场入局的消息,资金或技术背景各异的初创公司如雨后春笋般拔地而起。

显然,这样的热闹场景并不会在 2024 年轻易冷却。越来越多的企业、传统行业开始探索如何应用大语言模型与自身业务相结合,快速膨胀的市场需求也反向推动了相关领域的研究进一步深化、创新,arXiv 等平台上的论文更新也愈发频繁。

其中,哪些论文值得看?复杂的论文题目背后讲的是哪些知识点?

为了帮助大家更快检索高价值论文,亚马逊工程师 Eugene Yan 等人建立了一个语言模型论文阅读清单,持续分享前沿论文,目前已经汇总了 40 余篇高质量论文。

合集链接:

https://eugeneyan.com/writing/llm-reading-list/

关注公众号,回复「LLM论文」即可打包下载论文合集

Transformer 开山论文

Attention Is All You Need

8832aa6162351578113425331e063b79.png

*作者:NEAR 联合创始人 Illia Polosukhin (前 Google AI 团队成员) 等人

*原文:https://arxiv.org/abs/1706.03762

主流的序列转换模型是基于复杂的递归或卷积神经网络的编码器-解码器配置。高性能模型还通过 attention 机制连接编码器和解码器。该研究提出了一种新的简单网络架构——Transformer,完全基于 attention 机制,完全省去了递归和卷积神经网络配置的过程。在两项机器翻译任务上的实验表明,这些模型的质量更优,可并行化程度更高,所需的训练时间也大大减少。

GPT: 通过生成式预训练提高语言理解能力

Improving Language Understanding by Generative Pre-Training

f93c049fe49d424a4fe07c49e443de48.png

*作者:OpenAI

*原文:https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

自然语言理解涵盖了多种类任务,如文本关联、问答、语义相似度评估等。尽管大量未标记的文本语料库充足,但用于学习这些特定任务的标记数据却很有限,这使得经过辨别训练的模型难以充分发挥作用。对此,Ilya 带领 OpenAI 的研究人员提出,通过在丰富的未标记文本语料库上进行语言模型的生成预训练,并在每个具体任务上进行差异性微调,可以改善这种现象。研究人员在微调过程中使用了 task-aware input transformations,对模型架构的调整程度更小,同时还实现了有效的迁移学习。

针对通用任务的对比实验结果显示,在常识推理 (Stories Cloze Test) 上,该模型取得了 8.9% 的性能提升,在问答 (RACE) 上为 5.7%,在文本关联 (MultiNLI) 上为 1.5%。

BERT:用于语言理解深度双向 Transformers 的预训练

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

c936b9e8ce8cfb44025b4a031953af3e.png

*作者:谷歌 DeepMind

*原文:https://arxiv.org/abs/1810.04805

研究人员提出了一个全新的语言表征模型 BERT (Bidirectional Encoder Representations from Transformers),通过在所有层 (layer) 中,综合考虑上下文来预训练深度双向表征。因此,预训练的 BERT 模型只需增加一个输出层即可进行微调,从而为问题解答和语言推理等多类任务创建先进模型,而无需对特定任务的架构进行大量修改。

BERT 在 11 项自然语言处理任务上取得了大幅提升,包括将 GLUE 分数提高到 80.5%(相对提高 7.7%),MultiNLI 准确率提高到 86.7%(相对提高 4.6%),SQuAD v1.1 问题解答测试 F1 提高到 93.2(相对提高 1.5%),SQuAD v2.0 测试 F1 提高到 83.1(相对提高 5.1%)。

T5:用统一的文本到文本转换器探索迁移学习的极限

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

d1984827635ea352f04d7820f427ed7a.png

*作者:谷歌 DeepMind

*原文:https://arxiv.org/abs/1910.10683

研究人员引入了一个统一框架,将所有基于文本的语言问题转换为文本到文本的格式,从而进一步探索了 NLP 的迁移学习技术。该研究比较了数十种语言理解任务的预训练目标、架构、无标记数据集、迁移方法和其他因素。通过将对比结果、实验结果与该团队最新提出的 Colossal Clean Crawled Corpus 语料库相结合,该项研究在摘要、问题解答、文本分类等多项基准测试中取得了最先进的结果。

GPT2:语言模型是无监督多任务学习器

Language Models are Unsupervised Multitask Learners

2f65a9684f41cde008c783682e9debab.png

*作者:OpenAI

*原文:https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

该研究证明,当在由数百万网页构成的新数据集 WebText 上进行训练时,语言模型可以在没有明确监督的情况下学习自然语言处理任务。当在文档 + 问题的条件下,语言模型生成的答案在 CoQA 数据集上的 F1 分数达到 55,匹配或超过了 4 个基线系统中的 3 个,同时还无需使用 127,000 余个训练示例。GPT-2 是一个拥有 15 亿参数的 Transformer,在 zero-shot 设定下,在 8 个测试的语言建模数据集中的 7 个取得了最优表现,但其仍未完全适应 WebText。

GPT-3:语言模型是少样本学习器

Language Models are Few-Shot Learners

5fbc1a7c8b82f4b41217577caf3ce142.png

*作者:Anthropic 创始人 Dario Amodei、OpenAI 联合创始人 Ilya Sutskever 等人

*原文:https://arxiv.org/abs/2005.14165

研究人员训练了自回归语言模型 GPT-3,并测试了该模型在少数几个场景中的性能。在所有任务中,GPT-3都没有进行任何梯度更新或微调,任务和少样本演示纯粹通过与模型的文本交互来实现。GPT-3 在多数 NLP 数据集上都取得了很好的性能,包括翻译、问题解答,以及一些需要即时推理或领域适应的任务,如解词、在句子中使用新词或进行三位数运算。此外,研究人员还发现 GPT-3 可以生成人们难以区分的新闻文章。

神经语言模型的缩放法则:在较少数据集上训练出更大的模型

Scaling Laws for Neural Language Models

16e48f94709d7c93c4049e9ea6fa594b.png

*作者:Anthropic 创始人 Dario Amodei 及 OpenAI 研究人员

*原文:https://arxiv.org/abs/2001.08361

研究人员研究了语言模型性能在交叉熵损失 (cross-entropy loss) 上的缩放规律。损失随模型大小、数据集大小和训练所用计算量的变化呈幂律缩放,部分缩放趋势超过 7 个数量级。过拟合 (overfitting) 对模型/数据集大小的依赖性,以及训练速度对模型大小的依赖性,都是由简单的方程式决定的。基于此,研究人员提出,模型越大,样本效率就越高,因此最佳计算效率的训练需要在相对较少的数据量上训练更大的模型,并在收敛前大幅停止。

Chinchilla:训练计算效率最优的大型语言模型

Training Compute-Optimal Large Language Models

77b26ddf337df0c36d811534d461963d.png

*作者:谷歌 DeepMind

*原文:https://arxiv.org/abs/2203.15556

研究人员提出,模型大小和训练 tokens 数量应该成比例增加,并通过训练一个预测的计算效率最优模型 Chinchilla 来验证这一假设。Chinchilla 使用与 Gopher 相同的算力,但参数规模为 70 亿且数据量增加了 4 倍。Chinchilla 在各种下游评估任务中都显著优于 Gopher (280B)、GPT-3 (175B)、Jurassic-1 (178B) 和 Megatron-Turing NLG (530B)。这也意味着 Chinchilla 在微调和推理时使用的计算资源大大减少,极大地方便了下游应用。

LLaMA:开放、高效的基础语言模型

LLaMA: Open and Efficient Foundation Language Models

5f589d31b808ef5896ff838a1e4578f1.png

*作者:Mistral AI 联合创始人 Guillaume Lample (曾任职于 Meta AI) 等人

*原文:https://arxiv.org/abs/2302.13971

LLaMA 是一个参数范围从 7B 到 65B 的基础语言模型集合。Meta AI 的研究人员在数万亿个 tokens 上训练该模型,训练过程中仅使用公开可用的数据集,不借助专有和无法访问的数据集。LLaMA-13B 在大多数基准测试上表现优于 GPT-3 (175B),而 LLaMA-65B 可以与 Chinchilla-70B 和 PaLM-540B 相媲美。

InstructGPT:通过人类反馈训练语言模型遵循指令

Training language models to follow instructions with human feedback

2e9c49270f3998e47252fe398a3e04ac.png

*作者:OpenAI

*原文:https://arxiv.org/abs/2203.02155

研究人员展示了,在各种任务中通过人类反馈进行微调,从而使语言模型与用户意图保持一致。研究人员将由此产生的模型称为 InstructGPT,在 prompt 分布的评估中,1.3B InstructGPT 模型的输出比 175B GPT-3 模型的输出更受青睐。此外,InstructGPT 在真实性方面也有所改进,减少了 toxic output。

LoRA:大型语言模型的低秩适应

LoRA: Low-Rank Adaptation of Large Language Models

a96067e6c62dff75a93ff82728807444.png

*作者:微软

*原文:https://arxiv.org/abs/2106.09685

微软的研究人员提出了 LoRA (Low-Rank Adaptation),可以冻结预训练模型的权重,并将可训练的秩分解矩阵注入 Transformer 架构的每一层,从而大大减少下游任务的可训练参数数量。与使用 Adam 进行微调的 GPT-3 175B 相比,LoRA 可以将可训练参数数量减少 1 万倍,GPU 内存需求减少 3 倍。

QLoRA:量化大型语言模型的高效微调

QLoRA: Efficient Finetuning of Quantized LLMs

f6c198aa3fa6a283fb28f81b37372595.png

*作者:华盛顿大学的研究人员

*原文:https://arxiv.org/abs/2305.14314

QLoRA 是一种高效的微调方法,能够减少内存使用量,在单个 48GB GPU 上对 65B 参数模型进行微调,同时保持完整的 16 位微调任务性能。QLoRA 通过一个冻结的 4 位量化预训练语言模型,将梯度反向传播到 LoRA。研究人员将基于 QLoRA 得到的最佳性能模型命名为 Guanaco,其在 Vicuna 基准测试中的表现优于之前所有公开发布的模型,达到了 ChatGPT 99.3% 的性能水平,而在单个 GPU 上只需要 24 小时的微调。

DPR:用于开放域问答的密集通道检索

Dense Passage Retrieval for Open-Domain Question Answering

bb3d6658ea025a2279c78ec926bb31cb.png

*作者:FAIR at Meta

*原文:https://arxiv.org/abs/2004.04906

在该研究中,研究人员展示了,如何仅使用密集表征来实现检索,即通过简单的双编码器框架从少量问题和段落中学习嵌入。在广泛的开放域问答数据集上进行评估时,该检索器在前 20 个段落检索准确性方面相较于 Lucene-BM25,提高了 9%-19%。

RAG:用于知识密集型 NLP 任务的检索增强生成

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

98868255523d15c42184c6fdb85231e7.png

*作者:Meta、UCL和伦敦大学的研究人员

*原文:https://arxiv.org/abs/2005.11401

研究人员提出通用微调方法 RAG (retrieval-augmented generation),将预先训练的参数和非参数结合起来用于语言生成。该研究引入 RAG 模型,其中参数存储器是预训练的 seq2seq 模型,非参数存储器是维基百科的致密向量索引 (DPR),可通过预训练的神经检索器访问。研究人员比较了两种 RAG 方案,一种方案以整个生成序列中检索到的相同段落为条件,另一种方案则可以使用每个标记的不同段落为条件。在语言生成任务中,研究人员发现 RAG 模型生成的语言比最先进的纯参数 seq2seq 基线模型生成的语言更具体、更多样、更真实。

RETRO:通过从数万亿 tokens 中检索来提高语言模型性能

Improving language models by retrieving from trillions of tokens

323d64f18dc1283b238d0f6bb3ceb6c1.png

*作者:谷歌 DeepMind

*原文:https://arxiv.org/abs/2112.04426

Retrieval-Enhanced Transformer (RETRO) 拥有 2 万亿个标记数据库,尽管使用的参数比 GPT-3 和 Jurassic-1 少 25 倍,但在 Pile 上却能获得与之相当的性能。RETRO 结合了冻结的 Bert 检索器、可微分编码器和分块 cross-attention 机制,可根据比训练期间消耗数据多出一个数量级的数据来预测标记。

针对开放领域问题解答,通过少量提示建立互联网增强语言模型

Internet-augmented language models through few-shot prompting for open-domain question answering

3fc87badc3c7c287624802d8395d5742.png

*作者:谷歌 DeepMind

*原文:https://arxiv.org/abs/2203.05115

该研究旨在利用大规模语言模型 (LSLMs) 独特的少量提示能力,克服其在基于事实和最新信息方面所面临的挑战。研究人员发现,在开放领域的问题解答中,基于网络的语言模型在性能上,超越了模型规模相似、甚至更大的闭卷模型。此外,通过使用多个检索证据生成多个答案,然后使用相同 LMs 生成的分数进行重新排序,可以提高模型的推理计算时间,从而提高性能,并缓解少量 LMs 性能较低的问题。

HyDE:无需相关性标签的 Zero-Shot 稠密检索

Precise Zero-Shot Dense Retrieval without Relevance Labels

f3d88ab0eac4e8f09b9a0cc10e630bd9.png

*作者:卡内基梅隆大学、滑铁卢大学的研究人员

*原文:https://arxiv.org/abs/2212.10496

该实验中,HyDE (Hypothetical Document Embeddings ) 首先以零样本方式指导一个遵循指令的语言模型 (例如InstructGPT) 生成一个假设文档。该文档捕捉了相关性模式,但是是虚构的,可能包含虚假的细节。然后,一个无监督对比学习的编码器 (例如Contriever) 将文档编码为嵌入向量。该向量在语料库嵌入空间中标识一个邻域,其中根据向量相似性检索类似的真实文档。实验证明,HyDE 在各种任务和语言中明显优于最先进的无监督稠密检索器 Contriever,并表现出与微调检索器相当的强大性能。

FlashAttention:具有  IO-Awareness 的准确 Attention 算法

FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

e632c7d193619db15050cc354c73aad8.png

*作者:斯坦福大学、纽约州立大学的研究人员

*原文:https://arxiv.org/abs/2205.14135

FlashAttention 是一种具有  IO-Awareness 的精确 Attention 算法,使用平铺 (tiling) 来减少GPU高带宽内存 (high bandwidth memory,HBM) 和 GP U片上 SRAM 之间的内存读写次数。FlashAttention 和块稀疏 FlashAttention 在 Transformers 中实现了更长的上下文,从而产生了更高质量的模型和创新功能。

Attention 线性偏置,实现输入长度外推

Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation

b08faab64b060a936835d3b8c67cc755.png

*作者:华盛顿大学、FAIR 等研究团队

*原文:https://arxiv.org/abs/2108.12409

研究人员提出了一种更简单、更高效的位置表示方法--ALiBi (Attention with Linear Biases),能在长度为 1024 的输入序列上训练出一个 13 亿参数的模型,并能推断出长度为 2048 的输入序列,与在长度为 2048 的输入序列上训练出的正弦位置嵌入模型,达到了相同性能,但训练速度快了 11%,使用的内存也少了 11%。

Codex:评估基于代码训练的大型语言模型

Evaluating Large Language Models Trained on Code

e30825b50c28e65c958b7bd22305bb8c.png

*作者:OpenAI

*原文:https://arxiv.org/abs/2107.03374

研究人员介绍了基于 GitHub 公开代码微调的 GPT 语言模型 Codex,并研究了其 Python 代码编写能力。同时,研究人员还发布了一个新的评估集 HumanEval,用于测量从文档脚本合成程序的功能正确性。在该评估集上,Codex 解决了 28.8% 的问题,而 GPT-3 解决了 0%,GPT-J 解决了 11.4%。

Layer Normalization

Layer Normalization

a4dd0a98a8a2b0f8bd08b55a4e07ae67.png

*作者:多伦多大学的研究人员

*原文:https://arxiv.org/abs/1607.06450

研究人员我们将批量归一化 (batch normalization) 转换为层归一化 (Layer Normalization),即在单个训练样本中,通过计算层中神经元所有输入总和的均值和方差来实现归一化。与批量归一化不同,层归一化在训练和测试时执行完全相同的计算。经验表明,与之前发布的技术相比,层归一化可以大大缩短训练时间。

在 Transformer 架构中的层归一化

On Layer Normalization in the Transformer Architecture

d3e3c02ba75c3068eea01355de6ce128.png

*作者:微软

*原文:https://arxiv.org/abs/2002.04745

研究人员通过平均场理论证明,在初始化阶段,对于原始设计的 Post-LN Transformer,输出层附近参数的期望梯度较大,基于此使用高学习率会使训练变得不稳定。此外,如果将层归一化放在 Post-LN Transformer,则在初始化时梯度是良好的。研究表明,去除预热阶段的 Pre-LN Transforme 在实际应用中可以达到与基线相当的结果,同时减少了训练时间和超参数调整。

PPO:近端策略优化算法

Proximal Policy Optimization Algorithms

aa173eceafb587bb494b63b94647879d.png

*作者:OpenAI

*原文:https://arxiv.org/abs/1707.06347

研究人员提出的 PPO (proximal policy optimization) 具有 TRPO (rust region policy optimization) 的相似优势,但更简单、更通用,并具有更好的样本复杂度。研究人员在一系列基准任务上测试了 PPO,结果表明,PPO 优于其他在线策略梯度方法,总体上在样本复杂度、简单性和上墙时间之间取得了良好的平衡。

WizardCoder:使用 Evol-Instruct 增强代码大型语言模型的能力

WizardCoder: Empowering Code Large Language Models with Evol-Instruct

0c544cad42ba2cadf6f9865e7e3f4147.png

*作者:微软、香港浸会大学的研究人员

*原文:https://arxiv.org/abs/2306.08568

研究人员提出的 WizardCoder,通过将 Evol-Instruct 方法调整到代码领域,使 Code LLM 具备复杂指令微调功能。在 HumanEval、HumanEval+、MBPP 和 DS-1000 四个代码生成基准上的实验显示,WizardCoder 大大超越了所有其他开源 Code LLM。此外,在 HumanEval 和 HumanEval+ 上,WizardCoder 甚至超过了 Anthropic 的 Claude 和 Google 的 Bard。

Llama 2: 开放的基础和微调的聊天模型

Llama 2: Open Foundation and Fine-Tuned Chat Models

9c3856dd52b506064392de5f0f6c992d.png

*作者:GenAI, Meta

*原文:https://arxiv.org/abs/2307.09288

Llama 2 是经过预训练和微调的大型语言模型,规模从 70 亿到 700 亿参数不等。研究人员的微调 LLM 被称为 Llama 2-Chat,针对对话应用进行了优化。该论文详细介绍了研究人员对 Llama 2-Chat 进行微调和安全性改进的方法。

RWKV:为 Transformer 时代重新定义循环神经网络 (RNNs)

RWKV: Reinventing RNNs for the Transformer Era

166edadf854cbdd642ea520d59118caa.png

*作者:EleutherAI、巴塞罗那大学等研究团队

*原文:https://arxiv.org/abs/2305.13048

研究人员提出了一种新颖的模型架构,称为 Receptance Weighted Key Value (RWKV),结合了 Transformer 的高效可并行训练和 RNN 的高效推理。该方法利用了线性 attention 机制,能够将模型制定为 Transformer 或 RNN,从而在训练过程中并行化计算,并在推理过程中保持恒定的计算和内存复杂度。研究人员将模型扩展到了 140 亿参数,是迄今为止最大的稠密 RNN 模型。

RLAIF:无害的 AI 反馈

Constitutional AI: Harmlessness from AI Feedback

091421f434fe97df3e19108c616f71de.png

*作者:Anthropic

*原文:https://arxiv.org/abs/2212.08073

研究人员尝试通过自我提升 (self-improvement) 的方式培训一个AI助手,并将这种方法称为 Constitutional AI。该训练过程包括监督学习和强化学习两个阶段。在监督学习阶段,研究人员从初始模型中采样,然后生成自我批评和修订,最后在修订后的响应上对原始模型进行微调。

在强化学习阶段,研究人员从微调后的模型中采样,使用模型评估两个样本中哪个更好,然后从 AI 偏好的数据集中训练偏好模型。然后,研究人员使用偏好模型作为奖励信号进行RL训练,即使用「RL from AI Feedback (RLAIF)」。

超大规模神经网络

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

1d678f8b9064259dbf45ad2d19142958.png

*作者:Google Brain(已与 DeepMind 合并)

*原文:https://arxiv.org/abs/1701.06538

研究人员引入了由多达数千个前馈子网络组成的稀疏门控 MoE (Mixture-of-Experts) ,将 MoE 应用于语言建模和机器翻译任务。在这些任务中,模型容量对于吸收训练语料库中的大量知识至关重要。研究人员提出了一种模型架构,具有多达 1370 亿参数的 MoE 以卷积方式应用于堆叠的 LSTM 层之间。在大型语言建模和机器翻译基准测试中,该模型以较低的计算成本得到了明显优于最新技术的性能。

CLIP:从自然语言监督中学习可转移的视觉模型

Learning Transferable Visual Models From Natural Language Supervision

5e63af84842f9c622676da7f9733f007.png

*作者:OpenAI

*原文:https://arxiv.org/abs/2103.00020

研究人员提出了一种预训练任务,即预测哪个标题与哪个图像相匹配,这是一种高效且可扩展的方法,可以从头开始学习 SOTA 的图像表征。该研究使用了从互联网上收集的 4 亿对的数据集,包含图像与文本。预训练后,自然语言被用于引用学到的视觉概念(或描述新的概念),从而实现了将模型零样本迁移到下游任务。

ViT:规模化图像识别的Transformer

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

8acd2fd94a3f233aa8c9a5646a3abd4f.png

*作者:Google Research,Brain Team (已与 DeepMind 合并)

*原文:https://arxiv.org/abs/2010.11929

卷积运算的应用通常伴随着全局结构和长距离依赖性的限制,因此需要更多的参数和更深的网络来解决这些问题。研究人员提出了一个完全基于 Transformer 的图像识别模型,称为ViT (Vision Transformer),采用了 Transformer 的核心思想,并且能够捕获全局信息。

生成式 Agents:人类行为的交互模拟

Generative Agents: Interactive Simulacra of Human Behavior

f4091661b9d45de3eaa626bb574f3d8a.png

*作者:斯坦福大学、谷歌 DeepMind 研究人员

*原文:https://arxiv.org/abs/2304.03442

为了构建生成式 Agents,研究人员提出了一种架构,扩展了一个大语言模型,用于存储 Agents 使用自然语言的完整经验记录,将这些记忆逐渐合成为更高层次的反思,并动态检索以规划行为。该研究通过将大型语言模型与计算、交互 Agents 相融合,引入了架构和交互模式,实现了对可信人类行为的模拟。

DPO:直接偏好优化算法

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

dade87c6d4bc35268d4ca21c6cda6ed4.png

*作者:斯坦福大学的研究人员

*原文:https://arxiv.org/abs/2305.18290

研究人员提出的直接偏好优化 (DPO) 算法,稳定、高效且计算量轻,无需拟合奖励模型,也无需在微调期间从 LM 采样或执行显著的超参数调整。实验表明,DPO 可以微调 LMs,使其与人类偏好保持一致。实验表明,使用 DPO 进行微调在控制生成的情感方面优于基于RLHF (reinforcement learning from human feedback)。

一致性模型

Consistency Models

9885aab8e6521b383a8d8f4767e3dfc5.png

*作者:OpenAI

*原文:https://arxiv.org/abs/2303.01469

该研究提出的一致性模型,是一种通过将噪声直接映射到数据来生成高质量样本的新模型。其支持快速的一步生成,同时也可以通过多步采样,在计算和样本质量之间进行权衡。该模型还支持零样本数据编辑,如图像修补、着色和超分辨率,而无需在这些任务上进行明确的训练。

潜在一致性模型

Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference

f62dc9a52cf76436a84cbb7c5839f0a9.png

*作者:清华大学研究人员

*原文:https://arxiv.org/abs/2310.04378

研究人员提出的潜在一致性模型 (Latent Consistency Models,LCMs),能够在任何预训练的潜在扩散模型 (Latent Diffusion models,LDMs) 上以最少步骤进行快速推理,包括稳定扩散 (rombach et al)。实验结果显示,通过从预训练的无分类器引导扩散模型中进行高效提取,一个高质量的 768 x 768 2~4 步 LCM 仅需要在 A100 GPU训练 32 小时。

LCM-LoRA: 通用稳定扩散加速模块

LCM-LoRA: A Universal Stable-Diffusion Acceleration Module

9a7350a233b975139c8c556d4ff174c0.png

*作者:清华大学、Hugging Face

*原文:https://arxiv.org/abs/2311.05556

该研究进一步拓展了 LCMs的潜力。首先,研究人员通过将 LoRA 应用于包括 SD-V1.5、SSD-1B 和 SDXL 在内的 Stable-Diffusion 模型,将 LCM 的范围扩展到内存消耗更少的大模型,实现了更优越的图像生成质量。其次,研究人员通过将 LCM 蒸馏 (distillation) 获得的 LoRA 参数,识别为通用的 Stable-Diffusion 加速模块,并命名为 LCM-LoRA。LCM-LoRA 可以直接插入各种 Stable-Diffusion 微调模型或 LoRAs,而无需训练,因此代表了适用于多样图像生成任务的通用加速器。

Chain-of-Note:增强检索增强型语言模型的鲁棒性

Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models

c4d5a8f4cd2b81cd22d3281bcc8fd461.png

*作者:腾讯 AI Lab

*原文:https://arxiv.org/abs/2311.09210

研究人员提出的 Chain-of-Noting (CoN),能够提高检索增强型语言模型 (RALM) 在面对嘈杂的、无关的文档,以及处理未知情景时的鲁棒性。CoN 能够为检索到的文档生成顺序阅读注释,以彻底评估其与给定问题的相关性,并将此信息集成到制定最终答案的过程中。

大语言模型的新兴能力

Emergent Abilities of Large Language Models

d88d725099ed6e52210bec138a83d4b1.png

*作者:Google Research、斯坦福大学、UNC、DeepMind

*原文:https://arxiv.org/abs/2206.07682

研究人员提出了大型语言模型的新兴能力,将其定义为在较小规模模型中不存在但在大规模模型中存在的能力,衡量标准为训练计算量和模型参数数量。

Q-Transformer: 通过自回归 Q 函数实现可扩展的离线强化学习

Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions

e96221dc485de2ba5e1f305f414ef797.png

*作者:谷歌 DeepMind

*原文:https://arxiv.org/abs/2309.10150

研究人员提出了一种可扩展的强化学习方法 Q-Transformer,用于从大规模离线数据集中,训练能够利用人类演示和自主收集数据的多任务策略。该方法使用 Transformer 来提供 Q 函数的可扩展表示,通过离线时间差备份进行训练。

Llama Guard

Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations

d8bedb3f43c55e7f523d173e0d913b09.png

*作者:Meta GenAI

*原文:https://arxiv.org/abs/2312.06674

Llama Guard 是一个基于 LLM 的输入、输出保护模型,在 Meta 收集的数据集上基于 Llama2-7b 模型进行了微调,尽管数据量较小,但在现有基准测试中表现出色,例如 OpenAI Moderation Evaluation 数据集和 ToxicChat,其性能与当前可用的内容审查工具相匹配或表现更佳。

ReSTEM:超越人类数据

Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models

2456d98031d10a45c14628409c785b7b.png

*作者:谷歌 DeepMind、 Mila

*原文:https://arxiv.org/abs/2312.06585

研究人员提出了一种基于期望最大化 (expectation-maximization) 的自我训练方法,称之为 ReSTEM,从模型中生成样本并使用二进制反馈对其进行过滤,随后对这些样本进行微调,并重复这个过程数次。在使用 PaLM-2 模型进行 MATH 推理和 APPS 编码基准测试时,研究人员发现,ReSTEM 的表现与模型大小呈正比,并且在人类数据上显著超越了仅进行微调的方法。

Mixed Expert Models 详解

5c7ca639c6e3565cf331082fa5e43e26.png

*来源:Hugging Face

*原文:https://huggingface.co/blog/moe

SPIN:自我博弈微调将弱语言模型转化为强语言模型

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

cf95d7b32aebe55aa7e8ae54a4bc4bd7.png

*作者:UCLA、清华大学、加利福尼亚大学的研究人员

*原文:https://arxiv.org/abs/2401.01335

研究人员提出了一种新的微调方法,称为自我博弈微调 (Self-Play fIne-tuNing,SPIN),核心是自我博弈机制。语言模型生成其前一迭代的训练数据,通过区分这些自我生成的响应与从人工注释数据中获取的响应,进一步调整其策略。

Self-Instruct:用自动生成的指导语言对齐语言模型

Self-Instruct: Aligning Language Models with Self-Generated Instructions

47ca27cb0104c9cab7b7ebf4b2df059d.png

*作者:华盛顿大学等

*原文:https://arxiv.org/abs/2212.10560

研究人员提出的 Self-Instruct,能够利用预训练语言模型自己生成的内容来提高其遵循指导的能力。研究人员从语言模型中生成指导、输入和输出样本。在使用样本对原始模型进行微调之前,过滤无效或相似的样本。研究人员将该方法应用于 GPT-3,并在 Super-NaturalInstructions 上进行验证,结果显示比原始模型提升了 33%,与使用私人用户数据和人工注释进行训练的 InstructGPT-001 性能相当。

关注公众号,回复「LLM论文」即可打包下载论文合集

参考资料:

https://eugeneyan.com/writing/llm-reading-list/.

 往期推荐 

c9049cb2785bc90d5290520365d3b78d.png

7b1a94bcd91f861743ec5256176ec361.png

29d55bb39172a3fa433f9dcd16c1d6a9.png

91e633b5d86ace6f445132371562041a.gif

b38b15192ec32689dd062048d8c2b66f.gif

戳“阅读原文”,免费获取海量数据集资源!

企业客服应用LLM Agent 实践分享 在企业客服中引入LLM Agent(如ChatGPT、DeepSeek等)对用户体验的影响是双刃剑,需要精细平衡效率与人性化。 阅读详情

相关推荐

每周 AI 和 NLP 新闻 — 2023 年 10 月 5 日:ChatGPT 的语音和图像功能,亚马逊向 Anthropic 和 Mistral LLM 投资 4B 美元

ChatGPT 现在可以看、听和说话。OpenAI 为其人工智能助手 ChatGPT 引入了新的语音和图像功能。用户现在可以进行自然的语音对话并接收相关响应。图像功能使用户能够显示 ChatGPT 图像以帮助解释。

iCloudEnd的博客 203

HyDE:改善大模型的信息检索的方法

HyDE,全称为Hypothetical Document Embeddings,是一种用于改进信息检索的方法。它通过生成可用于回答用户输入问题的假设文档,来对齐查询和文档的语义空间。这些文档是由大型语言模型(LLM)根据它们自身学习到的知识生成的,然后这些文档被向量化,用于从索引中检索文档。HyDe的工作过程是从使用LLM基于查询生成假设文档开始的,在完成了假设文档的生成后将生成的假设文档输入编码器,将其映射到密集向量空间中。

Criss@陈磊 4314

单细胞分析实战:用R语言绘制带连线的堆叠柱状图(附完整代码)

本文详细介绍了如何使用R语言绘制带连线的堆叠柱状图进行单细胞转录组数据分析,特别适用于展示细胞比例变化趋势。通过完整代码示例和实战技巧,帮助研究者优化多组别比较的可视化效果,提升科研图表质量。

yhn4567890的博客 390

万字长文总结检索增强 LLM

检索增强 LLM ( Retrieval Augmented LLM ),简单来说,就是给 LLM 提供外部数据库,对于用户问题 ( Query ),通过一些信息检索 ( Information Retrieval, IR ) 的技术,先从外部数据库中检索出和用户问题相关的信息,然后让 LLM 结合这些相关信息来生成结果。这种模式有时候也被称为 检索增强生成 ( Retrieval Augmented Generation, RAG )。下图是一个检索增强 LLM 的简单示意图。

WitsMakeMen的专栏 1873

NFC门禁卡复制全解析:从M1卡到UID卡的攻防实践

本文深入解析了NFC门禁卡的安全机制与攻防实践。从M1卡基于Crypto1算法的原理漏洞讲起,详细阐述了利用Proxmark3等工具进行侦听、破解密钥及使用UID卡进行复制的完整攻击链条。同时,为防御方提供了从升级CPU卡、启用全扇区认证到部署多因子验证的系统性防护策略,旨在帮助管理员构建更稳固的物理安全防线。

weixin_29182481的博客 1408

PyQt5 使用QSqlDatabase连接Mysql数据库时Driver not loaded Driver not loaded

PyQt5 使用QSqlDatabase连接Mysql数据库时Driver not loaded Driver not loaded

睡觉不打呼噜的博客 1566

HyDE、UDAPDR(LLM大模型用于信息检索)

本篇博文继续整理LLM在搜索推荐领域的应用,往期文章请往博主主页查看更多。这篇文章主要做zero-shot场景下的稠密检索,通过借助LLM的力量不需要Relevance Labels,开箱即用。作者提出Hypothetical Document Embeddings (HyDE)方法,即“假设”文档嵌入。具体的做法是通过GPT生成虚构的文档,并使用无监督检索器对其进行编码,并在其嵌入空间中进行搜索,从而不需要任何人工标注数据。

nakaizura 8235

基于AI Agent的数据治理实战:从架构设计到企业级落地

数据治理是确保企业数据质量、一致性与安全性的核心实践,其核心原理在于通过规范、流程与技术工具对数据进行全生命周期管理。传统人工治理模式效率低下且难以规模化,而大语言模型(LLM)与智能体(Agent)技术的发展,为数据治理的自动化与智能化带来了突破。通过将自然语言理解、任务规划与工具调用能力相结合,AI Agent能够将治理规则“代码化”与“智能化”,实现从被动响应到主动发现的模式转变。在应用场景上,AI Agent可扮演智能数据专员角色,自动执行元数据问答、数据质量探查、口径对齐等任务,显著提升数据团队效

weixin_34008805的博客 422

使用假设文档嵌入 (HyDE) 改进检索

使用假设文档嵌入 (HyDE) 改进检索

安静的软件工程师 4868

IGBT单管并联方案全解析:从均流设计到热管理实战技巧

本文深入解析了IGBT单管并联技术在新能源车电驱系统中的应用,重点探讨了均流设计与热管理实战技巧。通过优化寄生电感控制、动态均流和驱动电路设计,提升系统稳定性和效率,为工程师提供了一套完整的解决方案。

weixin_28720573的博客 442

动态规划之【树形DP】第3课:树形DP应用案例实践2

动态规划之【树形DP】第3课:树形DP应用案例实践2

王老师青少年编程 773

亚马逊投资Anthropic; OpenAI将推出新版ChatGPT

亚马逊投资Anthropic至多40亿美元,将共同开发可靠高性能的基础模型,并能提前使用Anthropic技术。Anthropic将主要依赖亚马逊的云服务来训练未来的AI模型,并利用亚马逊云服务提供的学习加速器进行训练和部署。此举标志着亚马逊进一步利用生成式AI的新举措,满足用户对Anthropic大语言模型的需求,并扩大对AWS Bedrock的支持。亚马逊将首期投资12.5亿美元获得Anthropic的股权,两家公司可以选择增加总投资额到40亿美元。

haleycat的博客 525

【项目实战】Chrome插件离线安装,CRX格式安装方法

摘要:本文介绍两种Chrome插件离线安装方法(CRX格式)。方法一通过拖拽CRX文件至扩展页面安装;方法二需解压CRX文件后加载已解压扩展。常见问题包括安全警告、文件损坏等,提供相应解决方案。注意事项强调仅使用可信来源、手动更新及兼容性问题。另附开发者适用的命令行安装等高级方法。全文提供分步指导,确保用户能安全完成离线插件安装。

奶爸的编程之路,也就一周冷个三天 1824

亚马逊云科技助力【Dify.AI】,加速生成式 AI 创业全球化

云上初创》是亚马逊云科技初创网络打造的深度栏目,通过深入当下热门的生成式 AI 和行业赛道,致力于挖掘具有代表性的头部初创企业的独家故事,以及投资机构和意见领袖的深入洞见。的宝贵机会,并达到了可观的品牌曝光。未来,Dify 希望借助亚马逊云科技成熟的全球网络,加速推进国际业务销售,与更多潜在客户合作,同时,也会与亚马逊云科技合作伙伴网络中更多优秀的企业开展联合创新。“去定义一个新的品类,改变很多人的工作和生活,尤其可以激发同事们的潜力和能力,让他们不受限制的做自己喜欢的事情,这是创业最吸引我的地方。

weixin_46812959的博客 1789

86、高斯过程:学习、应用与自动相关性确定

本文介绍了高斯过程回归的基本原理及其在实际应用中的关键技术,重点探讨了通过最大化对数似然函数来学习模型超参数的方法,并详细阐述了自动相关性确定(ARD)技术如何用于评估输入变量的重要性。文章涵盖了从协方差函数定义、梯度计算到优化算法的应用流程,并通过流程图和表格形式总结了核心步骤与公式。此外,还讨论了贝叶斯处理方式及异方差问题的建模策略,展示了高斯过程在复杂数据建模中的灵活性与强大能力。

android的专栏 115

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

2025年AI大模型工程师薪资揭秘:需求激增40%+,百万年薪已不罕见,零基础也能入局!

文章分析了2025年AI大模型人才市场火热状况,指出AI岗位需求激增40%以上,资深工程师年薪可达百万。详细介绍了大模型岗位所需核心技能、热门方向及地域分布特点,为程序员提供了系统性转型建议和学习路径。文章预测未来大模型就业市场将持续高速增长,掌握AI技能将成为职场新门槛,现在是入局大模型的黄金时期。

libaiup的博客 902

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

2026年AI大模型人才缺口超40%!百万元年薪抢人,你准备好了吗?

2026年AI大模型人才市场火爆,需求激增超40%,科技巨头和传统行业争抢,中国互联网大厂薪资可达百万元。AI大模型岗位薪资中位数超50万元,顶尖人才年薪百万。核心技能包括Python、数据结构与算法、Transformer架构等。热门方向有大模型架构师、应用开发工程师、算法工程师等。地域分布上,北京、广东等地集聚最多AI企业,但非传统中心地区也在增长。程序员可提升Python、深度学习等技能,参与项目积累经验,瞄准招聘企业,利用各地人才政策。未来市场持续高速增长,掌握AI工具成为新门槛,是职业发展新机遇。

2401_84204413的博客 1118

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

AI大模型就业市场2026:AI岗位需求暴涨!年薪百万?大模型工程师成香饽饽,你跟上了吗?

2025年AI大模型人才市场火爆,需求激增超40%,科技巨头和传统行业争抢,中国互联网大厂薪资可达百万元。AI大模型岗位薪资中位数超50万元,顶尖人才年薪百万。核心技能包括Python、数据结构与算法、Transformer架构等。热门方向有大模型架构师、应用开发工程师、算法工程师等。地域分布上,北京、广东等地集聚最多AI企业,但非传统中心地区也在增长。程序员可提升Python、深度学习等技能,参与项目积累经验,瞄准招聘企业,利用各地人才政策。未来市场持续高速增长,掌握AI工具成为新门槛,是职业发展新机遇。

m0_59162248的博客 1758

2026年AI大模型人才激增40%!百万元年薪抢夺战,你准备好了吗?

AI大模型的发展不是“替代人类”,而是“重塑职业价值”——它淘汰的是重复性、低附加值的工作,却催生了更多需要“技术+业务”交叉能力的高端岗位。对于求职者而言,想要在这波浪潮中立足,不仅需要掌握Python、TensorFlow/PyTorch等技术工具,更要深入理解目标行业的业务逻辑(如金融的风险控制、医疗的临床需求),成为“懂技术、懂业务”的复合型人才。无论是技术研发岗(如算法工程师、研究员),还是业务落地岗(如产品经理、应用工程师),大模型都为不同背景的职场人提供了广阔的发展空间。

m0_65555479的博客 523

全球科技行业两年裁员40万,LLM博士却拿620万年薪offer?

两年内全球科技行业40万人被裁,2023大厂求职继续爆冷。然而这位UC伯克利博士却祭出求职经,LLM博士年薪620万起步。

IT界那些事儿 260

AI Agent选品工作流:零代码搭建合规亚马逊选品分析工具

AI Agent正重塑电商选品这一基础业务场景——它不再依赖传统爬虫解析HTML,而是通过语义理解、多步骤任务编排与官方API协同,实现从关键词输入到采购建议的端到端闭环。其核心原理在于将业务意图(如‘找价格弹性高、评论正向集中’的产品)转化为可调度、可验证、可审计的原子操作,技术价值体现在规避反爬风险、降低数据清洗成本、满足GDPR与亚马逊ToS合规要求。典型应用场景包括中小卖家新品快速验证、运营团队竞品动态监控及轻量级SaaS工具交付。本文聚焦无编程背景用户如何基于LangChain、AWS Bedro

weixin_33738982的博客 486

2026年AI岗位需求激增40%!年薪百万?资深大模型工程师已不罕见

如果说AI大模型是蕴藏着巨大能量的“后台超级能力”,那么AI大模型应用开发工程师就是将这种能量转化为实用工具的执行者。AI大模型应用开发工程师是基于AI大模型,设计开发落地业务的应用工程师。这个职业的核心价值,在于打破技术与用户之间的壁垒,把普通人难以理解的算法逻辑、模型参数,转化为人人都能轻松操作的产品形态。

2401_84204413的博客 719

LLM作为科研语义路由器:实验预测的可信路径构建

大语言模型(LLM)在科研中的价值,正从通用问答转向专业闭环支持。其核心原理并非替代计算工具,而是通过符号知识锚定、结构化协议解析与不确定性传播建模,实现人类实验意图到专业工具链的语义对齐。这种‘语义路由器’机制,显著提升实验可复现性约束与物理量纲一致性校验能力,支撑化学合成、材料工艺等场景下的趋势性预测与决策支持。尤其在输入受限、数据稀疏或需误差可审计的工程化科研中,LLM不再输出幻觉结果,而是提供带置信边界的可验证建议。本文聚焦于如何将LLM嵌入真实实验工作流,实现从‘能说’到‘可信可用’的关键跃迁。

weixin_33525298的博客 249

AI大模型就业市场2026:AI岗位需求暴涨40%+!百万年薪大模型工程师成抢手货,你还在等什么?

随着AI技术的飞速发展,2025年AI岗位需求激增超过40%,大模型工程师年薪百万已不罕见。全球科技巨头及传统行业纷纷抢人大战,中国AI人才市场同样火热。高薪背后,大模型岗位对编程、算法、Transformer架构、RAG系统等核心技能要求高。岗位细分为架构师、应用开发工程师、算法工程师等,地域分布集中于北京、广东等地。程序员可通过夯实基础、理论学习、实践项目等方式转型,抓住AI浪潮机遇。未来市场将持续高速增长,掌握AI工具成为新门槛。2026年AI岗位需求激增,资深大模型工程师年薪已不罕见,

Trb701012的博客 1356
上一篇: 上海交大 AI4S 团队提出「智能化科学设施」构想,建立跨学科 AI 科研助手
下一篇: 疫苗研发新突破:北航团队提出病毒抗原免疫原性预测新方法 VirusImmu
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值