RoBERTa、LoRA、CORRECT

关注

原创最新推荐文章于 2026-11-08 12:08:08 发布 171 阅读 AI 写同款· GEO 优化 ›

它是谁：我们前面聊过，它是强化版的 BERT（仅编码器）。参数量不大（通常在几亿级别）。
它的战术（全量微调）：在做这个事实核查实验时，研究人员把 RoBERTa 的“脑子”完全打开，用 FEVER 训练集里成千上万道题对它进行全量微调（Full Fine-tuning）。它把所有脑神经（参数）都重塑了一遍，硬生生把自己逼成了一个只会做选择题的“无情分类机器”（输出：支持、反驳、信息不足）。
特点：死记硬背能力强，专业对口，但没法干别的活了。

它是谁：LoRA (Low-Rank Adaptation，低秩微调) 是目前大模型圈子里最火、最实用的技术，没有之一！论文里，他们用 LoRA 微调了一个庞然大物——Llama-2-7B（70亿参数的大生成模型）。
痛点：如果要像训练 RoBERTa 那样，把拥有 70 亿参数的 Llama-2 脑子全部打开重塑（全量微调），那得烧掉几十张极其昂贵的顶级显卡，普通实验室根本玩不起。
LoRA 的神级战术（外挂插件）：
1. 冻结大脑：先把 Llama-2 原本的 70 亿参数全部“冻结”锁死，一丁点都不许改。（保留了它的通用常识）。
2. 外挂旁路：在它原本巨大的神经网络旁边，悄悄并联挂上几个极其微小的“附加模块”（这就是 LoRA 模块，参数量可能只有原模型的千分之一）。
3. 只练插件：在做事实核查训练时，系统只去更新这几个小插件的参数。
大白话比喻：Llama-2 就像一座极其复杂的超级大工厂。你想让它生产一种新零件（事实核查），全量微调相当于把整个工厂拆了重建；而 LoRA 相当于在流水线旁边加装了几个智能小开关。既省钱、省算力，效果还能跟重建工厂差不多！

它是谁：这是 2025 年最新提出的一种前沿方法。它走的路线既不是死磕模型（RoBERTa），也不是加装小开关（LoRA），而是在“如何提问（Prompt）”上下功夫。
它的战术（对比学习+提示词工程）：
- 寻找魔法咒语：大模型就像一个精灵，你给的“提示词”越准，它回答得越好。CORRECT 方法设计了一个特殊的网络，通过**“噪声对比（Noise-contrastive）”**的方法来训练。
- 什么叫对比？ 就是同时拿“正确的证据”和“错误的/干扰的证据（噪声）”给系统看，让系统在数学空间里不断摸索，最终提炼出一个**“完美的提示词向量（Prompt Embedding）”**。
- 少样本发力：找到这个完美的“提示咒语”后，再搭配几个有标签的真题（L-RAG），大模型瞬间就能心领神会，做出准确的判断。
大白话比喻：我不去改造大模型的脑子（不微调模型参数），我只花费算力去研究**“怎么跟大模型说话最管用”**。