LLM面面观之Prefix LM vs Causal LM

1. 背景

关于Prefix LM和Causal LM的区别,本qiang在网上逛了一翻,发现多数客官只给出了结论,但对于懵懵的本qiang,结果仍是懵懵...

因此,消遣了多半天,从原理及出处,交出了Prefix LM和Causal LM两者区别的更为清楚的说明

2. Prefix LM

Prefix LM,即前缀语言模型,该结构是Google的T5模型论文起的名字,望文知义来说,这个模型的”前缀”有些内容,但继续向前追溯的话,微软的UniLM已经提及到了。

Prefix LM其实是Encoder-Decoder模型的变体,为什么这样说?解释如下:

(1) 在标准的Encoder-Decoder模型中,Encoder和Decoder各自使用一个独立的Transformer

( 2) 而在Prefix LM,Encoder和Decoder则共享了同一个Transformer结构,在Transformer内部通过Attention Mask机制来实现。

继续展开下Attention Mask机制,马上主题就有解了!

与标准Encoder-Decoder类似,Prefix LM在Encoder部分采用Auto Encoding (AE-自编码)模式,即前缀序列中任意两个token都相互可见,而Decoder部分采用Auto Regressive  (AR-自回归)模式,即待生成的token可以看到Encoder侧所有token(包括上下文)和Decoder侧已经生成的token,但不能看未来尚未产生的token。

下面的图很形象地解释了Prefix LM的Attention Mask机制(左)及流转过程(右)。

        

Prefix LM的代表模型有UniLM、T5、GLM(清华滴~)

3. Causal LM

了解了Prefix LM后,再来看Causal LM就简单的多了~

Causal LM是因果语言模型,目前流行地大多数模型都是这种结构,别无他因,因为GPT系列模型内部结构就是它,还有开源界的LLaMa也是。

Causal LM只涉及到Encoder-Decoder中的Decoder部分,采用Auto Regressive模式,直白地说,就是根据历史的token来预测下一个token,也是在Attention Mask这里做的手脚。

参照着Prefix LM,可以看下Causal LM的Attention Mask机制(左)及流转过程(右)。

        

Ps(图真是个好东西,一图胜万字呀)

4. 如何选取

两种结构均能生成文本,应该如何选择呢?只能说仁智见仁智。本qiang也搜寻了一番,有一篇google的论文,从理论上推导了Causal LM在情境学习(In-Context Learning)中比不上Prefix LM,感兴趣地客官可以看看论文。

5. 总结

一句话足矣~

前缀语言模型可以根据给定的前缀生成后续的文本,而因果语言模型只能根据之前的文本生成后续的文本。

6. 参考

(1) google T5: https://arxiv.org/pdf/1910.10683v4.pdf

(2) 微软UniLM: https://arxiv.org/pdf/1905.03197.pdf

(3) google理论评估PLM与CLM: https://arxiv.org/pdf/2308.06912.pdf

### 如何在 Anything LLMLM 模型中添加自定义文本 为了实现将自定义文本集成到 Anything LLMLM 模型中,可以通过以下方式完成: #### 数据准备阶段 在数据预处理过程中,需要确保自定义文本被适当地清洗和结构化以便于后续建模。这通常涉及去除噪声、标准化格式以及标记化等步骤[^3]。 #### 微调过程中的融合策略 当涉及到具体的技术实施时,一种有效的方法是利用融合适配器技术来构建新的微调版 LLM 。这意味着不仅要考虑基础模型的能力,还要注重如何让新增加的数据能够无缝融入已有框架之中而不破坏其原有性能表现[^1]。 此外,在实际操作层面,如果目标是使大型语言模型具备特定领域的专业知识,则应该精心挑选那些最能代表所需主题范围内的语料作为输入材料之一;同时也要注意保持足够的多样性以避免过拟合现象发生。 #### 应用场景扩展 值得注意的是,除了简单的问答功能之外,经过如此这般定制后的系统还可以应用于更广泛的业务需求当中——比如帮助企业从海量信息里提取有用洞见并据此制定战略规划等方面就显得尤为重要了[^2]。 ```python from anythingllm import FineTuneAdapter, DataProcessor # 初始化处理器对象 processor = DataProcessor() # 加载自定义文本数据 custom_texts = processor.load_data('path/to/your/custom/texts') # 创建微调适配器实例 adapter = FineTuneAdapter(base_model='pretrained_lm', custom_data=custom_texts) # 开始微调流程 fine_tuned_model = adapter.fine_tune() ``` 以上代码片段展示了如何加载外部文档并通过FineTuneAdapter类来进行进一步优化的过程。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mengrennwpu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值