- 博客(4)
- 收藏
- 关注
RSS订阅原创 LLM预训练
LLM 预训练是什么？LLM 预训练是构建大型语言模型的第一步，也是最耗时、计算资源消耗最大的阶段。在这个阶段，一个基于 Transformer 架构的模型（通常是 Decoder-only 结构，如 GPT 系列或 Llama 系列）被投入到中进行训练，它决定了模型拥有哪些基础能力。让模型学习语言的。模型通过预测文本序列中的下一个词（或某些情况下是掩码词）来学习这些规律。
2025-10-26 21:14:58
446
原创 LLM Alignment——RLHF、RLAIF、PPO、DPO（自用）
LLM Alignment，即大型语言模型对齐，旨在使LLM的行为、输出与人类的价值观、偏好和指令保持一致。这对于确保LLM的安全、有用和无害至关重要。
2025-10-26 17:38:01
1491
原创 Transformer笔记（自用）
Transformer模型自2017年Google Brain团队在论文《Attention Is All You Need》中提出以来，彻底改变了自然语言处理（NLP）领域。它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）结构，完全依赖于自注意力（Self-Attention）机制来处理序列数据，取得了前所未有的效果。
2025-10-25 17:04:42
1908
原创 自回归（Autoregressive）模型
自回归（）是序列生成任务中的核心范式，广泛应用于自然语言处理（如GPT）、语音合成、时间序列预测等领域。，即通过逐步预测下一个元素的方式构建完整序列。通过循环单元维护隐状态（Hidden State），逐步传递历史信息。隐状态 ht=f(ht−1,xt)，其中 xt 是当前输入（通常是上一步的输出 yt−1）。串行计算导致训练和推理速度慢，长距离依赖易丢失。使用**掩码自注意力（Masked Self-Attention）**实现并行训练，同时保证自回归特性。
2025-10-24 22:18:00
1388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人