LLM
关注
分享
扫一扫
文章平均质量分 87
大语言模型知识
月涌大江流丶
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【LLM】1：如何更好的使用Transformers库
有关transformers库的学习资料。原创 2023-11-19 23:02:17 · 2690 阅读 · 0 评论 -
【LLM】2：Transformer底层算法原理
transformer架构的原理原创 2023-10-30 16:59:18 · 1737 阅读 · 0 评论 -
【LLM】3：从零开始训练大语言模型（预训练PT、微调SFT、RLHF）
奖励函数用于评估生成模型的输出质量。将输入文本和生成的响应传递给奖励模型，得到分数并作为奖励信号返回。原创 2024-11-07 15:51:41 · 4848 阅读 · 0 评论 -
【LLM】4：LoRA原理
有关LoRA模型的原理原创 2023-12-21 23:29:10 · 2490 阅读 · 0 评论 -
【LLM】5：Self-Attention中注意力分数的含义
自注意力机制（Self-Attention）是Transformer模型的核心组件，其中Q、K、V矩阵分别代表查询（Query）、键（Key）、值（Value）。它们的作用和含义可以通过信息匹配过程来理解。在自注意力机制中，输入的序列数据会经过线性变换，生成这三个矩阵，然后用于计算注意力权重和最终输出。原创 2024-10-12 23:35:24 · 2538 阅读 · 0 评论 -
【LLM】6：大语言模型中的 KV 缓存机制
KV 缓存在自注意力机制中的作用是在推理阶段缓存之前计算过的 Key 和 Value 矩阵，避免在生成新 token 时重复计算，显著提升推理效率，特别是在长序列生成任务中效果明显。这种缓存机制是大模型推理阶段提高性能的关键优化之一。原创 2024-10-12 23:50:42 · 2895 阅读 · 0 评论 -
【LLM】7：混合精度量化的实现
以上示例展示了如何在 PyTorch 和 TensorFlow 中实现混合精度训练。原创 2024-10-24 22:47:05 · 1580 阅读 · 0 评论 -
【LLM】8：大语言模型的量化（GPTQ、GGUF、AWQ原理）
GPTQ 通过梯度优化对量化误差进行最小化，适用于后训练阶段的精细量化，精度较高。GGUF 采用全局统一的量化策略，具有简单高效的优点，适用于资源受限的部署场景，但可能导致某些模型层的精度损失。AWQ 关注激活值的量化，通过分析激活值的分布对量化策略进行自适应调整，精度更高但计算复杂度较大。原创 2024-09-23 18:20:03 · 7288 阅读 · 0 评论 -
【LLM】9：RAG流程详解
是为了弥补大模型在特定领域下知识的不足，整个过程相对稳定，大模型可发挥的空间较少；原创 2024-10-20 22:07:24 · 5515 阅读 · 0 评论 -
【LLM】10：LangChain主要节点说明
langchain主要节点说明原创 2024-11-07 19:39:56 · 1186 阅读 · 0 评论 -
【LLM】11：LangChain实战应用分享
langchain实战应用原创 2024-11-07 19:53:11 · 1172 阅读 · 0 评论 -
【LLM】12：MoE混合专家模型实现
MoE代码实现原创 2025-02-08 10:51:31 · 715 阅读 · 0 评论 -
【LLM】13：大模型算法面试题库
大模型算法工程师面试问题原创 2025-02-13 13:07:29 · 1187 阅读 · 0 评论