- 博客(2)
- 收藏
- 关注
RSS订阅原创 【LLM知识整理2】
架构设计：数学公式计算的非整数叠加。硬件适配：显存、计算单元对齐。缩放定律：性能与资源的最优解。工程实践：分布式训练需求。命名惯例：近似值与历史习惯。这些设计确保了模型在高效训练和部署的同时，最大化性能与成本的平衡。2.大模型的幻觉问题、复读机问题是什么？问题类型本质原因当前最佳实践技术挑战幻觉问题概率建模 vs 事实逻辑鸿沟RAG + 多模态验证实时知识更新与逻辑推理复读机问题局部最优 vs 全局多样性矛盾核采样 + 重复惩罚长文本生成的一致性保持。
2025-02-16 22:42:11
1383
原创 【LLM知识整理】
Multi-head Attention 是 Transformer 架构的核心组件，旨在通过并行处理多个注意力子空间来增强模型对上下文的理解能力。其核心思想是将。
2025-02-16 14:47:30
1044
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人