神经网络
文章平均质量分 67
reesn
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
LLM 大语言模型 RoPE 相对位置编码综述
本文系统探讨了Transformer架构中的位置编码技术,重点分析了传统绝对位置编码的局限性和RoPE(Rotary Position Embedding)的创新优势。传统正弦余弦编码存在频谱混淆、长程衰减等问题,而RoPE通过复数空间旋转操作实现绝对位置到相对关系的映射,解决了语义稀释和位置信息保持的难题。文章详细解析了RoPE的复数空间映射、旋转操作、分块对角矩阵等核心技术,并展示了其在主流模型中的工程实现。最后指出,RoPE已成为现代大语言模型的事实标准,未来在动态频谱调控和多模态统一编码方面具有发展原创 2025-08-03 16:57:45 · 1120 阅读 · 0 评论 -
大模型微调报错二
模型微调报错处理原创 2024-03-17 20:35:24 · 1188 阅读 · 0 评论 -
入门大模型微调问题一
libcudart.so.12 no file原创 2024-03-12 19:40:22 · 646 阅读 · 1 评论
分享