- 博客(6)
- 收藏
- 关注
RSS订阅原创 大模型进行语言翻译由编码器提取特征后是怎么对应到目标语言的？
源语言（英语）: “The cat sits on the mat.”目标语言（法语）: “Le chat se tient sur le tapis.”
2025-02-13 17:55:38
189
原创 self-attention自注意力机制
归一化就是把一组数据进行计算这一个数据在这组数据中占比的概率分布？比如经过第三个步骤的关系计算得出【“我”】这句话的内积是【3.2，2.3，1.8，5.1】然后经过一个E的x幂的映射得到【140，40，30，180】然后经过归一化计算：【0.358，0.102，0.077，0.461】（就是“我”这个词=140/（140+40+30+180），整个组的词概率相加等于1）
2025-02-13 16:46:08
373
原创 使用llamafactory进行量化训练bitsandbytes的版本冲突问题
这里我们选用的是Qianwen1.5——1.8Bchat，训练方式我们选用的是qlora8位的量化等级更小的量化等级，加载的数据量会更多但同时会带来精度上的误差。很小的误差几乎可以忽略不计，关键是你的模型训练的强度。
2025-01-23 15:55:55
325
原创 LlamaFactory Lora 合并大模型,GGUF 转换与 Ollama 部署Open_WebUI全流程
使用ollama create命令创建自定义模型```## 3.5 运行模型。
2025-01-23 15:16:27
1681
原创 解锁 RAG 系统搭建：用垂域数据强化 LLM 能力
向量是一种有大小和方向的数学对象。它可以表示为从一个点到另一个点的有向线段。例如，二维空间中的向量可以表示为xy(x,y)xy，表示从原点00(0,0)00到点xy(x,y)xy的有向线段。以此类推，我可以用一组坐标x0x1xN−1x0x1xN−1表示一个NNN维空间中的向量，NNN叫向量的维度。
2025-01-22 11:45:41
909
原创 解决AutoDL服务器上使用LLamaFactory微调大模型cuda/pytorch/python/auto-gptq/vllm/版本冲突的问题
使用LLamaFactory微调大模型时，很多依赖的版本关系复杂，很容易出现版本冲突的问题，这里主要涉及到cuda/pytorch/python/auto-gptq/vllm/版本的选择，我在查看了很多博客和技术资料后在autoDl上进行多个版本的组合实验，特此记录一下。提示：这里尽量选RTX4090的显卡，同样的版本我在RTX的RTX3080显卡上还是会出现版本不兼容的问题：为此我特地查了一下两个显卡的架构，RTX4090的架构采用了Ampere架构，而采用的是RTX3080Turing架构。
2025-01-21 10:52:51
948
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人