真敲不动啦-优快云博客

原创 Datawhale AI x 魔搭夏令营第五期深度学习（入门）方向 task03笔记

模型偏差可能会影响模型训练。举个例子，假设模型过于简单，一个有未知参数的函数代θ1 得到一个函数 fθfθ1(x)，同理可得到另一个函数 fθfθ2(x)，把所有的函数集合起来得到一个函数的集合。但是该函数的集合太小了，没有包含任何一个函数，可以让损失变低的函数不在模型可以描述的范围内。在这种情况下，就算找出了一个 θ∗，虽然它是这些蓝色的函数里面最好的一个，但损失还是不够低。这种情况就是想要在大海里面捞针（一个损失低的函数），结果针根本就不在海里。这个时候重新设计一个模型，给模型更大的灵活性。

2024-09-03 13:12:38 900

原创 Datawhale AI x 魔搭夏令营第五期深度学习（入门）方向 task02笔记

线性模型是机器学习中的一种基础且重要的模型，它的核心思想是通过将输入特征线性组合来预测输出结果。线性模型具有形式简洁、易于建模的优点，并且蕴含着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层次结构或高维映射而得。线性模型的表达式可以表示为 y = w^T * x + b，其中 w 和 b 是模型的参数，x 是输入特征向量，y 是预测结果。线性模型试图学习一个通过属性的线性组合来进行预测的函数。

2024-08-30 23:45:58 1934

原创 Datawhale AI x 魔搭夏令营第五期深度学习（入门）方向 task01笔记

机器学习顾名思义，就是让机器具有学习能力，具体来讲，机器学习就是让机器具备找一个函数的能力。为什么说是找函数呢，根据课本的意思和我自己的理解，大概就是所有的任务其实都是找函数，有的工作很困难，单凭人是不能找到这个函数的，这个时候我们就需要机器这个功能强大的发明去找到这个隐藏的复杂的函数，进而输入一个不论是文本，图片还是声音等等，经过函数处理能够得到我们想要的“输出”，这就是机器学习。

2024-08-26 17:42:29 869

原创 Datawhale AI x 魔搭夏令营第四期魔搭-大模型应用开发方向 task04笔记

大语言模型微调实践——LoRA 微调细节_lora微调原理-优快云博客LoRA 基于大模型的内在低秩特性，增加旁路矩阵来模拟全参数微调，是目前最通用、效果最好的微调方法之一，而且能和其它参数高效微调方法有效结合。利用该方法对 175B GPT-3 微调，需要训练更新的参数量可以小到全量微调参数量的 0.01%。上图为 LoRA 的实现原理，其实现流程为：在原始预训练语言模型旁边增加一个旁路，做降维再升维的操作来模拟内在秩；

2024-08-20 15:27:35 837

原创 Datawhale AI x 魔搭夏令营第四期魔搭-大模型应用开发方向 task03笔记

RAG通常是指Retrieval-Augmented Generation，这是一种结合信息检索与生成模型的自然语言处理技术。RAG通过检索外部知识库中的相关信息来增强生成模型的能力，使得生成的回答更为准确和富有信息量。这种方法通过引入外部知识，使大模型能够生成准确且符合上下文的答案，同时能够减少模型幻觉的出现。由于RAG简单有效，它已经成为主流的大模型应用方案之一。基本步骤如下：1. 检索阶段：使用查询在预先构建的知识库中检索相关文档或段落。

2024-08-17 18:21:00 748

原创我的Lora模型微调代码

就先这样交吧，不要给我0分，我很努力了 o(╥﹏╥)o。我把路径改成我自己的了，但剩下真的搞得头晕眼花。

2024-08-16 16:58:10 634

原创 Datawhale X 魔搭 AI夏令营第四期魔搭-AIGC方向 task03笔记

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。这个为期几天的活动还是收获颇丰的，，但后面咋说呢，又有点蒙了，笔记做的乱七八糟，希望助教不要给我0分 o(╥﹏╥)o o(╥﹏╥)o。以后也会自己更多的钻研吧，希望能进步。

2024-08-16 16:40:59 2031