LeBelief-优快云博客

原创 Datawhale大语言模型 task3 GPT+Deep seek介绍

Deepseek有类似的发展但是有很大创新探索：包含网络结构超参数据清洗处理多模态并且实现开源模型。GPT-1 decoder-based transformer 下游任务仍然需要相应数据pretrain。GPT-4o 原生多模态模型训练时加入了多模态预训练。o系列模型会进行推理与思考给出思考过程并且给出结果。codex 将code也放入模型训练（类似于多模态。GPT-2 预训练任务变为单词预测与下游任务一致。GPT-4 推理能力+图片处理（多模态。GPT-3 涌现出上下文学习能力。

2025-03-18 07:23:31 274

原创 Datawhale大语言模型 task2 模型结构

tranformer是有多头注意力模块堆叠的神经网络由encoder（获取输入feature representation）和decoder（进行下游任务）组成。而多头类似于cnn中多个不同的卷积层（googlenet等）来获得更robust的feature representation。step 1 输入的序列先经过模块得到词向量 embedding；step 2 进入encoder 其中重要的是多头注意力模块用于建模词与词之间的交互关系。大语言模型主要基于transformer模型结构。

2025-03-16 02:17:56 161

原创 Datawhale大语言模型 task1

2）神经语言模型比如 RNN word2vec 改进之前使用n-hot代表词进一步使用模型学习词的表示embedding 存在更多数据意义避免了数据稀疏的问题训练方式依然是词与背景词（邻近词）紧密相关】* 令人惊讶的是大模型预训练过程只需要进行文本补全的方式从而能够迁移至各种下游任务有很好的generalization “大道至简”很多有效的方法并不是复杂的而是简单有效的。4）大语言模型通过增加模型参数or数据规模会给下游任务带来性能提升这一具备小模型不具备的能力称为涌现能力。

2025-03-11 20:06:53 227

原创 Datawhale 吃瓜教程支持向量机

支持向量机的优化可以进一步改写为结构风险+经验风险其中第一项描述划分超平面的间隔大小即模型本身的一部分性质（防止过拟合一般从这里体现）被称为正则化项而之前提到的权重则是正则化权重另一项是训练集误差则是数据预测的accuracy。而核函数可以理解为映射的形式所以其选择很重要常用核函数包含线性核多项式核高斯核拉普拉斯核 sigmoid核也可多种相结合即多种不同的映射方式其实可以理解为deep learning中引入的非线性。两个异类支持向量到超平面的距离之和为间隔。

2024-10-04 10:12:22 588

原创 Datawhale 吃瓜教程神经网络

这里涉及到网络参数个数计算输入层神经元个数*隐层1神经元个数+隐层1神经元个数*隐层2神经元个数+……直到隐层n神经元个数*输出层神经元个数（weight）+每层神经元个数（bias）深度学习其实就是学习输入数据特征的过程让这个特征和我们想要的输出（target）产生联系区别于之前的传统机器学习需要人类先获取feature再输入到model学习来说是进一步的自动化；参数空间中梯度为0的点就是局部极小点即可能存在多个局部极小但全局最小只有一个这是我们搜索或者说是训练想要达到的目标；

2024-09-27 23:51:27 618

原创 Datawhale 吃瓜教程决策树

缺失值通过完整样本（即没有缺失值的样本）进行属性选择然后在划分样本的时候根据完整样本的概率给每个样本weight 分别划分到不同类也就是还按照完整样本的比例概率。但信息增益的方法存在缺点：对可取值数目更多的属性有所偏好比如样本id 完全将所有样本分开了每个类都很纯净但其实啥都没学到为了避免这个问题提出增益率。适用于更复杂的情况之前是按照单独一个属性进行划分而现在是对属性的线性组合进行划分每个属性都有不同weight。*这个weight是参数可学习？二、如何选择最优划分属性。

2024-09-24 23:31:55 432

原创 Datawhale 吃瓜教程线性模型

过采样多加一些类别过少的但不可重复采样容易过拟合可以通过SMOTE对较少类别进行插值得到额外的数据。即在y=wx+b引入单调可微函数即更为普遍使用而对数线性模型回归则可看做是其中一个特例。多对多：若干类作为一类其他若干作为另外一类一对一和一对其余是两个例子。欠采样去除一些类别过多的但不可去除郭队随机的样例造成信息丢失。* 还是有很多数学内容没看太理解诶等第二次回顾再来更新！一对其余：将其中一个类别作为一类其余作为另外一类。一对一: N个类别两两配对。二. 对数线性模型回归。

2024-09-21 22:48:44 296

原创 Datawhale X 李宏毅苹果书AI夏令营 Task 3

2 优化不到位即梯度下降做得不够好比如ResNet之前的DL model在model层数增多的时候反而会出现退化因为当时的DL model结构不足以支撑数据的优化学习凯明大神的ResNet解决了这个问题。给model一些额外限制比如减少model复杂度，早停，正则化，dropout之类的。刚开始新项目可以从简单的model 没有优化问题的model 比如经典机器学习中SVM 线性模型这一类开始尝试如果好就可以结束不好就尝试更复杂的model。解决方法：增加model复杂度减少数据量。

2024-09-01 23:33:40 666

原创 Datawhale X 李宏毅苹果书AI夏令营 Task 2

浅显的展示了一下过拟合的基本概念就是在training dataset上效果还不错 loss在减小 performance在上升但反观test dataset上效果反而出现下降趋势此时就是过拟合往往由于model过于复杂或者数据量过少可以通过早停简化model 增加数据量加入augmentation regularization等方法进行解决。*多参数和单参数的训练方式相同都是梯度下降需要对每个参数都算出loss对其的微分得到梯度分别进行更新。二、更复杂的，更灵活的函数。

2024-08-28 23:15:03 274

原创 Datawhale X 李宏毅苹果书AI夏令营 Task 1

损失函数输出的值代表在当前参数 b 和 w 选取的值下，函数 f 预测结果的好坏即与真实label的差异，用于指导model训练学习。*梯度下降的理解：给定一组参数，得到此处loss对其的微分得到梯度，梯度代表了函数整体增长最快的方向和速率，但我们是为了让loss变小，所以要逆着梯度方向去更新参数这也是为什么叫做梯度下降在更新时有“负号”后续可以完成很多不同任务，比如回归分类等，以及更有创造力的结构化学习，即机器不只是要做选择题或输出一个数字，而是产生一个有结构的物体，比如让机器画一张图，写一篇文章。

2024-08-27 21:42:16 246 1

weixin_47489278的博客