- 博客(63)
- 收藏
- 关注
RSS订阅原创 DeepSeek模型架构及优化内容
用SFT模型初始化参考模型（防止模型训歪），和Action模型（最后需要的模型，用于生成符合人类预期内容的模型），用RM模型初始化奖励模型（当前状态下做出动作后的奖励）和Critic模型（做出当前动作后下一步可能获得的奖励），并切在奖励中增加优势，包含当前优势和下一步优势（中路走野区支援上路，原本可以收割一个人头，但实际收割了两个，多出的人头就是优势）知识冗余（Knowledge Redundancy）：不同的专家在处理不同的输⼊时可能需要相同的知识， 导致多个专家中存在重复的知识，浪费了模型参数。
2025-02-11 21:12:53
3869
原创 LangChain使用总结
LangChain自身并不开发LLMs，它的核心理念是为各种LLMs实现通用的接口，把LLMs相关的组件“链接”在一起，简化LLMs应用的开发难度,方便开发者快速地开发复杂的LLMs应用.
2025-01-15 18:19:22
925
原创 大模型微调介绍-Prompt-Tuning
基于Fine-Tuning的方法是让预训练模型去迁就下游任务，而基于Prompt-Tuning的方法可以让下游任务去迁就预训练模型, 其目的是将Fine-tuning的下游任务目标转换为Pre-training的任务.Prompt Tuning 是2021年谷歌在论文《The Power of Scale for Parameter-Efficient Prompt Tuning》中提出的微调方法，该方法基于T5模型(最大参数11B)
2025-01-15 18:09:30
931
原创 BiLSTM+CRF实现NLP中的NER任务
BiLSTM+CRF: 解决NER问题 实现方式: 从一段自然语言文本中找出相关实体，并标注出其位置以及类型。命名实体识别问题实际上是序列标注问题: 以中文分词任务进行举例, 例如输入序列是一串文字: “我是中国人”, 输出序列是一串标签: “OOBII”, 其中"BIO"组成了一种中文分词的标签体系: B表示这个字是词的开始, I表示词的中间到结尾, O表示其他类型词. 因此我们可以根据输出序列"OOBII"进行解码, 得到分词结果"我\是\中国人"。
2024-12-26 21:10:26
1491
原创 TransFormer介绍及框架搭建总结
随机将位置信息和词嵌入信息置为0掩码是遮盖权重矩阵:RNN逐时间步计算不可以并行操作, Transformer, 将词嵌入后的张量信息进行掩码操作, 方便并行操作. 一次将所有的词嵌入张量输入, 通过掩码的方式遮盖未来时间步的信息, 方便在解码器的第一个子层结构中并行在解码器第一个子层中使用forward_mask 或 subsquent_mask后续掩码在解码器第二个子层中使用padding_mask填充, 保持max_len。
2024-12-04 19:35:25
931
原创 深度学习中注意力机制介绍及seq2seq案例
它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时(来源相同并不是值相等), 称作自注意力计算规则；当Q、K、V不相等时称为一般注意力计算规则注意力机制是注意力计算规则能够应用的深度学习网络的载体, 同时包括一些必要的全连接层以及相关张量处理, 使其与应用网络融为一体. 使用自注意力计算规则的注意力机制称为自注意力机制.
2024-12-04 19:12:34
735
原创 循环神经网络及其变体:RNN, LSTM, GRU
根据反向传播算法和链式法则, 梯度的计算可以简化为以下公式其中sigmoid的导数值域是固定的, 在[0, 0.25]之间, 而一旦公式中的w也小于1, 那么通过这样的公式连乘后, 最终的梯度就会变得非常非常小, 这种现象称作梯度消失. 反之, 如果我们人为的增大w的值, 使其大于1, 那么连乘够就可能造成梯度过大, 称作梯度爆炸.梯度消失或爆炸的危害:如果在训练过程中发生了梯度消失，权重无法被更新，最终导致训练失败;
2024-11-27 21:07:30
1324
原创 自然语言处理基础之文本预处理
将一段文本使用张量进行表示，其中一般将词汇表示成向量，称作词向量，再由各个词向量按顺序组成矩阵形成文本表示.["人生", "该", "如何", "起头"] 一个词就是一个tocken==># 每个词对应矩阵中的一个向量, 整个张量表示为词表[[1.32, 4,32, 0,32, 5.2], # 一行就是一个词向量word2vec是一种流行的将词汇表示成向量的无监督训练方法, 该过程将构建神经网络模型, 将网络参数作为词汇的向量表示, 它包含CBOW和skipgram两种训练模式.
2024-11-27 21:00:33
1245
原创 深度学习-循环神经网络RNN
文本数据是具有序列特性的例如: "我爱你", 这串文本就是具有序列关系的，"爱" 需要在 "我" 之后，"你" 需要在 "爱" 之后, 如果颠倒了顺序，那么可能就会表达不同的意思。为了表示出数据的序列关系，需要使用循环神经网络(Recurrent Nearal Networks, RNN) 来对数据进行建模，RNN 是一个作用于处理带有序列特点的样本数据。
2024-11-20 18:42:14
1209
3
原创 深度学习-神经网络基础-网络搭建-损失函数-网络优化-正则化方法
init方法中定义网络中的层结构，主要是全连接层，并进行初始化,定义层forward方法，在实例化模型的时候，底层会自动调用该函数。该函数中可以定义学习率，为初始化定义的layer传入数据等。将各层连接定义继承自nn.Module的模型类在init方法中定义网络中的层结构在forward方法中定义数据传输方式前向传播：指的是数据输入的神经网络中，逐层向前传输，一直到运算到输出层为止。反向传播（利用损失函数 ERROR，从后往前，结合梯度下降算法，依次求各个参数的偏导，并进行参数更新。
2024-11-10 19:40:28
1266
原创 深度学习-神经网络基础-激活函数与参数初始化(weight, bias)
人工神经网络是一种模仿生物神经网络结构和功能的计算模型, 由神经元构成将神经元串联起来 -> 神经网络输入层: 数据输出层: 目标(加权和)隐藏层: 加权和 + 激活。
2024-11-09 21:06:16
1371
原创 深度学习-张量相关
torch.tensor() 根据指定数据创建张量torch.Tensor() 根据形状创建张量, 其也可用来创建指定数据的张量torch.IntTensor()、torch.FloatTensor()、torch.DoubleTensor() 创建指定类型的张量add、sub、mul、div、neg等函数add、sub、mul、div、neg_等函数reshape 函数可以在保证张量数据不变的前提下改变数据的维度squeeze 和 unsqueeze 函数可以用来增加或者减少维度。
2024-11-09 20:59:54
1373
原创 深度学习介绍
所有深度学习都是机器学习，但并非所有机器学习都是深度学习。深度学习的崛起源于其在处理特定类型的大数据问题上的卓越能力，尤其是那些传统机器学习算法难以处理的复杂问题。然而，对于某些任务和数据集，更简单的机器学习方法可能更加有效和适合。这种技术使用被称为“神经网络”的算法结构，这些结构灵感来源于人脑的神经元网络。深度学习中的“深度”指的是神经网络中层的数量，这些层是进行数据处理和学习的核心单元。在深度学习的过程中，每一层神经网络都对输入数据进行处理，从而学习到数据中的特征和模式。
2024-11-06 20:42:19
849
原创 深度学习-pytorch安装与基本使用
张量，英文为Tensor，是机器学习的基本构建模块，是以数字方式表示数据的形式。例如，图像可以表示为形状为的张量，这意味着，因为图像具有3颜色通道（红色、绿色、蓝色），高度为224像素，宽度为224像素。在张量语言（用于描述张量的语言）中，张量将具有三个维度，一个维度表示height和width。
2024-11-06 20:39:02
1371
原创 项目管理工具-git简介与使用
版本控制软件是一个用来记录文件变化， 以便将来查阅特定 版本修订情况的系统，因此有时也叫做“版本控制系统”。通俗的理解: 把手工管理文件版本的方式，改为由软件管理文件的版本；这个负责管理文件版本的软件，叫做“版本控制软件”。SVNGit: 分布式版本管理Git 是一个开源的分布式版本控制系统。目前世界上最先进 、最流行的版本控制系统可以快速高效地处理 从很小到非常大的项目版本管理。特点：项目越大越复杂，协同开发者越多，越能体现出 Git 的高性能和高可用性！
2024-10-30 19:28:30
1517
1
原创 机器学习篇-支持向量机SVM
1、下列关于SVM的描述错误的是？（单选题）A）它的全称为支撑向量机（SupportedVector Machine）B）它的主要任务是找到一个超平面将不同的样本划分开来C）硬间隔和软间隔都是SVM分割超平面中的一种D）SVM模型可以通过调小C参数的取值，来减少间隔违例答案解析： C值越小，间隔违例越多答案：D。
2024-10-17 12:11:36
1417
原创 机器学习篇-聚类Kmeans算法
无监督学习算法，主要用于将相似的样本自动归到一个类别中；计算样本和样本之间的相似性，一般使用欧式距离误差平方和SSE (The sum of squares due to error)SSE 越小，表示数据点越接近它们的中心，聚类效果越好# @FileName : 03-顾客数据分析.pyimport osos.environ["OMP_NUM_THREADS"] = '1' # 解决内存泄露警告。
2024-10-15 20:30:54
1472
原创 机器学习篇-朴素贝叶斯和特征降维
import jieba # 用来做分词from sklearn.naive_bayes import MultinomialNB # 贝叶斯模型from sklearn.feature_extraction.text import CountVectorizer # 词频统计# 数据获取data = pd.read_csv('data/书籍评价.csv', encoding='gbk')# 数据基本处理# 处理标签 好评 1 差评 0。
2024-10-14 19:49:25
1037
原创 机器学习篇-集成学习-随机森林 Adaboost GBDT XGBoost
多个弱学习器组合成一个更强大的学习器，解决单一预测，进步一得到更好性能。# 导包from sklearn.ensemble import RandomForestClassifier # 随即森丽分类# 定义随机森立函数# 数据读取# 数据基本处理# 确定特征和标签# print(x)# print(y)# 空值处理(填充)print(x)# 处理字符类型 数据# 数据划分x, y,stratify=y# 模型训练# 决策树模型。
2024-10-12 21:32:44
1945
原创 机器学习篇-ID3决策树 C4.5决策树 CART决策树-回归决策树 剪枝
决策树是一种树形结构，树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果, 根节点尤为重要.熵在信息论中代表随机变量不确定度的度量。熵越大，数据的不确定性度越高, 稳定性越低熵越小，数据的不确定性越低, 稳定性越高CART决策树(Classification and Regression Tree)Cart模型是一种决策树模型，它即可以用于分类，也可以用于回归。Cart回归树使用平方误差最小化策略，Cart分类生成树采用的基尼指数最小化策略。名称。
2024-10-11 19:47:17
1593
2
原创 机器学习篇-逻辑回归-分类评估-混淆矩阵-精确率-召回率-F1值
设模型中含有待估参数w，可以取很多值。已经知道了样本观测值，从w的一切可能值中（选出一个使该观察值出现的概率为最大的值，作为w参数的估计值，这就是极大似然估计。（顾名思义：就是看上去那个是最大可能的意思）# 导包# 1. 加载数据# 查看数据基本信息# 2. 数据处理# 2.1 用np.NaN替换?', np.NaN)# 2.2 删除缺失值, 按行删除data.dropna(inplace=True) # 默认按行删除 => axis=0 or index。
2024-10-09 20:35:58
1623
原创 机器学习篇-线性回归-正规方程与梯度下降-模型评估-正则化解决模型拟合问题
导包# 1. 准备数据# 训练集数据# 2. 创建 线性回归 模型对象# 3. 模型训练# 4. 模型评估(暂时略过)# 5. 模型预测# 查看模型参数, 即: 斜率(权重) 和 截距(偏置)print(f'斜率k(w): {estimator.coef_}') # [0.92942177]print(f'截距b: {estimator.intercept_}') # -93.27346938775514# 模型预测。
2024-10-08 21:24:47
1305
原创 机器学习篇-KNN算法实现鸢尾花模型和手写数字识别模型
一个样本最相似的k个样本中的大多数属于某一个类别, 则该样本也属于这个类别类似于: 近朱者赤近墨者黑回归机器建模流程:数据获取数据基本处理(空值和非法值)特征工程(特征提取, 特征预处理(归一化, 标准化), 特征降维, 特征选择, 特征组合)模型训练模型预测模型评估# 1. 定义函数 dm01_load_iris(), 用于加载 鸢尾花数据集, 并简单查看下数据集的各部分.# 1. 加载数据集.# 2. 打印iris_data, 发现其实是1个: 字典.。
2024-09-30 18:26:55
1910
原创 机器学习篇-机器学习相关概述
获取数据数据基本处理(缺失值, 非法值)特征工程(抽取专业词汇)(特征提取, 特征预处理, 特征降维, 选择, 合并)模型训练模型评估数据基本处理 和 特征工程最为耗时拟合：用来表示模型对样本点的拟合情况模型在训练集上表现很差、在测试集表现也很差原因：模型过于简单模型在训练集上表现很好、在测试集表现很差原因：模型太过于复杂、数据不纯、训练数据太少泛化：模型在新数据集（非训练数据）上的表现好坏的能力奥卡姆剃刀原则：给定两个具有相同泛化误差的模型，较简单的模型比较复杂的模型更可取。
2024-09-28 20:19:51
1407
原创 数据处理与统计分析篇-day11-RFM模型案例
会员价值度用来评估用户的价值情况，是区分会员价值的重要模型和参考依据，也是衡量不同营销效果的关键指标之一。价值度模型一般基于交易行为产生，衡量的是有实体转化价值的行为。常用的价值度模型是RFMRFM模型是根据会员最近一次购买时间R（Recency）购买频率F（Frequency）购买金额M（Monetary）计算得出RFM得分通过这3个维度来评估客户的订单活跃价值，常用来做客户分群或价值区分RFM模型基于一个固定时间点来做模型分析，不同时间计算的的RFM结果可能不一样。
2024-09-27 18:18:09
1772
原创 数据处理与统计分析篇-day11-Pandas绘图与Seaborn绘图
数据使用葡萄酒评论数据集，来自葡萄酒爱好者杂志，包含10个字段，150929行，每一行代表一款葡萄酒Seaborn是基于matplotlib的图形可视化python包。它提供了一种高度交互式界面，便于用户能够做出各种有吸引力的统计图表。Seaborn是在matplotlib的基础上进行了更高级的API封装，从而使得作图更加容易，在大多数情况下使用seaborn能做出很具有吸引力的图，而使用matplotlib就能制作具有更多特色的图。
2024-09-25 21:01:07
1300
原创 数据处理与统计分析篇-day10-Matplotlib数据可视化
pandasseabornMatplotlib提供了两种方法作图:状态接口和面向对象plt.rcParams['font.sans-serif'] = ['SimHei'] # 正常显示汉字plt.rcParams['axes.unicode_minus'] = False # 正常显示负号import os通过Anscombe数据集说明数据可视化的重要性Anscombe数据集由英国统计学家Frank Anscombe创建数据集包含4组数据，每组数据包含两个连续变量。
2024-09-24 15:31:28
1514
原创 数据处理与统计分析篇-day09-数据透视表与日期时间处理
pandas.pivot_table 比 pandas.DataFrame.pivot_table 多了一个参数data，data就是一个dataframe，实际上这两个函数相同和其它语言类似, Python内置了datetime对象，可以在datetime库中找到pandas的日期时间类型默认是 datetime64[ns]Pandas关于日期时间的数据 有如下几种数据类型TimeStamp 时间戳 就是一个时间点Datetime64 一列时间数据 →DatetimeIndex。
2024-09-24 13:08:58
1696
原创 数据处理与统计分析篇-day08-apply()自定义函数与分组操作
在SQL中我们经常使用 GROUP BY 将某个字段,按不同的取值进行分组,在pandas中也有groupby函数, 分组之后,每组都会有至少1条数据, 将这些数据进一步处理,返回单个值的过程就是聚合,比如分组之后计算算术平均值, 或者分组之后计算频数,都属于聚# 需求: 计算各个大洲的平均寿命# 方式1: 使用Pandas的mean()函数.# 方式2: 使用自定义函数, 计算平均值.# 1. 定义函数, 计算某列的平均值.# 某列平均值 = 该列元素和 / 该列元素个数。
2024-09-22 20:41:23
1238
原创 数据处理与统计分析篇-day07-Pandas数据拼接与空值处理
concat()函数既能实现行拼接(默认), 也能实现列拼接.行拼接参考: 列名, 列拼接参考: 索引列(行索引)格式: pd.concat([df1, df2, ...], ignore=是否重置索引, axis=行/列)默认: 满外连接, 即: 两个df的全集 + 交集格式:df.merge(df2, on='关联字段', how='连接方式', suffixes=(左表后缀, 右表后缀))参数:参1: 要被合并的df对象.
2024-09-20 20:59:14
1299
原创 数据处理与统计分析篇-day07-Pandas数据分析案例
tmp_df.house_num.plot(kind='bar', figsize=(20, 10)) # 柱状图, 宽高。# df.groupby('house_type')['view_num'].sum() # Series对象。df.groupby('house_type')[['view_num']].sum() # df对象。tmp_df.plot(kind='bar', figsize=(20, 10)) # 柱状图, 宽高。
2024-09-20 14:40:30
1201
原创 数据处理与统计分析篇-day05-Pandas详解
DataFrame是一个表格型的==结构化==数据结构，它含有一组或多组有序的列（Series），每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame是Pandas中最基本的数据结构，Series的许多属性和方法在DataFrame中也一样适用.
2024-09-19 13:20:36
1332
原创 数据处理与统计分析篇-day04-Numpy与Pandas-Series
NumPy数组是一个多维的数组对象（矩阵），称为具有矢量算术运算能力和复杂的广播能力，并具有执行速度快和节省空间的特点注意：ndarray的下标从0开始，且数组里的所有元素必须是相同类型。Series也是Pandas中的最基本的数据结构对象，下文中简称s对象；是DataFrame的列对象或者行对象，series本身也具有行索引。Series是一种类似于一维数组的对象，由下面两个部分组成：values：一组数据（numpy.ndarray类型）index：相关的数据行索引标签；
2024-09-18 21:20:34
1174
原创 数据处理与统计分析篇-day03-python数据分析介绍与环境搭建
Anaconda 是最流行的数据分析平台，全球两千多万人在使用Anaconda 附带了一大批常用数据科学包Anaconda 是在 conda（一个包管理器和环境管理器）上发展出来的可以帮助你在计算机上安装和管理数据分析相关包包含了虚拟环境管理工具。
2024-09-18 21:07:14
938
原创 数据处理与统计分析篇-day01-Linux基础与环境搭建
用户 操作 操作系统, 由操作系统 操作计算机硬件 来干活.它是在服务器端应用比较多的一款操作系统, 相对更加的稳定一点.日志主要是往磁盘中写的, 只会占用少量的内存, 相对更加稳定.作者林纳斯·托瓦兹吉祥物企鹅组成Linux的发行版 = Linux内核 + 系统库 + 系统软件常见的发行版:Ubantu: 乌班图, 界面做的比较好, 适合小白入门.RedHat: 小红帽, IBM公司的产品, 收费的.CentOS: IBM公司的产品, 可以理解为 小红帽的 阉割版.
2024-09-11 19:53:29
1900
原创 python进阶篇-day09-数据结构与算法(非线性结构与排序算法)
属于数据结构之 非线性结构的一种, 父节点可以有多个子节点(后续节点)时间复杂度: 最优O(n), 最差O(n²)遍历一遍发现没有任何元素发生了位置交换,终止排序算法稳定性:稳定算法算法稳定性: 不稳定算法时间复杂度: 最优: O(n²), 最差: O(n²)算法稳定性: 稳定算法时间复杂度: 最优: O(n) 最坏: O(n²)概述: 他是一种高效的查找类算法, 也叫: 折半查找细节: 要被查找的列表必须是有序的原理:获取列表的中间位置的元素, 然后和要查找的元素进行比较。
2024-09-09 20:30:29
1767
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人