Seeklike-优快云博客

原创 Transformer基础多头自注意力机制

本单词向其他单词发送询问Q Q=权重矩阵q X 本词的词向量q 其他单词回应 K K=权重矩阵k X 其他词的词向量k 得到阿尔法a=q点乘k 点乘的原理是查看两个向量的相似度。# **这样做的好处是能够让模型学习到相对位置信息**，因为这些函数对位置的偏移是可预测的。# **位置编码**：由于Transformer本身不具备处理序列顺序的能力，通过添加位置编码到输入序列，模型能够利用序列中元素的位置信息。# 原来一个词的位置只能一个位置表示现在分8个有8个位置了更方便找到合适的位置。

2025-02-08 17:17:36 890

原创 NLP 单双向RNN+LSTM+池化

out为隐藏状态hn是最后一次的隐藏状态cn为最后一次的细胞状态outputbatch_first=True，形状为(batch,seq_len,num_directions*hidden_size)#在LSTM网络中，初始化隐藏状态(h0)和细胞状态(c0)是一个重要的步骤，确保模型在处理序列数据时有一个合理的起始状态。x=self.fc(x[-1][-1].view(x.shape[0],-1))#取最后一次的隐藏状态当全连接的输出。

2025-01-20 14:04:39 585

原创初识NLP

清理好的文本进行one-hot编码然后在进行矩阵映射变成稠密的然后可以通道映射后的矩阵和映射方式找到原来的one-hot编码。# 深度学习使用分布式单词表示技术（也称词嵌入表示)，通过查看所使用的单词的周围单词(即上下文)# 特征嵌入，也成为词嵌入，是稠密编码的一种表现形式，目的是将离散的类别、对象或其他类型的特。# 使用nn建立词嵌入层传入词的种类数和每个词的特征维度。# 嵌入层传入种类数和每个词的特征数\。# 这里传的是没有去重的词获得没有去重的词组的下标。

2025-01-16 16:41:51 524

原创手把手教你如何修改YOLO11的模型结构（以CBAM和可变性卷积为例）

YOLO11修改模型结构

2024-12-30 17:18:35 4277 2

原创 12.16 深度学习-混合注意力CBAM

x1=torch.max(x,dim=1,keepdim=True)# 当 keepdim=True 时，计算均值后，输出张量将保持被约简的维度，但该维度的大小将为 1。也就是说，结果张量会保留原始张量的形状结构，只是被约简的维度变为 1。# 混合注意力机制（Hybrid Attention Mechanism）是一种结合空间和通道注意力的策略，旨在提高神经网络的特征提取能力。# CBAM是一种轻量级的注意力模块，它通过增加空间和通道两个维度的注意力，来提高模型的性能。# 在某个阶段先后加入通道和空间。

2024-12-16 19:10:05 554 1

原创 12.13 深度学习-空间注意力仿射变换STN

定义线性变换要输出 1,6的矩阵然后变为2,3的然后这个2,3的矩阵通过affine_grid变为一个仿射变换矩阵然后通过grid_sample 把数据和仿射变换矩阵完成仿射变换。# 就是对图像做一个仿射变换仿射变换的参数要去学习直接用nn.Linear()就行。# 两个线性层是根据图来的。# 这个仿射变换要加在模型最开始的地方。# 仿射变换的原理就是线性变换。

2024-12-13 20:02:35 643

原创 12.13 深度学习-卷积的注意力机制通道注意力SKNet

两个全连接然后两个全连接的结果堆叠在一起在0轴上做一个softmax 因为这两个全连接的softmax结果对应位置要分别+起来为一分别约束就是。self.fc=nn.Sequential(nn.Linear(inplanes,d),nn.ReLU()) # 线性有缩放因子。# softmax 不会改变原tensor的形状只是给tensor的值改为一个概率分布。# **Selective Kernel Networks** 可选择的卷积核尺寸。# 先并行做两个卷积 CHW不变。

2024-12-13 20:01:48 674

原创 12.12 深度学习-卷积的注意力机制-通道注意力SENet

把上层的特征图自动卷积为 1X1的通道数不变的特征图然后给每一个通道乘一个权重就分配了各个通道的注意力把这个与原图残差回去与原图融合这样对比原图来说形状 CHW都没变。# 可以把SE模块加入到经典的CNN模型里面有残差模块的在残差模块后面加入SE 残差模块的输出当SE模块的输入。# 在卷积后的数据与原数据相加之前把卷积的数据和依靠卷积后的数据产生的SE模块的数据相乘然后再与原数据相加。# 对全局平均池化后的结果赋予每个通道的权重不选择最大池化因为不是在突出最大的特征。

2024-12-12 19:14:23 2138

原创 12.09 深度学习-经典神经网络LeNets5

c3_out_total=torch.empty(x.shape[0],0,x.shape[2]-4,x.shape[3]-4) # 通道数为0 size 减4个要在通道上面拼接卷积完后形状减了4。# # LeNets5 网络C3层的特殊处理每个输出通道的输入通道不一样输入的通道数是一样的使用列表推导式创建6个(3,1,kernel_size=5)的卷积核。# # C3层传入上层输出的NCHW为 1 6 28 28 C3层每一个小层传入 012,123,234,345。

2024-12-10 09:05:36 944

原创 12.06 深度学习-预训练

冻结层的使用现在这个模型net1 只有fc需要进行训练其他层都训练好了给其他层冻结了只训练fc层 model.parameters()返回model的每一层权重和偏置的tensor 的迭代器可以遍历它 named_parameters多返回一个名字。# resnet18 有一个1000分类的预训练数据这个数据拿过来改把resnet18模型的线性层改为10分类然后再把1000分类的预训练数据初始化给这个模型进行再训练。def demo2(): # 用训练的模型对图片进行分类。

2024-12-06 18:28:31 502

原创 12.05 深度学习-验证结果可视化

10分类的验证结果做一个DF 行为一条记录列名为分类名和预测的结果这一个类的概率预测结果和实际结果这样可以跟直观的观察每一个验证过程。# 报表模块的使用 sklearn 里面的 metrics 的 classification_report 生成准确度精确度召回率 F1分数。# 召回率真的正向/全部的真值为正向的 TP/(TP+FN) (TP+FN)是本来是正向的被预测是正向或者负向。# 精确度真的正向/预测是正向 TP/(TP+FP)# 生成混淆矩阵使用。

2024-12-05 19:00:29 359

原创 12.04 深度学习-用CNN做图像分类+训练可视化

transforms1=transforms.Compose([transforms.ToTensor(),transforms.Resize((32,32))]) # transforms.Compose（）方法为transforms组合转化器里面传入一个列表列表里面的元素是 transforms的转化器。# "architecture": "CNN", # 模型是CNN。# "dataset": "MNIST", # 数据集名称。# "epochs": 5,# 轮次。

2024-12-04 20:03:52 507

原创 12.03 深度学习-池化+卷积扩展+感受野

设置卷积层的时候加一个传入一个参数dilation=N 表示两个卷积核每一个格子之间空N一1格当N=1时相当于普通的卷积当膨胀卷积核跟传入的数据大小相同时逻辑上相当于全连接卷积核大小增加了 N-1。# 深度可分离卷积每一个通道先用一个卷积核卷积得到数量为通道数的没有通道融合的特征图然后再用1*通道数的卷积核去按照一个通道的一叠卷积然后得到一张特征图（卷积核参数少了规格少了）# 在分组卷积中，卷积核被分成不同的组，每组负责对相应的输入层进行卷积计算，最后再进行合并。

2024-12-03 18:39:56 486

原创 12.02 深度学习-卷积

conv=nn.Conv2d(in_channels=3,out_channels=1,kernel_size=3,stride=1,padding=0) # 传入输入图像的通道数和输出的特征图数量卷积核大小步长（卷积核移动的规格）填充。# 如果一个四通道的卷积核核大小为3 且有偏置如果输出32和特征图那么有 32*4*3*3+32 个参数特征图数量*每个卷积核的通道数 *卷积核的规格 +偏置数每一个卷积核对应1个偏置。更重要的，边缘填充还更好的保护了图像边缘数据的特征。

2024-12-02 19:21:29 513

原创 11.29 深度学习-批量标准化

- **类似于正则化**：虽然 BN 不是一种传统的正则化方法，但它通过对每个批次的数据进行标准化，可以起到一定的正则化作用。# - **避免对单一数据点的过度拟合**：BN 强制模型在每个批次上进行标准化处理，减少了模型对单个训练样本的依赖。# 在推理阶段，批量标准化使用的是训练过程中计算得到的全局均值和方差，而不是当前批次的数据。# 注意：BN 层不会改变输入数据的维度，只改变输入数据的的分布. 在实际使用过程中，BN 常常和卷积神经网络结合使用，卷积层的输出结果后接 BN 层。

2024-12-02 08:44:23 424

原创 11.28 深度学习-梯度下降优化

在梯度更新中为之前的梯度和本次梯度的关系本次梯度为历史梯度和本次梯度的关系本次梯度=历史梯度的权重*历史梯度+ 本地梯度的权重*本地梯度权重为负关系历史梯度的权重越大平均数越平缓。# - 自适应学习率：由于每个参数的学习率是基于其梯度的累积平方和来动态调整的，这意味着学习率会随着时间步的增加而减少，对梯度较大且变化频繁的方向非常有用，防止了梯度过大导致的震荡。# 当处于鞍点位置时，由于当前的梯度为 0，参数无法更新。# 而参数具有较小的历史梯度的学习率保持较大，从而实现更有效的学习。

2024-11-29 09:10:45 909

原创 11.27 深度学习-损失函数+BP算法

误差反向传播算法（Back Propagation）是其中最杰出的代表，它是目前最成功的神经网络学习算法。# 大多是在使用 BP 算法进行训练，值得指出的是 BP 算法不仅可用于多层前馈神经网络，还可以用于其他类型的神经网络。# 每一层都有自己的损失函数和W 每一层都可以做w新=w旧-lr*g 求每一层的w的时候上面层的w都是知道的所以求这一层的导函数就行链式到输入层。# MAE通常用于需要对误差进行线性度量的情况，尤其是当数据中可能存在异常值时，MAE可以避免对异常值的过度惩罚。

2024-11-27 19:13:02 1143

原创 11.26 深度学习-初始化

- 激活函数（Activation Function）: 用于将加权求和后的结果转换为输出结果，**引入非线性特性，使神经网络能够处理复杂的任务**。# 全连接（Fully Connected，FC）神经网络是**前馈神经网络**的一种，每一层的神经元与上一层的所有神经元全连接，常用于图像分类、文本分类等任务。# **优点**：平衡了输入和输出的方差，适合$$Sigmoid$$ 和 $$Tanh$$ 激活函数。# - **输入层（Input）**: 神经网络的第一层，负责接收外部数据，不进行计算。

2024-11-26 17:20:02 644

原创 11.26 深度学习-激活函数

神经元死亡：由于$$ReLU$$在$$x≤0$$时输出为$$0$$，如果某个神经元输入值是负，那么该神经元将永远不再激活，成为“死亡”神经元。# 数值不稳定性：在计算过程中，如果$$z_i$$的数值过大，$$e^{z_i}$$可能会导致数值溢出。# 1. 输出范围: 将输入映射到$$(-1, 1)$$之间，因此输出是零中心的。# 突出差异：$$Softmax$$会放大差异，使得概率最大的类别的输出值更接近$$1$$，而其他类别更接近$$0$$ 不会出现两个概率接近的情况。

2024-11-26 17:18:56 541

原创 11.25 深度学习-pytorch模型组件

sgd=optim.SGD(model1.parameters(),lr=0.01) # model1.parameters()能够返回模型的参数（初始化的W和预测的值）传给optim.SGD 这里相当于做梯度下降的。model1=nn.Linear(4,1) # 代表 w1+w2+w3+w4=y 输出的是y的值这个会自动初始化W 只是看不到相当于初始化了W 并且算了一个值为预测的值不是真实的值。# 然后使用 torch.utils.data.DataLoader 去小批次训练。

2024-11-25 19:52:37 969

原创 11.22 深度学习-pytorch自动微分

使用tensor.backward() 求tensor的导数值会先求 tensor的导函数然后带入值这个tensor 是关于另一个tensor的表达式原来的tensor是一组数据浮点型这个tensor是一个函数。# y.backward()的时候相当于把y 表达式的导函数求出来存在y的一个属性里面然后再把y表达式中的变量的值传进来计算导数再返回给变量的grad属性里面。print(t1.grad) # 返回的是原向量每一个元素的梯度是一个跟原来向量size一样的tensor。

2024-11-22 16:34:26 797

原创 11.21 深度学习-tensor常见操作

torch.cat（）传参：第一个数组里面是要拼接的tensor 第二个 dim 拼接的轴注意拼接的轴另一个轴的数据量要一样拼接的轴数据量可以不一样。换句话说，它在现有的维度上将多个张量连接在一起。# reshape torch 的方法改玩后的形状的元素个数要跟原来的一样比如原来是10*10 改完后的元素个数必须为100 返回新的tensor。# 就是矩阵乘法的意思第一个矩阵列数和第二个矩阵的行数要相同结果矩阵的形状为(第一个矩阵的行，第二个矩阵的列)

2024-11-21 17:20:57 677

原创 11.20 深度学习-tensor数据转换

tensor 转numpy 直接调用tensor.numpy()方法这个方法两个的数据是通的改一个另一个也变浅拷贝。# Image格式不固定看读的什么图片很多情况下是4个通道的通道*高*宽通道跑前面去了所以最外面一层是一个通道的值。# cv2是 BGR格式通道数为3 cv2矩阵是高*宽*通道的格式最后一层就是一个像素点的通道的值。# 两种方式一种是 cv2.imread()出来的np数组 np数组这么转他就怎么转转回来也是。# tensor转numpy。

2024-11-20 20:08:56 415

原创 11.20 深度学习-pytorch包和属性的基础语法

创建的时候也可以传入参数 dtype 如果数据超出范围会自动变为最大范围的余数设置tensor数据类型 tensor数据类型有..... 都是torch里面的数据类型int8.....跟numpy类似。t1=torch.tensor(5) # 一阶张量阶数看你传入的矩阵是多少阶的这个是标量不是一阶一阶要加[] 加了[]才是多少阶。# 也可以使用 tensor.to("cpu") tensor.to("cuda") 返回一个新的运行在新设备上的tensor。

2024-11-20 20:08:14 556

原创 11.19 机器学习-岭回归+拉索回归+逻辑回归

在原来的均方差函数的基础上加一个各个W的曼哈顿距离这样让均方差最小的同时还要让各个W之间的距离变小也就是 w的值要小变相实现了减小w的值但准确率肯定降了。# 在原来的均方差函数的基础上加一个各个W的欧式距离这样让均方差最小的同时还要让各个W之间的距离变小也就是 w的值要小变相实现了减小w的值但准确率肯定降了。如果更新后的系数向量减去之前的系数向量的无穷范数除以 1 加上更新后的系数向量的无穷范数小于 tol，则认为收敛。如果为数组，则使用提供的 Gram 矩阵。

2024-11-19 16:55:40 1189

原创 11.19 机器学习-梯度下降

- **Batch Gradient Descent (BGD)**: 在这种情况下，每一次迭代都会使用全部的训练样本**计算梯度**来更新权重。# 首先要初始化一个W 即选择一个起点然后变大或者变小带入导函数导函数的值为负数就要增大此时的点肯定在极小值的左边为正数要变小此时在极小值的右边最后导函数的值越来越靠近0。# 求出损失函数然后一点点的调整W的值使得损失函数的值变小多个W的话随机生成一组成正太分布的数值w_0,w_1,w_2....w_n,这个随机是成正太分布的(高斯说的)

2024-11-19 16:54:20 846

原创 11.18 机器学习-线性回归(重点)-最小二乘法

线性回归是机器学习中一种**有监督学习**的算法,**回归问题**主要关注的是**因变量**(需要预测的值)和一个或多个数值型的**自变量**(预测变量)之间的关系.# 1. **可测量性**：连续型数据通常来源于物理测量，如长度、重量、温度、时间等，这些量是可以精确测量的。# - **描述性统计**：计算均值、中位数、众数、标准差、四分位数等，以了解数据的中心趋势和分布情况。# 3. **多样性**：标称数据可以有很多不同的类别，具体取决于研究的主题或数据收集的目的。

2024-11-18 15:56:42 514

原创 11.15 机器学习-集成学习方法-随机森林

机器学习中有一种大类叫**集成学习**（Ensemble Learning），集成学习的基本思想就是将多个分类器组合，从而实现一个预测效果更好的集成分类器。# 就是把多个分类器组合起来用每个分类器都从训练集里面拿一部分（有放回的）数据进行训练最后得到了很多个模型组成的一个集成模型各个模型拿的数据集可能有重合部分。# **随机森林**就属于集成学习,是通过构建一个包含多个决策树(通常称为基学习器或弱学习器)的森林，每棵树都在不同的数据子集和特征子集上进行训练，# 三个臭皮匠，赛过诸葛亮。

2024-11-15 16:55:10 462

原创 11.14 机器学习-朴素贝叶斯+决策树算法

P(X1,X2,X3,X4,X5|A)=P(X1|A)*P(X2|A)*P(X3|A)*P(X4|A)*P(X5|A)*P(A)/(P(X1)*P(X2)*P(X3)*P(X4)*P(X5)) #这个式字就可以用数据集计算出来了。# 朴素贝叶斯假设各个特征之间全部独立 P(A*B*C*D*E)=P(A)*P(B)*P(C)*P(D)*P(E)x["sex"] = x["sex"].map({"female": 1, "male": 0}) #方式1。信息熵的值越小，则D的纯度越高。

2024-11-14 18:51:54 858 2

原创 11.13 机器学习-KNN算法+模型选择与调优+网格搜索

比如: 有10000个样本,选出7个到样本A的距离最近的,然后这7个样本中假设:类别1有2个,类别2有3个,类别3有2个.那么就认为A样本属于类别2,因为它的7个邻居中类别2最多(近朱者赤近墨者黑)# 使用工具的split方法分割传入x，y 返回的是一个迭代器 for循环迭代器每次的结果一个元组里面是train数据的下标和test数据的下标。# 比如说：原始数据有3类，比例为1:2:1，采用3折分层交叉验证，那么划分的3折中，每一折中的数据类别保持着1:2:1的比例，这样的验证结果更加可信。

2024-11-13 16:42:22 2088

原创 11.12 机器学习-特征工程

data=data = [{'city':'成都', 'age':30, 'temperature':200}, {'city':'重庆','age':33, 'temperature':60}, {'city':'北京', 'age':42, 'temperature':80}]所以常使用标准化的无量钢化。IDF的计算公式为总文档数除以包含该词的文档数的对数。# 词频(Term Frequency, TF), 表示一个词在当前篇文章中的重要性列表中的一个文档中某个词语出现的次数/文档的词语总数。

2024-11-12 19:25:57 878

空空如也

空空如也