- 博客(96)
- 收藏
- 关注
RSS订阅原创 【NLP】深入浅出Transform(上)原理部分
由于没有了编码器-解码器注意力层，因此原本依赖于编码器-解码器注意力层完成的整套训练和运算流程也都不再有效了，相对的，在Decoder-only结构中的Decoder大部分时候都采用“自回归”的训练流程——自回归流程在时间序列预测中是一种常用的方法，它逐步生成未来的值，每一步的预测依赖于前一步的实际值或预测值。在机器翻译中，会考虑到原始语言系列中的样本对于新生成的序列中有多大的影响，因此计算的是原始序列的样本之于新序列的重要程度。计算样本与样本之间的相关性，本质就是计算向量与向量之间的相关性。
2025-12-23 17:08:54
943
原创 【NLP】one-hot到word2vec发展路线
对于L来说，计算L，对于一对(vt，vc)来说，需要计算b次点积(b是词向量的特征个数：n-dim)，复杂度为O(b)，对于一对(vt，vc)来说，需要计算k个负样本的概率值，也就是计算k次，总时间复杂度为O(kd)—>O(1)。但是此时的Lbound下界是一个得分，但我们最终要计算的是一个概率，那就需要给这个L得分套上一个sigmoid激活函数，再取对数值，起到一个放大差异的作用，最终我们需要有一个可收敛的目标，即给概率值加一个负号，由此可以得到0是我们最终要靠近的目标值。
2025-12-08 18:01:32
915
原创 【NLP】手撕RNN网络+RNN情感分类任务+RNN生成式任务
重点了解正向传播中的递归中的数据流向，反向传播的梯度更新。输入数据格式为:(seq_len, batch_size, input_dim) 。二、RNN情感分类任务情感分类(Sentiment Classification)，是自然语言处理(NLP)中的一个经典任务，旨在对文本进行情感分类，通常包括将文本氛围“正面”、“负面”或“中性”等情感类别。IMDb数据集是情感分类任务的著名数据集，包含来自电影评论的文本数据，并标记为正面或负面情感，因此可以用于训练和评估情感分类模型。IMDb数据集的主要特点：手
2025-11-24 19:25:34
759
原创 【NLP】基础概念+RNN架构
本文概述了NLP（自然语言处理）的发展历程及其在人工智能领域的重要性。文章指出，认知智能是人工智能的终极目标，而NLP是实现人机同频交流的关键。从早期的规则驱动方法到如今的Transformer架构和大语言模型（LLMs），NLP经历了探索、提升和应用三大阶段。当前大模型时代的核心方向包括研发训练技术、降低成本以及商业应用落地。NLP不仅在学术界持续繁荣，也在工业界催生了大量创新产品，深刻改变了人工智能的发展格局。
2025-11-23 17:34:50
700
原创 【pytorch图像视觉】lesson17(上)数据篇：认识经典数据+使用自己的数据/图片创造数据集+图片数据的基本与处理与数据增强
内容来源于【菜菜&九天深度学习实战课程】上班以后时间少，为了提高效率，通过抄课件的方式加深记忆，而非听课。所以所有笔记仅仅是学习工具，并非抄袭！在传统机器学习中，通常会区分有监督、无监督、分类、回归、聚类等人物类别，在不同的任务重会指向不同形式的标签、不同的评估指标、不同的损失函数，这些内容会影响我们的训练和建模流程。在深度视觉以外，除了区分“回归、分类”之外，还需要区分众多的、视觉应用类别。
2025-04-13 17:06:19
1267
原创 【python开发】必备SQL和表关系及授权
在上述表中，一对多的info.depart_id字段、多对多的boy_girl.boy_id、boy_girl.girl_id直接用整型存储就可以，因为他们只要存储关联表的主键ID即可。在开发中往往还会为他们添加一个外键约束，保证某一个列的值必须是其他表中的特定列已存在的值，例如: info.depart_id的值必须是depart.id中已存在的值。增加一个v3字段，当depart_id=1时，v1字段的值为第一部门，当depart_id=2时，为第二部门，else为“其他”；
2024-04-15 17:31:45
1710
原创 【python开发】安装&配置&启动+数据库管理+表管理+数据行管理+python操作Mysql及相关安全的问题
安装好之后打开终端，输入which mysql，回车查看mysql安装路径/usr/local/mysql/bin/mysql，然后输入/usr/local/mysql/bin，进入到mysql中，输入mysql -u root -p，弹出输入密码的提示，然后输入mysql密码，这就已经启动了mysql。如果需要启动mysql，只需要打开终端输入mysql -u root -p，如果不使用mysql了就可以输入exit退出系统。（3）重庆之后无需密码就可登陆 mysql -u -root -p;
2024-03-22 14:15:37
2799
原创 【python开发】Mysql功能作用+数据库管理系统的种类+学习路线
数据库管理系统（DBMS）专注于帮助开发者解决数据存储的问题，这样开发者就可以把主要精力放在实现业务功能上了。也可以将程序和数据库管理系统拆开放在不同的电脑上。可以在同一个电脑上安装程序和数据库管理系统。
2024-03-21 14:05:20
542
原创 【python开发】并发编程（下）
passp1.start()也可以把多进程放在函数里，用main函数来运行。passdef run():p.start()run()fork：可以拷贝几乎所有资源，支持文件对象/线程锁等传参，unix系统适用，任意位置开始；spwan：run参数必备资源，不支持文件对象/线程锁等传参，unix、win适用，main代码模块开始；forkserver：run参数必备资源，不支持文件对象/线程锁等传参，部分unix适用，main代码模块开始。
2024-03-18 11:57:12
1130
原创 【python开发】并发编程（上）
进程是计算机资源分配的最小单元（进程为线程提供资源）。一个进程中可以有多个线程，同一个进程中的线程可以共享次过程中的资源。一个进程中可以有多个线程，同一个进程中的线程可以共享此进程中的资源。’:主方法，为什么不能跟多线程一样用for循环来实现（会报错），因为Linux系统只能支持fork，win系统可以只是spawn，mac支持fork和spwan（python3.8默认设置spawn）。当然，在程序开发中多线程和多进程可以结合使用，例如创建两个进程（进程个数和CPU个数相同），每个进程中创建3个线程。
2024-03-13 11:58:15
1184
原创 【python开发】网络编程（下）
用户数据协议，是一个无连接的简单的面向数据包的传输层协议，客户端和服务端不需要提前建立连接，客户端可以直接向服务端发送数据即可。）传输控制协议，是面向连接的协议，也就是说在收发数据之前，必须和对方建立可靠的连接，然后再收发数据，这种情况下会确保客户端收到服务端的信息，如果未收到“已经接受到”的信息，服务端会再次发送信息。在电脑和电脑之间进行数据传输时，往往将数据包装为7层，分别为数据层、应用层、表示层、会话层、传输层、网络层、数据链路层、物理层。协议：规定 连接、收发数据的一些规定。
2024-03-05 09:59:37
487
原创 【python开发】网络编程（上）
交换机在局域网内，通过广播的形式实现了电脑的通信：当2号电脑给3号电脑发消息时，电脑会打包一个数据信息，包括头部信息和发送数据，其中，头部信息包括了本机IP和mac地址以及目标机台的IP和mac地址，信息包传递到交换机上，交换机会以广播的形式传送给每天机器，所有的电脑就会进行校验，查看该信息包是否是传送给自己的，当目标机器3号收到信息时，也会给2号信息传递一个已经收到的信息，同样是通过交换机以广播的形式进行传递。所以不同的局域网之间传递信息，将通过网关检查网段是否正确，然后通过交换机传递到目标电脑上。
2024-03-01 17:36:08
1179
原创 【python开发】面向对象高级和应用
根据上下述代码可以看出来，Foo类的父类是Base和Bar，先找到Base的父类中的message方法，执行该方法，由于有super方法，所以会向上找Base父类的message方法，但是由于这里的self是Foo（）方法的实例对象，因此会向Foo（）父类中找，Base方法没有，Bar方法中有message，于是继续调用Bar中的message方法。：假设有一个类，他原本已经实现了某些功能，但我们想在原有代码基础上实现某些功能，此时就不必再次重写代码，只需要使用super（）方法调用上游方法。
2024-02-26 18:08:10
1000
原创 【python全栈开发】面向对象进阶
当Base父类中的country变成“泰国”、Person类中的country变成“美国”时，调用P2实例对象的country时会找到类变量，答案为“美国”，只有调用Base类的变量country时，才会出现“泰国”。通常来说，调用的变量不是对象变量时，就会去对应的类中找类变量，如果类变量中仍然不存在，就会向上去父类中寻找变量。类变量：属于类，可以被所有对象共享，一般用于给对象提供公共数据（类似于全局变量）。实例变量：属于对象，每个对象中各自维护自己的数据。
2024-02-19 17:54:15
368
原创 【python全栈式开发】面向对象
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2024-02-18 10:44:04
705
原创 NLP_learning 中文基本任务与处理（分词、停用词、词性标注、语句依存分析、关键词抽取、命名实体识别）介绍、jieba工具库
很多时候我们需要针对自己的场景进行分词，有一些领域内的专用词汇出现可以使用jieba.load_userdict(filename)加载用户字典；少量词汇可以自己用下面方法手动添加：·用add_word(word, freq=None, tag=None)和del_word(word)在程序中动态修改词典·用suggest_freq(segment, tune=True)可调节单个词语的词频，使其能（不能）被分出来。
2022-12-08 17:57:15
3773
原创 NLP_learning 导论：自然语言处理概述+基本文本处理操作+python正则表达式
自然语言处理（Natural Language Processing）简称NLP，是一种利用计算机为工具对人类特有的书面形式和口语形式的自然语言的信息进行各种类型处理和加工的技术。
2022-11-27 20:23:26
2214
原创 deepwalk&node2vec 代码实战
将节点表示为低维、连续、稠密的向量表示。隐式向量embedding中包含了graph中的社群、连接和结构信息，可用于后续节点分类等下游任务。
2022-10-27 22:07:22
2660
原创 Graph_convolution_深度学习基础_利用mnist数据集实现mlp/cnn和自编码器
深度学习基础，利用mnist数据实现前反馈神经网络、卷积神经网络和自编码神经网络
2022-10-14 10:27:18
924
原创 pytorch_lesson16.2 架构对学习/鲁棒性的影响(VGG16复现+感受野+平移不变性)+架构对参数量的影响(1*1卷积核+分组卷积与深度分离卷积+NiN网络复现）
卷积神经网络经典架构VGG16复现
2022-06-05 21:51:05
747
原创 pytorch_lesson16.1 OpenCV索贝尔算子/拉普拉斯算子调用+pytorch中构建cnn+复现经典模型(LeNet5+AlexNet)
cnn入门级学习笔记
2022-06-02 17:15:07
1154
原创 pytroch_lesson15.2 学习率调度在pytorch中的实现方法（state_dict的使用+模型的保存和读取+LambdaLR学习率调度实验）
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、优化器与状态字典（state_dict）state_dict模型本地保存与读取方法二、LambdaLR基本使用方法三、LambdaLR学习率调度实验1.前期准备2.构建新的lambda函数3.模型训练与结果比较对比恒定学习率为0.03时模型训练结果对比恒定学习率为0.01时模型训练结果对比Lesson 15.1节中学习率调度模型结语前言学习率调度作为模型优化的重要方法，.
2022-05-31 20:39:01
1485
原创 pytorch_lesson15.1 学习率调度基本概念与手动实现学习率调整+常用学习率调度思路
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、学习率对模型训练影响二、学习率调度基本概念与手动实现方法1.模型调度基本概念2.手动实现学习率调度前言学习率作为模型优化的重要超参数，在此前的学习中，我们已经看到了学习率的调整对模型训练在诸多方面的显著影响。这里我们先简单回顾此前遇到的学习率调整的场景：·缓解Dead ReLU Problem：在ReLU激活函数叠加的神经网络中，由于ReLU本身负值归零的特性，可能会.
2022-05-26 22:27:23
680
原创 pytorch_lesson14 Batch Normalization基础及实现(nn.BatchNorm+model.train/eval()+running_mean/var)
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、 数据归一化与Batch Normalization理论基础（一）、经典机器学习的归一化算法1.经典机器学习归一化方法回顾1.1 0-1标准化方法1.2 Z-Score标准化2.经典机器学习归一化算法在深度学习中的实践- 在训练集上训练，测试集上测试- Z-Score建模实验3.Z-Score数据归一化的局限3.1 Zero-Centered特性消失（二）Batch Norm.
2022-05-26 18:53:49
537
原创 pytorch_lesson13.5 Xavier方法与kaiming方法（HE初始化）解决激活函数sigmoid or tanh/relu梯度不均匀的问题
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、Xavier方法1.Xavier初始化参数方法基础理论前言本部分内容介绍的是：参数初始化优化方法，也就是针对tanh和Sigmoid激活函数的Xavier方法，以及针对ReLU激活函数的Kaiming方法（HE初始化）。一、Xavier方法1.Xavier初始化参数方法基础理论回顾Glorot条件，我们要求正向传播时候数据流经每一层前后的方差一致，并且反向传播时.
2022-05-25 12:17:37
2850
原创 pytorch_lesson13.4 Dead ReLU Problem成因分析+通过调整学习率来缓解+Relu特性理解+nn.Sequential建模方式以及参数自定义方法
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、Dead ReLU Problem成因分析1.Dead ReLU Problem直接表现2.Dead ReLU Problem成因分析2.1 Dead ReLU Problem基本判别2.2 Dead ReLU Problem发生概率二、通过调整学习率缓解Dead ReLU Problem三、ReLU激活函数特性理解前言和Sigmoid、tanh激活函数不同，ReLU激.
2022-05-24 15:03:25
1233
原创 pytorch_lesson 13.3 梯度不平稳性(sigmoid梯度消失的问题+tanh梯度消失或梯度爆炸的问题)与Glorot条件
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、梯度消失与梯度爆炸二、Sigmoid和tanh激活函数的梯度更新问题理论说明Sigmoid函数饱和区间Sigmoid激活函数叠加后的梯度消失问题前言模型病灶与模型调优。实际上模型优化更像是对“患病”的模型进行诊断、然后对症下药，通过这些“治疗”方法，最终让模型运行恢复正常且健康的状态，并得出较好的模型预测结果。尽管优化方法就像一种种药品，各自都标注了适用的病症，但深度学.
2022-05-22 23:48:05
1777
原创 pytorch_lesson13.2 模型拟合度概念介绍+模型欠拟合实例+单隐藏层激活函数性能比较+相同激活函数不同隐藏层数结果对比+神经网络结构选择策略
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、模型拟合度概念介绍与实验1.测试集的“不可知”悖论2.模型拟合度概念与实验前言一、模型拟合度概念介绍与实验1.测试集的“不可知”悖论机器学习模型主要通过模型在测试集上的运行效果来判断模型好坏，测试集相当于是“高考”，而此前的模型训练都相当于是在练习，但怎么样的练习才能有效的提高高考成绩，这里就存在一个“悖论”，那就是练习是为了高考，而在高考前我们永远不知道练习是否.
2022-05-22 20:38:41
908
原创 pytorch_lesson13.1 机器学习的目标与模型评估方法+手动实现数据集切分+手动实现tensordataset并进行模型评估
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltim.
2022-05-18 14:56:17
1009
原创 pytorch_lesson12 手动实现和模型实现线性回归、逻辑回归（本质是二分类）、多分类预测
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、深度学习建模实验中数据集创建函数的创建与使用1、 创建回归类数据函数生成线性相关数据y=2x1- x2 + b + 扰动项生成非线性的数据集，y =w x ** 2 + b +扰动项创建回归数据生成函数分类数据集创建方法手动实现一个三分类数据集二、PyTorch深度学习建模可视化工具TensorBoard的安装与使用三、深度学习基础模型建模实验1、线性回归建模实验2、逻辑回.
2022-05-16 19:15:02
768
原创 pytorch_lesson11 梯度向量的方向和大小+反向传播的意义与实现+动量法及实现+batch_size和epoch+在MINST-FASHION上实现神经网络的学习流程
仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录一、梯度下降中的两个关键问题1、 找出梯度向量的方向和大小2、让坐标点移动起来（进行一次迭代）一、梯度下降中的两个关键问题1、 找出梯度向量的方向和大小2、让坐标点移动起来（进行一次迭代）...
2022-05-14 16:21:44
462
原创 pytorch_lesson10 二分类交叉熵损失函数及调用+多分类交叉熵损失函数及调用
注：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录一、机器学习中的优化思想二、回归：误差平方和SSE三、二分类交叉熵损失函数1 极大似然估计求解二分类交叉熵损失2 用tensor实现二分类交叉熵损失3 用PyTorch中的类实现二分类交叉熵损失四、多分类交叉熵损失函数一、机器学习中的优化思想模型训练的目标：求解一组最适合的权重向量，令神经网络的输出结果与真实值尽量接近。关键概念：损失函数是可以衡量真实值与预测结果的差异，评价模.
2022-05-13 20:13:42
7933
原创 pytorch_lesson9 深层神经网络（从异或门了解多层神经网络的非线性预测+深度神经网络的不可预测+从0实现神经网络的正向传播）
注：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！
2022-05-12 12:03:42
662
原创 pytorch_lesson8 单层线性回归+二分类逻辑回归+多分类softmax
***注：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要无解！纯属学习记录笔记！！！！！！***笔记来源：菜菜和九天老师的深度学习pytorch课程文章目录一、单层回归网络：线性回归1、单层回归网络的理论基础2 tensor实现单层神经网络的正向传播3 tensor新手陷阱tensor计算中的第一大坑：PyTorch的静态性tensor计算中的第二大坑：精度问题4 torch.nn.Linear实现单层回归神经网络的正向传播二、二分类神经网络：逻辑回归1 二分类神经网络的理论基础
2022-05-11 18:03:07
752
原创 pytorch_lesson6 动态计算图与梯度下降（AutoGrad回溯机制与动态计算图+反向传播与梯度计算+下降基本思想）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、AutoGrad的回溯机制与动态计算图1.可微分性相关属性requires_grad属性：可微分性grad_fn属性：存储Tensor微分函数2.张量计算图计算图的定义节点类型3.计算图的动态性二、反向传播与梯度计算2.反向传播运算注意事项中间节点反向传播和输出节点反向传播区别中间节点的梯度保存一、AutoGrad的回溯机制与动态计算图1.可微分性相关属性requires_grad属性：可微分性#构建可微分张量x .
2022-05-11 12:59:42
650
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人