- 博客(49)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 3.4-GRU
对比了LSTM和GRU的网络结构；实现了GRU的前向传播和反向传播；实现了Time GRU层；基于PTB数据集，对GRU网络进行训练；将在LSTM网络上改进的内容应用到GRU网络上来。
2024-07-26 21:48:17
890
原创 3.1-RNN存在的问题以及LSTM的结构
阐述了RNN存在的梯度消失和梯度爆炸问题；引入LSTM，说明了LSTM的遗忘门、输入门、输出门、新增记忆单元的结构；以及为什么LSTM能够缓解梯度消失从而实现长期记住短期记忆
2024-07-18 15:15:37
891
原创 2.3-基于RNN的语言模型的学习与评价
使用RNN来对语言模型进行建模的代码实现，包括初始化、前向传播和反向传播；介绍语言模型的评价指标——困惑度指标；并在PTB数据集上实现了RNN对语言模型的初步建模。
2024-07-16 14:22:15
937
原创 2.2-RNN-RNN的代码实现
RNN层的前向传播和反向传播的代码实现；能够处理时序数据的TRNN层的代码实现；以及用TRNN来实现语言模型时Embedding层、Affine层、Softmax with loss层的适配代码实现。
2024-07-16 14:14:57
758
原创 1.10-改进CBOW模型的学习
实现了改进版本的CBOW模型的学习过程；过程中针对cupy包和vscode中绘图遇到的问题进行解决，并给出了可行的解决方案
2024-07-14 11:28:37
1056
原创 1.9-改进的CBOW模型的实现
使用Embedding层改进输入层以及输出层；使用sigmoid函数和负采样方法改进损失的计算，化多分类为二分类；实现了改进之后的CBOW模型。
2024-07-10 17:03:30
1197
原创 Python导包问题
综上，采用绝对路径的方法，可以兼顾两种运行方式，且在其他文件中导入相应目录下文件时也变得很方便了。但是如果是像博客中说的，在外面用一个文件来启动程序，则是可以的，如下图所示；目录加入到了Python解释器去寻找包的路径集合中，之后在其他文件中导入。需要在当前文件中导入当前文件的上级目录下某个文件夹中的文件，如下图所示。语句，也会报错，因为不是一个包自然找不到上级目录。目录可以被识别成包，相对路径可以使用，另外，这样做的好处是，我们将。保持上图中的修改，我们再从。因此，我们看到，使用。像博客中说的那样，在。
2024-07-10 16:59:14
897
原创 1.8-word2vec的改进
因此我们好像就没有必要用一个矩阵乘法来实现“选取某一行”这样的过程，毕竟我们能够知道这个乘法本质上是取一行出来，但是计算机不知道，他只知道我们给他了一个向量和一个矩阵，他会老老实实的去计算乘法；负采样概率的微调：word2vec中提出的负采样对刚才的概率分布增加了一个步骤，对原来的概率分布取0.75次方，之后再执行负采样；的乘积运算，如下图所示，同样是维度太大的问题；的乘积运算之后还有softmax的计算，这个概率化的计算方法需要每个元素都求一次指数，因此当语料库非常大的时候，这个计算量也是巨大的。
2024-07-08 17:20:41
1126
原创 1.8.0-矩阵乘法的反向传播-简单推导
理解上述过程之后，我们要知道，我们需要弄清楚的是一条数据的过程，mini-batch的情况只是为了可以一次性处理多条数据，不会影响一条数据的计算过程；而一条数据的推导过程，其实还是去看里面具体的某一个值的梯度是怎么算的，最终就是落到了加法和乘法，落实到我们学过的基本的加法和乘法的偏导数了。最后就是，理解之后，我们直接记住结论即可；
2024-07-08 17:03:29
1344
原创 1-讯飞星火大模型API调用示例解析
讯飞星火大模型提供了API调用的文档和示例；本文对示例进行必要的解析和注释，然展示了demo运行的结果，即在终端中与大模型进行带上下文的对话。
2024-07-03 15:13:41
1293
原创 1.7-自然语言的分布式表示-skip-gram模型代码实现
skip-gram模型的简单代码实现；以及与CBOW模型在代码实现上的区别；基于计数的方法与基于推理的方法的区别和联系的总结。
2024-07-03 14:49:20
1033
原创 1.6自然语言的分布式表示-word2vec补充说明
类比CBOW模型中使用概率来表示交叉熵损失的公式的过程：由于这里要预测的是一个上下文，我们可以把上下文看成一个整体，这个整体具有一个可取的范围；在前面的笔记中，我们知道CBOW模型使用了交叉熵损失；对于某条数据而言，通过模型计算得到输出并转化为概率形式，记为。这也证明skip-gram模型的损失是上下文各个单词损失的和；因此，首先求各个输出层的损失，然后加起来作为整个模型的损失；取决于上下文窗口的大小；CBOW模型是在给定某个上下文时，输出目标词的概率；对应的独热编码中的那个位置元素值为1，其余均为0；
2024-06-24 14:36:43
1074
原创 1.5自然语言的分布式表示-word2vec学习的实现
之前的笔记中，我们已经基于数据构建了语料库、单词与ID之间的映射；并基于语料库（就一个句子）构建了CBOW模型学习所需要的数据，即上下文及其对应的目标词；并将其转换为独热编码的形式；接着，我们也构建了简单CBOW模型的网络结构；并根据创建的CBOW模型类创建了模型实例；接下来我们来看让模型进行学习的代码实现。
2024-06-24 14:33:16
846
原创 1.4自然语言的分布式表示-word2vec实操
自然语言处理模型-CBOW模型的网络结构的简单实现-交叉熵损失函数的计算过程-softmax函数的计算过程
2024-06-20 16:52:20
1097
原创 1.3自然语言的分布式表示-word2vec
使用神经网络，构建神经网络模型；将数据输入到模型中，模型进行预测，并反复更新网络的权重以下图为例，所谓的推理就是给定了单词的上下文，让模型去预测中间这个单词是什么；模型的输出将是一个关于各个可能单词的概率分布，概率最大的那个就是要预测的那个单词；通过不断地学习，模型逐渐能够准确预测这个单词是什么；那么就可以说，模型学习到了单词的出现模式，即当周围出现某些单词的时候，中间的那个单词就会出现。通过这种方式学习到的最终模型便可以用来进行单词的分布式表示（将结合后面的内容进行叙述）
2024-06-20 16:46:18
1309
原创 1.2-自然语言的分布式表示-基于计数的方法
以上就是对单词进行密集向量表示，然后计算单词间相似度的主要过程，可以概括为：首先创建单词的共现矩阵，将其转化为 PPMI 矩阵，再基于 SVD 降 维以提高稳健性，最后获得每个单词的分布式表示。另外，我们已经确认 过，这样的分布式表示具有在含义或语法上相似的单词在向量空间上位置相 近的性质，因为从计算与每个单词最相似的单词有哪些的过程可以证实这一点。
2024-06-09 10:14:53
1242
2
原创 3-合并区间
比较前一个区间的右侧数值和当前区间的左侧数值，如果前一个区间的右侧数值小于当前区间的左侧数值，则两个区间不重叠，直接添加进来；在力扣上执行，提示超出时间限制，可见这里使用冒泡排序的时候，两层循环的嵌套增加了算法的复杂度；这里使用封装好的排序算法，即list中封装的。中最后一个区间的右侧数值；主要思路：准备一个空列表。
2023-11-22 19:20:27
196
原创 1-寻找数组的中心下标
函数只需要求一次(我的代码里面每个循环都需要计算)，取而代之的是累加器。因此，尽管我们都只是一层循环，但是我的执行时间长。能够推导出的简化公式有助于缩短代码执行时间。执行结果如下图：执行时间比我的快。因此，在算法实现的时候，有了这个结论，意味着。
2023-10-10 22:04:15
144
原创 transformer代码解析1-一个特殊的翻译任务的例子
transformer代码解析、实战。用transformer来进行一个特殊的翻译任务
2023-07-09 11:58:37
222
原创 5.2-神经网络-手写数字识别
2、而神经网络则能够拟合非线性的假设函数，从而表示更复杂的模型。3、因此下面使用神经网络进行预测，只不过暂时使用的是**1、逻辑回归是线性分类器，无法拟合更加复杂的假设函数。**，直接进行前向传播过程，进行预测。训练好的神经网络的权重。
2022-09-30 10:59:35
651
原创 5.1-反向传播算法过程梳理
文章目录1函数求导链式法则2反向传播基本思想3反向传播算法全览4反向传播算法理解过程4.1一个输入层+一个输出层（两层的神经网络）4.2多层神经网络4.3反向传播过程梳理5反向传播算法过程与第3节算法全览的联系6总结参考文章1函数求导链式法则链式法则①：对于y=g(x)y=g(x)y=g(x)和z=h(y)z=h(y)z=h(y)：Δx→Δy→Δz\Delta{x}\rightarrow\Delta{y}\rightarrow\Delta{z}Δx→Δy→Δzdzdx=dzdydydx\f
2022-05-22 11:02:11
812
原创 3-线性回归之使用正规方程来求解线性回归问题
使用正规方程来求解线性回归问题1、接续前面两小节（1-线性回归之单变量线性回归基本原理的python实现_骑着蜗牛环游深度学习世界的博客-优快云博客和2-线性回归之多变量线性回归基本原理的python实现_骑着蜗牛环游深度学习世界的博客-优快云博客）2、正规方程的使用受限： ①特征数不能太多，通常来说当n小于10000 时还是可以接受的 ②只适用于线性模型，不适合逻辑回归模型等其他模型3、正规方程的优点： ①无需进行特征缩放（即无需归一化） ②不需要迭代1正规方程原理简述
2022-05-14 20:58:08
1903
原创 2-线性回归之多变量线性回归基本原理的python实现
文章目录多变量线性回归基本原理的python实现1数据读取2特征及标签获取3参数及超参数设置4使用梯度下降进行拟合5拟合结果查看6不同学习率下的拟合情况参考文章多变量线性回归基本原理的python实现接续上一篇文章（https://blog.youkuaiyun.com/colleges/article/details/124765198）1数据读取读取多变量线性回归数据集，是一个有两个特征的数据集：# 多变量线性回归raw_data = pd.read_csv('ex1data2.txt', na
2022-05-14 17:53:05
2075
原创 1-线性回归之单变量线性回归基本原理的python实现
文章目录单变量线性回归基本原理的python实现1大环境准备2jupyter工作路径的更改3单变量线性回归2.1数据读取2.2特征构造2.3其他准备2.4线性回归主体2.4.1计算代价函数2.4.2梯度下降+拟合2.4.3实际调用并拟合线性回归参考文章单变量线性回归基本原理的python实现1、看了吴恩达机器学习课程关于线性回归的讲述，这个文章是对应该课程的线性回归练习2、代码是看了网上有人分享的线性回归的python版本实现，这篇文章是结合代码做了讲解1大环境准备先建立虚拟环境# 建立
2022-05-14 11:21:47
2048
原创 vcrimages以及annotations数据内容分析
annotations中的三个数据文件包含哪些数据项images/metadata文件又包含哪些数据项训练数据集包含哪些文件1.整个数据集包括两大部分：annotations和image/metadata。annotations包含train.jsonl、val.jsonl、test.jsonl（即训练集、验证集和测试集）3个jsonl类型的文件train.jsonl的内容数据项确认通过代码查看训练数据每一条的内容是否一致：import jsonfile=open("trai.
2022-04-11 20:26:39
923
5
原创 9-nvidia-smi不是内部或外部命令，也不是可运行的程序或批处理文件解决办法
nvidia-smi不是内部或外部命令，也不是可运行的程序或批处理文件解决办法所谓天下文章一大抄，今天我在电脑上输入nvidia-smi命令的时候，无法运行，报了标题所示的错误，就百度了一下，然后自己记录一下，以后方便查阅~1、解决办法win10下右击此电脑，选择属性，点击高级系统设置，点击环境变量进入环境变量编辑界面。在系统变量或者用户变量下面找到path，双击进去，点击新建。输入nvidia-smi命令所在的目录，如下图所示，然后一路确定即可。之后再在cmd中输入nvidia-s
2022-04-01 14:46:17
1431
原创 Microsoft Visual C++ Build Tools安装问题及解决方案
1、事情的经过我在安装某个Python的包的时候，提示缺少Microsoft Visual C++ 14.0，让我安装Microsoft Visual C++ Build Tools。我在网上下载了安装包，进行安装，但提示安装包丢失或者已经损坏，有人说是证书的问题，我下载了相关证书，安装并重启后，并没有用。直到我找到了这个博客（文章最后），然后翻阅评论，下载了热心网友提供的度盘的链接，解压之后双击exe文件，才成功安装了。2、链接分享刚刚想分享来着，咱就是说咱才发现阿里云盘暂时不支持分享压缩
2022-03-27 11:53:16
27353
55
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人