bobi123bobi的博客

动手学课程学习回顾：2：nlp领域机器翻译数据预处理——分词——建立词典——载入数据集encoder、decoder注意力机制输入：询问、键值对softmax屏蔽超二维矩阵乘法点积注意力多层感知机注意力seq2seq模型transformercnn与rnn的区别多头注意力基于位置的前馈网络add and norm位置编码优化与估计局部最小值，鞍点，梯度消失凸性...

近期学习内容：基础机器学习概念如过拟合与欠拟合，线性回归，优化器，梯度下降法，多层感知机等学习基本的文本处理技术，语言模型和循环神经网络学习中的薄弱项：softmax和多层感知机函数的概念混淆对于各种语言模型区别的认识混响，对于细节概念的忽视对神经网络矩阵乘法概念的模糊部分学习笔记：random.shuffle()打乱数据softmax：离散值预测，种类预测，适合于如图像分类任务输...

https://blog.youkuaiyun.com/out_of_memory_error/article/details/81414986待学

1.各种优化器的基础了解https://blog.youkuaiyun.com/weixin_40170902/article/details/80092628梯度下降法：1.标准梯度下降法：GD每个样本都下降一次，参考当前位置的最陡方向迈进容易得到局部最优，且训练速度慢2.批量下降法：BGD不再是一次输入样本调整一次，而是一批量数据后进行调整，模型参数的调整更新与全部输入样本的代价函数的和有关，即...

本课内容1.numpy和pytorch实现梯度下降法2..设定初始值3.求取梯度4.在梯度方向上进行参数的更新5.numpy和pytorch实现线性回归6.pytorch实现一个简单的神经网络7.参考资料：PyTorch 中文文档

有时候神经网络的训练能在平时的测验中得到很好的成绩，但在大型考试中却发挥失常。这就是过拟合，神经网络不能表达除了训练数据以外的其他数据。如何解决：1.增加数据量2.运用正则化。L1, L2…regularization专门用于神经网络的正则化方法：dropout （随机失活）regularization[每次训练其中的一部分数据，随机忽略训练，反复如此使得结果不依赖某一部分特定神经元。]...

从头记录pytorch学习过程（涉及太多自己的理解和瞎琢磨，如果有错欢迎指出！）1.什么是pytorch，为什么选择pytorch？PyTorch是一个深度学习框架，pytorch的祖先是torch，torch是基于lua语言的神经网络库，但是lua语言太不普遍了，所以开发了python版本的torch，名为pytorch。但是putorch的出现并不是为了支持流行语言而对torch进行包装，...

torch.linspace(-1, 1, 100)在-1到1之间取100个数，生成的是一维数据torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)将一维数据变成二维，因为pytorch中只能处理二维数据[1,2,3,4]——一维数据[[1，2，3，4]]——二维数据torch.nn.Module其中包含很多net主模块 ...

其实之前学习贴出来的的代码就是这一块。。。而且忽略了问题是要只用numpy，我会回去补的！1.pytorch基础实现代码2.用putorch类实现Logistic regression，torch.nn.module写网络结构import torchimport torch.nn.functional as Ffrom torch.autograd import Variableimp...

用PyTorch实现多层网络(给代码截图参考)引入模块，读取数据构建计算图（构建网络模型）损失函数与优化器开始训练模型对训练的模型预测结果进行评估…还没来得及开始的我哭了先贴代码，考完试慢慢理解八。https://blog.youkuaiyun.com/Heitao5200/article/details/90310943（同学的代码）。。我也太不争气了...