weixin_45717457的博客

MordernRNN GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 重置⻔有助于捕捉时间序列⾥短期的依赖关系； • 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 载入数据集 ...

文本与语言 本文包含以下内容 1、文本预处理 2、语言模型 文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 1、读入文本 import collections import re def read_time_machine(): with open('/home/kesci/input/timemachin...

softmax的概念 本文主要内容： 1、softmax的基本概念。 softmax的基本概念 1、分类问题 一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。 图像中的4像素分别记为x1,x2,x3,x4。 假设真实标签为狗、猫或者鸡，这些标签对应的离散值为y1,y2,y3。 我们通常使用离散的数值来表示类别，例如y1=1,y2=2,y3=3。 2、权重矢量 o1 = x1w11 ...

线性回归 主要内容包括： 线性回归的基本要素 线性回归模型从零开始的实现 线性回归模型使用pytorch的简洁实现 线性回归的基本要素 模型 深度学习应用中，最为重要的一条便是对参数的优化，下面介绍的内容也是基于此展开。 开始是我们考虑一个简单的房地产定价问题。为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性...