zgj_gutou的博客

两个连续的3×3卷积核的感受野与一个5×5卷积核的感受野相同。 原因： 我们假设图片是5*5的 我们使用5*5的卷积核对其卷积，步长为1，得到的结果是:(5-5)/1+1=1 然后我们使用2个卷积核为3*3的，这里的两个是指2层： 第一层3*3： 得到的结果是(5-3)/1+1=3 第二层3*3： 得到的结果是(3-3)/1+1=1 1×1卷积可以看作是通道维上的全连接。 ...

关于集束搜索(Beam Search)： 集束搜索结合了greedy search和维特比算法。 集束搜索使用beam size参数来限制在每一步保留下来的可能性词的数量。 集束搜索是一种贪心算法，得到局部最优解。 ...

验证数据集可以用来调整模型参数 在数据不够多的时候，k折交叉验证是一种常用的验证方法 k折交叉验证将数据分为k份，每次选择一份用于验证模型，其余的用于训练模型 过拟合是指训练误差很低，泛化误差相对于训练误差要高很多 欠拟合是指训练误差和泛化误差都无法到达一个较低的水平 过拟合和欠拟合都是在训练中容易遇到的经典问题 模型复杂度低容易导致欠拟合 训练数据集小容易导致过拟合 ...

文本预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 随机采样中前后批量中的数据是不连续的。 随机采样中每个样本只包含局部的时间序列信息，因为样本不完整所以每个批量需要重新初始化隐藏状态。 采用相邻采样仅在每个训练周期开始的时候初始化隐藏状态是因为相邻的两个批量在原始数据上是...

以下代码可直接运行，注意注释 从零实现线性回归 import torch as t from matplotlib import pyplot as plt import numpy as np import random num_input = 2 num_example = 1000 true_w = [2,-3.4] true_b = 4.2 features = t.randn(nu...