weixin_53146190的博客

在学习笔记3中我们知道Parameter 也是属于Tensor的一个子类，如果定义了一个Parameter，他会被自动添加到模型的参数中。所以在定义含模型参数的层时，使用Parameter即可，或者是我们也可以使用ParameterList或ParameterDict。下面以ParameterList为例，描述使用方法，ParameterDict的使用方法参见这里。class MyDense(nn.Module): def __init__(self): s...

Module 类是一个通用的模型构造类，是所有神经网络模块的基类。可以基于该类构件神经网络的层（layer, 如Linear层）或者直接构建模型。继承该函数一般需要重载__init__函数和forward函数,分别用于创建模型参数和定义前向计算。 除了采用直接继承定义模型以外，pytorch 还提供了更加还实现了继承自Module的可以方便构建模型的类: 如Sequential、ModuleList和ModuleDict等等Sequential类： 可以通过添加子模块的...

学习《动手学习深度学习》过程中，作者在第3章深度学习基础中，对线性回归、softmax回归、多层感知机等几个模型分别采用了从零开始实现和简洁实现两种实现方式，目的是为了让读者对模型训练的内部机理有更加清晰的认识，但是由于这两种方式通常放置在不同的小节，看起来比较费劲，所以这里以线性回归模型为例，从读取数据、获取批量数据、初始化模型参数、定义模型、定义损失函数、定义优化函数、模型训练等7个方面的两种不同实现方式（分别称之为自定义方式和Pytorch 内置方式两种）进行对比，以便记忆和理解。...

正则化：在数据量比较小的情况容易出现过拟合的情况，正则化是解决这一问题的解决方案之一。 丢弃法：以一定的概率丢弃隐藏层中的神经元，丢弃概率是丢弃法的超参数，通常建议把离输出层附近的隐藏层的丢弃概率设置的小一点。丢弃法仅仅在训练模型时起作用，在模型测试中不应该使用丢弃法。丢弃法也可以在一定程度上解决过拟合的问题。 反向传播：同时依赖于模型参数和变量（如隐藏变量）的当前值，由于在模型训练时交替使用正向和反向传播来进行模型参数的更新，我们可以直接利用正向传播中计算得到中间变量值来进行反向更新实现复用，但是这同

​​​​​ 近来重新学习了一下Planning Bike Lanes based on Sharing-Bikes’ Trajectories这篇文章，觉得写得蛮好的，对于学习轨迹数据挖掘具有一定的启发。这篇文章也是国际上对于无桩共享单车早期的一个研究，第一作者Jie Bao（抱歉，不知道中文名怎么写。。）发表了多篇单车轨迹数据挖掘的相关文章，论文的另一个合作者郑宇博士相信做数据挖掘和城市计算的朋友应该不会陌生。本文主要是论文的一个学习笔记，另外附带了一小部分的个人理解，仅供参考，欢迎拍砖。下...