Leafy's draft about ML

文章目录第二次打卡笔记一点感叹Task 3 过拟合/欠拟合；梯度消失/梯度爆炸；循环神经网络进阶Task 4 机器翻译；注意力机制；TransformerTask 5 卷积神经网络基础与进阶；LeNet第二次打卡笔记一点感叹​ 因为一场比赛突如其来的变化确然是耽搁了第二次打卡的课程进程，比赛还没结束打卡又近在眼前的我在快速补课和认真琢磨清之间纠结彷徨了不少时间，还是觉得应该老老实实的动手完...

内容：线性回归模型： 线性回归对于特征的要求； 处理长尾分布； 理解线性回归模型；模型性能验证： 评价函数与目标函数； 交叉验证方法； 留一验证方法； 针对时间序列问题的验证； 绘制学习率曲线； 绘制验证曲线；嵌入式特征选择： Lasso回归； Ridge回归； 决策树；模型对比： 常用...

先占个坑，忙完再补全4篇 paperResidual NetworkResidual Networks Behave LikeEnsembles of Relatively Shallow NetworksDenseNetMemory-Efficient DenseNet

关于softmax函数选择看完代码，明显softmax和其他模型最与众不同的特点就是softmax函数了，那么为什么选择softmax函数呢？softmax函数是来自于sigmoid函数在多分类情况下的推广，他们的相同之处：1.都具有良好的数据压缩能力是实数域R→[ 0 , 1 ]的映射函数，可以将杂乱无序没有实际含义的数字直接转化为每个分类的可能性概率。2.都具有非常漂亮的导数形式，便于...

批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。全连接：x=...

这是本次最头疼的一个问题2333相邻采样训练完4的时候 会更新出state 然后因为相邻采样 接下来的输入是5 即4的后面一个数 然而4和5本来就是相邻的 完全可以通过4的state输入和5这个字的输入 更新出5的state所以可以用上一个的输出初始化下一个batch...

多层感知机中最为重要的自然是“多层”，多层中涉及到的隐藏层的目的是为了将线性的神经网络复杂化，更加有效的逼近满足条件的任何一个函数。因此文中先证明了一个最常见的思路，即两个线性层复合，是不可行的，无论多少层线性层复合最后得到的结果仍然是等价于线性层。这个结果的逻辑来自与线性代数中，H=XW+b 是一个仿射变换，通过W变换和b平移，而O=HW2+b2 则是通过W2变换和b2平移，最终经过矩阵的乘法...

从头实现使用到的pytorch函数torch.ones()/torch.zeros()，与MATLAB的ones/zeros很接近。初始化生成均匀分布 torch.rand(*sizes, out=None) → Tensor 包含了从区间[0, 1)的均匀分布中抽取的一组随机数。标准正态分布torch.randn(*sizes, out=None) → Tensor 包含了从标...

常见的特征工程包括：异常处理： 通过箱线图（或 3-Sigma）分析删除异常值； BOX-COX 转换（处理有偏分布）； 长尾截断；特征归一化/标准化： 标准化（转换为标准正态分布）； 归一化（抓换到 [0,1] 区间）； 针对幂律分布，可以采用公式： log(1+x1+median)数据分桶： 等频分桶； 等距分桶； ...

实际使用了如下代码（我节选了比较）#!/usr/bin/env python# coding: utf-8# In[2]:#coding:utf-8#导入warnings包，利用过滤器来实现忽略警告语句。import warningswarnings.filterwarnings('ignore')import pandas as pdimport numpy as np...

模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。简单加权融合: 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）； 分类：投票（Voting) 综合：排序融合(Rank averaging)，log融合stacking/blending: 构建多层模型，并利用预测结果再拟合预测。bo...

class SVHN_Model2(nn.Module):def init(self):super(SVHN_Model1, self).init() model_conv = models.resnet18(pretrained=True) model_conv.avgpool = nn.AdaptiveAvgPool2d(1) model_conv = nn.Sequential(*list(model_conv.children())[:-1]) self.cnn

Since the regression problem is being considered recently, the main point of this article is to consider the support vector machine to push the regression problem while maintaining its sparsity. In a ...

On Feature Normalization and Data AugmentationDeep Feature Interpolation for Image Content ChangesImplicit Semantic Data Augmentation正则化也是一种 data augmentation(建立在简单模型先验思路的，对于分类问题能否考虑 lgistic regre...

Generative model: In the theory of probability and statistics, the generative model refers to a model that can randomly generate observation data, especially given certain implicit parameters. It assi...

We consider an important type of such data set, that is, a data set that describes sequential data. These data sets are usually produced from measurements along a time series, such as a continuous mea...

比较久之前看的机器学习了，因为做的深度学习方向，所以回顾一下知识点Finding the model parameter is a specific condition of Maximum Likelihood Estimation which is known as MLE:And overfitting is the general property of MLE. By using a...

Integrated learning in machine learning can improve prediction accuracy to a certain extent. Common integrated learning methods include Stacking, Bagging, and Boosting. At the same time, these integrated learning methods are closely related to the division

In the training process of deep learning models, data augmentation is an indispensable link. There are many existing deep learning parameters. The amount of parameters that can be trained in a general model is basically tens of millions to millions, and it

As the complexity of the model and the number of model training rounds increase, the error of the CNN model on the training set will decrease, but the error on the test set will gradually decrease and then gradually increase, and what we are pursuing is th

We have found an equivalent formula for the mixed distribution of Pace, and write out the latent variables explicitly. It seems that we do not make sense. However, we can now operate on the joint prob...

First Analysis the contest:Metric:The results submitted by the contestants are compared with the actual picture code, and the overall recognition accuracy of the code is the evaluation index. Any character error is an error. The larger the final eval

前段时间感冒了一直断更，但其实题还一直在做，之后会补更得。