strivequeen的博客

1 Abstract2 Introductionrecurrent neural networks (RNNs)long short-term memory (LSTM) networksequence to sequence frameworkinter-attentionrelative effective context length (RECL)Transformer3 TransformerA. EncoderB. DecoderC. Self-AttentionD. Complexity4 G.

1 正规化 Normalization1.1 数据标准化1.2 数据标准化对机器学习成效的影响2 检验神经网络 (Evaluation)2.1 误差曲线2.2 准确度曲线2.3 正规化2.4 交叉验证3 交叉验证（Cross-validation）3.1 Model 基础验证法3.2 Model 交叉验证法(Cross Validation)3.3 以准确率(accuracy)判断3.4 以平均方差(Mean squared error)3.5 Learning curve 检视过拟合3.6 valida.

1 SciKit-Learn介绍1 SciKit-Learn介绍参考资料：https://mofanpy.com/tutorials/machine-learning/sklearn/

异常检测(Anomaly detection)问题是机器学习算法的一个常见应用。这种算法的一个有趣之处在于：它虽然主要用于非监督学习问题，但从某些角度看，它又类似于一些监督学习问题。异常检测主要用来识别欺骗。例如在线采集而来的有关用户的数据，一个特征向量中可能会包含如：用户多久登录一次，访问过的页面，在论坛发布的帖子数量，甚至是打字速度等。尝试根据这些特征构建一个模型，可以用这个模型来识别那些不符合该模式的用户。再一个例子是检测一个数据中心，特征可能包含：内存使用情况，被访问的磁盘数量，CPU的负载

目标一：数据压缩（Motivation I_ Data Compression）降维也是一种无监督学习问题。数据压缩不仅允许我们压缩数据，还因使用较少的计算机内存或磁盘空间，加快我们的学习算法。将数据从二维降至一维： 假使我们要采用两种不同的仪器来测量一些东西的尺寸，其中一个仪器测量结果的单位是英寸，另一个仪器测量的结果是厘米，我们希望将测量的结果作为我们机器学习的特征。现在的问题的是，两种仪器对同一个东西测量的结果不完全相等（由于误差、精度等），而将两者都作为特征有些重复，因而，我们希望将这个二维的

在无监督学习中，我们需要将一系列无标签的训练数据，输入到一个算法中，然后我们告诉这个算法，快去为我们找找这个数据的内在结构给定数据。图上的数据看起来可以分成两个分开的点集（称为簇），一个能够找到我圈出的这些点集的算法，就被称为聚类算法。K-均值算法（K-Means Algorithm）K-均值是最普及的聚类算法，算法接受一个未标记的数据集，然后将数据聚类成不同的组。K-均值是一个迭代算法，假设我们想要将数据聚类成n个组，其方法为:首先选择K个随机的点，称为聚类中心（cluster centroid

优化目标（Optimization Objective）与逻辑回归和神经网络相比，支持向量机，或者简称SVM，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。接下来将从逻辑回归开始展示如何一点一点修改来得到本质上的支持向量机。直观上对大间隔的理解（Large Margin Intuition）人们有时将支持向量机看作是大间距分类器。当画出这两条额外的蓝线，我们看到黑色的决策界和训练样本之间有更大的最短距离。然而粉线和蓝线离训练样本就非常近，在分离样本的时候就会比黑线表现差

误差分析（Error Analysis）构建一个学习算法的推荐方法为：从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他选择进行误差分析：人工检查交叉验证集中我们算法中产生预测误差的样本，看看这些样本是否有某种系统化的趋势误差分析并不总能帮助我们判断应该采取怎样的行动。有时我们需要尝试不同的模型，然后进行比较，在模型比较时，用数值来判断哪一个模型更好更有效，通常我们是看交叉验证集的误差。推荐在交叉验证集上来实

评估一个假设（Evaluating a Hypothesis）为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用70%的数据作为训练集，用剩下30%的数据作为测试集。很重要的一点是训练集和测试集均要含有各种类型的数据，通常我们要对数据进行“洗牌”，然后再分成训练集和测试集。测试集评估在通过训练集让我们的模型学习得出其参数后，对测试集运用该模型，我们有两种方式计算误差：对于线性回归模型，我们利用测试集数据计算代价函数J对于逻辑回归模型，我们除了可以利用测试数据集来计算代价函数外：Jte

代价函数（Cost Function）反向传播算法（Backpropagation Algorithm）为了计算代价函数的偏导数∂∂Θij(l)J(Θ)\frac{\partial}{\partial \Theta_{i j}^{(l)}} J(\Theta)∂Θij(l)​∂​J(Θ)，我们需要采用一种反向传播算法，也就是首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层。首先用正向传播方法计算出每一层的激活单元，利用训练集的结果与神经网络预测的结果求出最后一层的误差，然后

非线性假设（Non-linear Hypotheses）无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大。普通的逻辑回归模型，不能有效地处理巨多的特征，这时候我们需要神经网络。神经元与大脑（Neurons and the Brain）如果你能把几乎任何传感器接入到大脑中，大脑的学习算法就能找出学习数据的方法，并处理这些数据。从某种意义上来说，如果我们能找出大脑的学习算法，然后在计算机上执行大脑学习算法或与之相似的算法，也许这将是我们向人工智能迈进做出的最好的尝试。

过拟合问题（The Problem of Overfitting）回归问题的例子：第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。分类问题的例子：以多项式理解， x的次数越高，拟合的越好，但相应的预测的能力就可能变差。过拟合问题处理方法：

分类问题（Classification）在分类问题中，要预测的变量 y是离散的值。逻辑回归 (Logistic Regression) 的算法是目前最流行使用最广泛的一种学习算法，它算法的性质是：输出值永远在0到 1 之间。逻辑回归算法实际上是一种分类算法，它适用于标签 y取值离散的情况。假设陈述（Hypothesis Representation）我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在0和1之间。 逻辑回归模型的假设是：hθ(x)=g(θTX)h_{\theta}(x)=g\l

多维特征（Multiple Features）多变量梯度下降（Gradient Descent for Multiple Variables）与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，即：J(θ0,θ1…θn)=12m∑i=1m(hθ(x(i))−y(i))2J\left(\theta_{0}, \theta_{1} \ldots \theta_{n}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_

模型描述h 代表学习算法的解决方案或函数也称为假设（hypothesis）一种可能的表达方式为：因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题。代价函数

机器学习入门（1）1. 机器学习概念机器学习（Machine Learning，简称ML）