学渣集散地

Recurrent Neural Networks(RNN)1. 模型ht=tanh[WhxXt+Whhht−1+bh]h_t = tanh[W_{hx}X_t + W_{hh}h_{t-1}+b_h]ht​=tanh[Whx​Xt​+Whh​ht−1​+bh​]zt=f(Whyht+bz)z_t=f(W_{hy}h_t+b_z)zt​=f(Why​ht​+bz​)tanh(v)=exp(2v)−1exp(2v)+1tanh(v) = \frac{exp(2v)-1}{exp(2v)+1}tan

梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下降（Mini-Batch Gradient Descent）。其中小批量梯度下降法也常用在深度学习中进行模型的训练。接下来，我们将对这三种不同的梯度下降法进行理解。为了便于理解，这里我们将使用只含有一个特征的线性回归来展开。此时线性回归的假设函数为：hθ(x(i))=θ1x(i)+θ0h_\t

今日心情：焦虑焦虑还是焦虑。内容参考自: An Introduction to Statistical Learning-Second Edition对 【机器学习】Bootstrap详解进行补充。实例假设我们想在两种金融资产上投资一些钱，这两种资产的回报分别记为X和Y（X、Y都是随机实数）。设α\alphaα部分的钱投资进X，1−α1-\alpha1−α部分的钱投资进Y。现在我们需要找到一种投资组合，也就是找到一个α\alphaα值，使得风险最小，也就是：argminα Var(αX

设随机变量X1,X2,…Xn相互独立,且都服从（0,1）上的均匀分布.问：求U=max{X1,X2,…Xn}数学期望.【答案】所有关于min、max这种题都有一个固定的下手点,就是 U≤u→X[1]、X[2]…X[n]U≤u→X[1]、X[2]…X[n]U≤u→X[1]、X[2]…X[n]里面最大的都小于等于uuu，即每个X[1]、X[2]…X[n]X[1]、X[2]…X[n]X[1]、X[2]…X[n]都小于等于uuu。每个都小就可以通过独立事件的概率乘法公式计算概率，所以U≤uU≤uU≤u的概率可以

线性回归 & 逻辑回归【机器学习】逻辑回归支持向量机【机器学习】支持向量机 SVM决策树【机器学习】决策树（上）——ID3、C4.5、CART【机器学习】决策树（中）——Random Forest、Adaboost、GBDT 【机器学习】决策树（下）——XGBoost、LightGBM随机森林(Random Forest)面试高频题GBDT(Gradient Boosting Decision Tree)面试高频题LSTM手把手教你构建一个LSTM时序网络K-means【机

持续更新，个人学习用途。目录I 微积分一、映射和函数1. 映射2. 函数（1）一元函数（2）多元函数（3）向量函数3. 偏导数4. 方向导数5. 梯度II 矩阵轮一、标量和向量参考I 微积分一、映射和函数1. 映射设 A 和 B 是两个非空集合，如果按照某种对应关系 fff ，对于集合 A 中的任何一个元素 a ，在集合 B 中都存在唯一的一个元素 b 与之对应。那么，这样的对应关系 fff ，称为集合 A 到集合 B 的映射，记作 f:A→Bf : A→Bf:A→B 。映射表达了两类集合之间的

一、简述K-means的流程基本流程如下：随机初始化k个中心点；计算所有样本点到中心点的距离；比较每个样本到k个中心点的距离，并将样本分类到距离最近的中心点所在的类别中；k个类别组成的样本点重新计算中心点；重复2-4，直到中心点变化小于阈值或不再变化。其中，k表示预设的类别个数；两点间距离常用欧氏距离和余弦距离。补充：K-means++解决K-Means算法对初始簇心比较敏感的问题，K-Means++算法和K-Means算法的区别主要在于初始的K个中心点的选择方面，K-Means算法使

推荐两篇好文：GBDT的原理和应用.机器学习算法GBDT的面试要点总结-上篇.一、简述GBDT原理GBDT的含义就是用Gradient Boosting的策略训练出来的DT模型。模型的结果是一组回归分类树组合(CART Tree Ensemble)。过程大致如下：根据训练集训练一颗初始决策树；计算之前所有树在此数据集上预测结果之和与真实结果的差值，又叫残差；把残差作为当前树作为拟合的目标在训练集上训练；重复2、3步骤，直到达到设置的阈值——如树的个数，早期停止策略等。二、GBDT

随机森林算法的原理随机森林算法是Bagging集成框架下的一种算法。它同时对训练数据和特征采用随机抽样的方式来构建更加多样化的基模型。随机森林具体的算法步骤如下：随机抽样训练决策树。假如有N个样本，则有放回的随机选择N个样本（每次随机选择一个样本，然后返回继续选择，也就是说可能有重复的）。这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本。随机选择属性做节点分裂属性。当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件m<<M。然

一、什么是集成学习？集成学习(Ensemble learning)就是将多个机器学习模型组合起来，共同工作以达到优化算法的目的。具体来讲，集成学习可以通过多个学习器相结合，来获得比单一学习器更优越的泛化性能。集成学习的一般步骤为：1.生产一组“个体学习器(individual learner)”；2.用某种策略将他们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生。在同质集成（系统中个体学习器的类型相同）中，个体学习器又被称为“基学习器”，而在异质集成（系统中个体学习器的类型不同）中，个体学习

1. The Problem of Overfitting 1 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。 如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。 我们把此类情况称为欠拟合(underfitting)，或者叫作叫做高偏差(bias)。 这两种说法大致相似，都表示没有很好地拟合训练数据。高偏差这个词...

（一）主要思路下面说一下解决方法，先贴出来运行成功的代码（用的解释器是jupyter notebook）：from sklearn.externals.six import StringIOimport pydotplusfrom IPython.display import Imagedot_data = StringIO()tree.export_graphviz(clf,...