Xyzx043874的博客

Apriori算法 第一次写博客，看这个算法的目的是为毕设开题做准备，以及以后的复习所做的笔记。Apriori属于无监督学习，对数据关联规矩进行挖掘的算法。 关联规则是形如X⇒\RightarrowY的蕴含式，其中X,Y分别是I的真子集，并且X∪\cupY=∅\emptyset。X称为规则的前提，Y规则的结果。关联规则翻译X中项目出现时，Y中的项目也跟着出现的规律。

决策树算法是机器学习中的一种算法，有分类和预测的作用。首先先贴下算法1.简要介绍及算法表达： 输入：训练集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\{(x_1,y_1),(x_2,y_2),…, (x_m,y_m) \} 属性集A={a1,a2,…,ad}A=\{a_1,a_2,…,a_d \} 过程：函数TreeGenerate(D,A)TreeGenerat

拟牛顿法1、牛顿法又称割线法，对f(x+Δx)进行泰勒展开f(x+\Delta x)进行泰勒展开f(x+Δx)=f(x)+f′(x)Δx+12f”(x)Δx2f(x+\Delta x) = f(x) + f’(x)\Delta x+\frac{1}{2}f”(x)\Delta x^2对Δx\Delta x求导，得：f′(x+Δx)=f′(x)+f”(x)Δxf’(x+\Delta x) = f’(x

全文参考： Zeiler M D. ADADELTA: an adaptive learning rate method[J]. arXiv preprint arXiv:1212.5701, 2012. 该方法只使用一阶信息，无需手动调整学习速率，对噪声梯度信息，不同的模型结构选择，各种数据模式和超参数的选择具有一定的鲁棒性。 1.ADAGRAD ADADELTA是ADAGRAD的变

Adam方法同样融合了 AdaGrad和RMSProp，更新公式如下： wt=wt−1−α∗mt^vt^−−√+ϵw_{t} = w_{t-1} - \alpha * \frac{\hat {m_t}}{\sqrt{\hat{v_t}}+\epsilon} 其中tt表示次数，mt^\hat{m_t}为mtm_t的纠正，vt^\hat{v_t}为vtv_t的纠正mt^=mt1−βt1\hat{m_

文章参考周志华《机器学习》 机器学习离不开模型，算法，激活函数。 逻辑回归使用线性回归的的预测结果去逼近对数几率，所以使用的模型和线性回归一样。逻辑回归使用的激活函数为S型函数中的对数几率函数，公式以及曲线如下： y=11+e−zy=11+e−zy=\frac{1}{1+e^{-z}} 而逻辑回归从输入的特征值计算出输出值的更新公式为： h(θ)=11+e−(θTx+b)h(θ)=1...