机器学习——基础篇
关注
分享
扫一扫
本专栏主要内容为我学习吴恩达机器学习课程的笔记与一些相关知识的补充学习.（2018.5）
我于2019春季开始了选修了学校的机器学习课程以及阅读老师上课推荐的《机器学习》—周志华、《统计学习方法》—李航，接下来会在2018年笔记的基础之上添加修改补充。
danerli
这个作者很懒，什么都没留下…
展开
-
Andrew Ng机器学习课程笔记（一）之监督学习之Linear Regression
PrefaceAndrew NgMachine LearningLinear Regression1. 问题导入：2. Cost function3. Gradient Descent（LMS）4. Stochastic Gradient Descent（LMS）5. The Normal Equations参考文献Preface这是我的Andrew N...原创 2018-04-03 16:22:21 · 345 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（二）之监督学习之Linear Regression and Logistic regression
PrefaceUnderfitting and overfittingLocally Weighted Linear Regression (LWR)Probabilistic interpretationLogistic regressionThe Perceptron Learning AlgorithmPreface主要内容： 1. Underfitt...原创 2018-04-04 18:09:40 · 333 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（四）之监督学习之Generalized Linear Models
PrefaceExponential Family1.Bernoulli Distribution2.Gaussian DistributionMultinomial DistributionGeneralized Linear ModelsThree Assumptions由Bernoulli Distribution到Logistic Regression模型由Gaus...原创 2018-04-08 18:26:29 · 298 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（三）之监督学习之Newton's Method
PrefaceNewton’s Methodstep 1 ：问题导入step 2：迭代step 3：求最大似然函数step 4：多维特征推广参考文献Preface主要内容： Newton’s Method（牛顿法）Newton’s Methodstep 1 ：问题导入现需要对函数 f(θ)f(θ)f(\theta) ，找到一个合适的 ...原创 2018-04-07 20:48:25 · 214 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（五）之监督学习之Generative Learning Algorithms
PrefaceGenerative Learning Algorithms生成学习算法GLA与判别学习算法DLA:Gaussian Discriminant AnalysisMultivariate Gaussian Distribution（多元高斯分布）Gaussian Discriminant Analysis modelGaussian Discriminant Ana...原创 2018-04-10 23:14:32 · 640 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（六）之监督学习之Support Vector Machine（1）
PrefaceNotationFunctional Margins Geometric MarginsOptimal Margin ClassifierStep1：条件假设 Step2：公式推演Lagrange DualityPrimal ProblemDual Optimization Problem参考资料Preface本文对于SVM（Sup...原创 2018-04-12 22:09:55 · 355 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（七）之监督学习之Support Vector Machine（2）
PrefaceOptimal Margin ClassifierKernels特征转化核函数（Kernel Function）特殊例子核函数有效性判定核与核函数的推广Preface本文将正式开始对SVM（Support Vector Machine，支持向量机）的推导与介绍，以及最为重要的“核”的概念。 主要内容： Optimal Margin C...原创 2018-04-13 21:22:20 · 263 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（八）之监督学习之Support Vector Machine（3）
PrefaceL1 Norm Soft Margin SVMCoordinate AscentSequential Minimal OptimizationPreface主要内容： 在前面两篇SVM博客中我们所考虑的都是样本数据可以继续线性划分的情况，在这里我们将介绍非线性划分。 L1 Norm Soft Margin SVM（软间隔SVM） Coordinat...原创 2018-04-16 22:21:25 · 294 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（九）之学习理论之经验风险最小化
PrefaceBias/Variance Trade-offEmpirical Risk MinimizationStep1：两个定理Step2：假设条件Step3：Training Error（训练误差）Step4：Generalization Error（泛化误差）Step5：假设类HH\mathcal HStep6：经验风险最小化ERMThe case of fin...原创 2018-04-20 22:55:21 · 324 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（十）之学习理论之模型选择
Preface问题定义Cross ValidationFeature SelectionForward/Backward Search（正向搜索/反向搜索）Filter Feature Selection Method（滤特征选择算法）Preface主要内容： Cross Validation（交叉验证） Feature Selection（特征选择）...原创 2018-04-22 23:39:29 · 296 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（十一）之学习理论之贝叶斯统计和规则化
PrefaceBayesian Statistics And RegularizationPreface主要内容： Bayesian Statistics And Regularization（贝叶斯统计和规则化）Bayesian Statistics And Regularization在这里我们将使用一种不同于最大似然估计的方法来求解 h(θ)h(θ)...原创 2018-05-05 15:00:40 · 381 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（十二）之无监督学习之K-means聚类算法
PrefaceUnsupervised LearningK-means聚类算法算法内容收敛验证PrefaceUnsupervised Learning（无监督学习） K-means聚类算法Unsupervised Learning我们以前介绍的所有算法都是基于有类别标签的数据集，当我们对于没有标签的数据进行分类时，以前的方法就不太适用了。我们对于这...原创 2018-05-09 22:25:19 · 383 阅读 · 1 评论 -
Andrew Ng机器学习课程笔记（十三）之无监督学习之EM算法
PrefaceJensen’s InequalityExpectation-Maximization AlgorithmPrefaceJensen’s Inequality（Jensen不等式） Expectation-Maximization Algorithm（EM算法）Jensen’s InequalityExpectation-Maximizati...原创 2018-05-11 18:34:29 · 1647 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（十四）之无监督学习之混合高斯模型与EM算法
PrefaceGaussian Mixture ModelJensen’s InequalityExpectation-Maximization Algorithm（EM）EM Algorithm for GMMPrefaceGaussian Mixture Model（GMM，高斯混合模型） Jensen’s Inequality（Jensen不等式） Exp...原创 2018-05-11 21:46:46 · 1108 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（十五）之无监督学习之混合贝叶斯模型与EM算法
PrefaceJensen’s InequalityExpectation-Maximization AlgorithmPrefaceJensen’s Inequality（Jensen不等式） Expectation-Maximization Algorithm（EM算法）Jensen’s InequalityExpectation-Maximizati...原创 2018-05-11 23:14:07 · 4585 阅读 · 6 评论 -
Andrew Ng机器学习课程笔记（十六）之无监督学习之因子分析模型与EM算法
PrefaceJensen’s InequalityExpectation-Maximization AlgorithmPrefaceFactor Analysis（因子分析模型）EM Algorithm for Factor AnalysisJensen’s InequalityExpectation-Maximization Algorithm...原创 2018-05-13 19:53:38 · 1691 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（十七）之无监督学习之主成份分析与降维
PrefacePrincipal Components AnalysisProblemNormalize Mean and VarianceFor ExamplePrincipal Components AnalysisPrefacePrincipal Components Analysis（主成份分析）Principal Components Analy...原创 2018-05-13 23:50:13 · 305 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（十八）之无监督学习之独立成份分析
PrefaceCocktail Party ProblemICA AmbiguitiesDensities FunctionLinear TransformationsIndependent Component AnalysisPrefaceCocktail Party Problem（鸡尾酒宴会问题） ICA Ambiguities（ICA不确定性） D...原创 2018-05-18 23:24:10 · 528 阅读 · 0 评论 -
Andrew Ng机器学习课程笔记（十九）之强化学习
PrefaceMarkov Decision ProcessesMDP定义MDP例子MDP过程Value FunctionValue IterationPolicy IterationPrefaceMarkov Decision Processes（MDP，马尔科夫决策过程） Value Function（价值函数） Value Iteration（值...原创 2018-05-25 22:16:35 · 885 阅读 · 0 评论