百面机器学习
关注
分享
扫一扫
《百面机器学习》的学习笔记
Briwisdom
这个作者很懒，什么都没留下…
展开
-
百面机器学习（6）——概率图模型
目录概率图模型的联合概率分布（概率图，贝叶斯网络，马尔可夫网络）概率图表示（朴素贝叶斯模型，概率图，最大熵模型）生成式模型与判别式模型马尔可夫模型主题模型概率图模型最为“精彩”的部分就是能够用简洁清晰的图示形式表达概率生成的关系。而通过概率图还原其概率分布不仅是概率国模型最重要的功能，也是掌握概率圄模型最重要的标准。概率图模型的联合概率分布（概率图，贝叶斯网络，马尔可夫...原创 2020-03-26 17:05:07 · 1078 阅读 · 0 评论 -
百面机器学习（11）——强化学习
目录强化学习基础（马尔可夫决策过程价值迭代，策略迭代）视频游戏里的强化学习（Q-learning）策略梯度探索与利用强化学习基础（马尔可夫决策过程价值迭代，策略迭代）场景描述：假设我们有一个3x3的棋盘，其中有一个单元格时马里奥，另一个单元格是宝藏，如图11.1所示，在游戏的每个回合，可以往上、下、左、右四个方向移动马里奥，直到马里奥找到宝藏，游戏结束。在这个场景中，强化学...原创 2020-03-26 15:03:06 · 907 阅读 · 0 评论 -
百面机器学习（13）——生成式对抗网络
目录初识GANs的秘密（MinMax游戏，值函数，JS距离，概率生成模型，优化饱和）WGAN：抓住低维的幽灵（Collapse Mode坍缩, Wasserstein距离，1-Lipschitz函数）DCGAN：当GANs遇上卷积ALI：包揽推断业务IRGAN：生成离散样本SeqGAN：生成样本序列初识GANs的秘密（MinMax游戏，值函数，JS距离，概率生成模型，优...原创 2020-03-24 17:44:12 · 2527 阅读 · 0 评论 -
百面机器学习（12）——集成学习
目录集成学习的种类（Boosting，bagging, 基分类器）集成学习的步骤和例子基分类器（方差-偏差关系，随机森林，基分类器）偏差与方差梯度提升决策树的基本原理XGBoost与GBDT的联系和区别集成学习的种类（Boosting，bagging, 基分类器）1. 集成学习分哪几种？它们有何异同？（1）BoostingBoosting方法训练基分类器时采...原创 2020-03-24 11:59:15 · 635 阅读 · 0 评论 -
百面机器学习（10）——循环神经网络
目录循环神经网络与卷积神经网络循环神经网络的梯度消失问题循环神经网络中的激活函数长短期记忆网络Seq2Seq模型注意力机制循环神经网络与卷积神经网络1. 处理文本数据时，循环神经网络与前馈神经网络相比有什么特点？（1）在神经网络的建模过程中，一般的前馈神经网络，如卷积神经网络，通常接受一个定长的向量作为输入。卷积神经网络对文本数据建模时，输入变长的字符串或者单词...原创 2020-03-23 16:18:25 · 2154 阅读 · 0 评论 -
百面机器学习（9）——前向神经网络
目录多层感知机与布尔函数深度神经网络中的激活函数多层感知机的反向传播算法神经网络训练技巧深度卷积神经网络深度残差网络多层感知机与布尔函数1. 多层感知机表示异或逻辑时最少需要几个隐含层（仅考虑二元输入）？（2）2. 如果只使用一个隐层，需要多少隐节点能够实现包含n元输入的任意布尔函数？（3）深度神经网络中的激活函数线性模型是机器学...原创 2020-03-23 11:30:15 · 1726 阅读 · 0 评论 -
百面机器学习（8）——采样
目录采样的作用（采样，机器学习，概率统计）均匀分布随机数（概率统计，线性同余）常见的采样方法（逆变换采样，拒绝采样，重要性采样）高斯分布的采样马尔可夫蒙特卡洛采样法（蒙特卡洛法，马尔可夫链，吉布斯采样）贝叶斯网络的采样不均衡样本集的重采样采样的作用（采样，机器学习，概率统计）1. 举例说明采样在机器学习中的应用（2）采样本质上是对随机现象的模拟，根据给定的概...原创 2020-03-22 15:05:15 · 3009 阅读 · 0 评论 -
百面机器学习（2）——模型评估
目录评估指标的局限性（准确率，精确率，召回率，均方根误差）ROC曲线（曲线下的面积AUC，P-R曲线）余弦距离的应用（余弦相似度，余弦距离，欧式距离）A/B测试的陷阱（实验组，对照组）模型评估的方法(Holdout检验，交叉验证，自助法，微积分)超参数调优过拟合与欠拟合评估指标的局限性（准确率，精确率，召回率，均方根误差）在模型评估过程中，分类问题、排序问题、回...原创 2020-03-20 17:38:33 · 3571 阅读 · 0 评论 -
百面机器学习（7）——优化算法
目录有监督学习的损失函数机器学习中的优化问题（凸优化基本概念）经典优化算法（微积分，线性代数，凸优化）梯度验证（微积分，线性代数）随机梯度下降法随机梯度下降法的加速L1正则化与稀疏性监督学习的损失函数机器学习算法的关键一环是模型评估，而损失函数定义了模型的评估指标。可以说，没有损失函数就无法求解模型参数。不同的损失函数优化难度不同，最终得到的模型参数也不同，针对...原创 2020-03-19 23:37:49 · 904 阅读 · 0 评论 -
百面机器学习（3）——经典算法
目录SVM（SVM模型推导，和函数，SMO算法）逻辑回归（逻辑回归，线性回归，多标签分类，softmax）决策树（信息论，树形数据结构，优化理论）SVM（SVM模型推导，和函数，SMO算法）1. 在空间上线性可分的两类点，分别向svm分类的超平面上做投影，这些点在超平面上的投影仍然是线性可分的吗？（3）线性可分的两类点，即通过一个超平面可以将两类点完全分开。对于任意线性可分...原创 2020-03-18 23:26:04 · 1003 阅读 · 0 评论 -
百面机器学习（5）——非监督学习
目录K均值聚类（K均值聚类算法ISODATA算法，EM算法）高斯混合模型（GMM）自组织映射神经网络（SOM）聚类算法的评估K均值聚类（K均值聚类算法ISODATA算法，EM算法）1. 简述K均值算法的具体步骤（2）1）数据预处理，如归一化，离群点处理等2）随机选择K个簇中心3）定义代价函数：J=所有样本到其所分类别的距离平方和最小4）迭代如下过程知道代价函...原创 2020-03-18 22:51:53 · 1377 阅读 · 0 评论 -
百面机器学习（4）——降维
PCA最大方差理论1. 如何定义主成分？从这种定义出发，如何设计目标函数使得降维达到提取主成分的目的？针对这个目标函数，如何对PCA问题进行求解？（2）最大化投影方差的角度PCA最小平方误差理论1. PCA求解的其实是最佳投影方向，即一条直线，这与数学中线性回归的目标不谋而合，能否从回归的角度定义PCA的目标并相应地求解问题呢？(2) 最小平方误差线性判别...原创 2020-03-18 22:45:14 · 377 阅读 · 0 评论