炼丹笔记
关注
分享
扫一扫
机器学习&深度学习
LotusQ
自得其乐
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
XGBoost核心技术与实现
在学习本文之前，需要掌握CART树、Boosting算法。XGBoost中的Tree Boosting目标函数近似最优目标函数叶子权重切分点查找算法精确贪心算法基于直方图的近似算法快速直方图算法加权分位数概要算法稀疏感知切分点查找算法XGBoost中的排序学习DART树模型的可解释性XGBoost中的线性模型系统优化基于列存储数据块的并行学习缓存感知访问外存块计算分布式XGBoost...原创 2020-08-04 16:35:57 · 342 阅读 · 0 评论 -
机器学习算法实现(4):GBDT的两种实现——XGBoost、LightGBM
【系列开头】开这个系列是因为最近学习某些算法纸上谈兵太久，算法流程背的再熟，没有实现过就没法真正的理解算法的细节。这个系列要实现算法的顺序为逻辑回归、决策树(CART)、AdaBoost、GBDT。其他算法根据后续学习情况进行添加。能力有限，对于实现XGBoost和LightGBM比较吃力。因此使用几个例子，来学习两者如何使用，以及对比情况。...原创 2020-08-04 16:35:31 · 613 阅读 · 0 评论 -
模型选择
文章目录1.引言1.1模型1.2 机器学习2.模型选择的相关定理和原则2.1没有免费的午餐定理（No Free Lunch，NFL）2.2 丑小鸭定理（Ugly Ducking）2.3 Occam剃刀原理（Occam’s Razor）2.4 最小描述长度原理（Minimum Description Length,MDL）3.模型选择的评价标准3.1 统计检验方法3.2 操作接收者特征曲线ROC3....原创 2019-11-25 11:30:44 · 546 阅读 · 0 评论 -
支持向量机
文章目录1.概述2.基本原理最优分类界面最优线性判别函数今天终于来到了最本课程除了神经网络最重磅的也是曾经使用广泛的一种分类方法——SVM。上一课线性判别函数基本就是为了本课做的铺垫。1.概述2.基本原理最优分类界面最优线性判别函数...原创 2019-11-18 15:30:10 · 133 阅读 · 0 评论 -
线性判别函数
文章目录1.引言线性判别函数与决策面3.广义线性判别函数感知准则函数（如感知机）1.引言线性判别函数与决策面note:点到平面距离公式3.广义线性判别函数看一个比较直观的例子，加深理解：需要掌握：1）低维空间转到高维空间可以解决线性不可分问题。2）增广样本向量。感知准则函数（如感知机）...原创 2019-11-14 10:06:13 · 529 阅读 · 0 评论 -
聚类分析
文章目录无监督学习与聚类为什么要进行无监督学习聚类分析的应用聚类分析的过程聚类问题的描述补充——多元正态分布与散布矩阵无监督学习与聚类为什么要进行无监督学习聚类分析的应用聚类分析的过程聚类问题的描述补充——多元正态分布与散布矩阵pass...原创 2019-11-04 20:35:23 · 2700 阅读 · 0 评论 -
《模式识别》总结索引
上课无事可干，刷几道题，然后总结下课堂所学吧。什么是模式识别距离分类器聚类分析线性判别函数支持向量机模型选择神经网络原创 2019-10-31 10:54:50 · 237 阅读 · 0 评论 -
距离分类器
1.距离分类器的一般形式原创 2019-10-31 10:54:23 · 1356 阅读 · 0 评论 -
GMM模型和EM算法
文章目录1.聚类聚类最大似然估计提出问题混合高斯模型（简单化）2.GMM模型多项分布GMM3.EM算法GMM下的EM算法数值解释原理解释KLEM应用于GMMEM总结1.聚类聚类最大似然估计提出问题混合高斯模型（简单化）2.GMM模型多项分布GMM3.EM算法GMM下的EM算法数值解释原理解释KLEM应用于GMMEM总结...原创 2019-12-22 19:24:22 · 466 阅读 · 0 评论 -
最大似然估计和信息论简介
文章目录1.数理统计数理统计基本知识最大似然估计最大似然估计（离散）最大似然估计（连续）最大似然估计举例最大似然估计-多元0-1分布最大似然2.线性回归与逻辑回归再看线性回归逻辑回归特别说明3.贝叶斯的观点再看贝叶斯公式二项分布Beta分布贝叶斯估计举例4.信息论概述量化信息离散连续KL散度（相对熵）1.数理统计数理统计基本知识最大似然估计最大似然估计（离散）最大似然估计（连续）...原创 2019-12-22 19:31:27 · 486 阅读 · 0 评论 -
概率基础知识——事件、随机变量、数字特征、常见分布
文章目录1.事件样本空间事件事件关系、频率、概率古典概率的计算条件概率：走向贝叶斯事件独立性全概率公式：走向贝叶斯贝叶斯公式朴素贝叶斯2.随机变量随机变量一维离散随机变量一维连续随机变量3.随机变量数字特征期望方差4.人工智能中常见分布常见分布高斯分布中心极限定理多维随机变量多维高斯分布1.事件样本空间事件事件关系、频率、概率古典概率的计算条件概率：走向贝叶斯事件独立性...原创 2019-12-22 18:58:16 · 763 阅读 · 0 评论 -
SVD
文章目录1.特征分解复习2.SVD理论SVD分解：特征分解的广义化SVD分解的三种形式SVD和特征分解的关系SVD和子空间的关系再看四个子空间★SVD几何解释3.矩阵其它重要知识投影行列式伪逆迹4.实际应用低秩矩阵近似低秩矩阵近似应用——图像压缩1.特征分解复习2.SVD理论SVD分解：特征分解的广义化SVD分解的三种形式SVD和特征分解的关系SVD和子空间的关系再看四...原创 2019-12-21 21:07:15 · 268 阅读 · 0 评论 -
特征分解和PCA
文章目录1.线性代数基础标量、向量、矩阵和Tensor线性代数的正确打开方式Ax=b的行视图Ax=b的列视图线性相关和线性无关Span、基和子空间（subspace）四个基本子空间四个基本子空间的关系利用子空间重新看待线性方程组的解可逆矩阵2.特征分解方针的特征值和特征向量特征分解的性质对称矩阵的特征分解特征分解和子空间的关系3.PCA优化问题PCAPCA举例1.线性代数基础标量、向量、矩阵和...原创 2019-12-21 21:13:24 · 579 阅读 · 0 评论 -
凸优化进阶之对偶理论
1.对偶一般优化问题Lagrargian主问题Lagrangian对偶函数Lagrangian对偶问题对偶几何解释强弱对偶解释从对偶问题解主问题KKT条件主对问题思考2.问题案例略...原创 2019-12-19 14:39:33 · 399 阅读 · 0 评论 -
凸优化基础知识
文章目录1.一般优化问题无约束优化问题一般约束优化问题补充知识（Ax=b）2.凸优化问题为什要凸优化？仿射集和凸集常见的凸集1补充知识（向量范数）常见的凸集2常见的凸集3凸集的性质凸函数凸函数的一阶二阶条件常见的凸函数1常见的凸函数2保凸运算凸函数和凸集的关系凸优化问题的标准形式凸优化问题的重要结论典型的凸优化问题案例1：凸优化问题转成标准型基本弄明白了其中原理，但还有细节问题需要进一步加深理解...原创 2019-12-13 11:06:44 · 597 阅读 · 0 评论 -
优化迭代方法和深度学习反向传播
优化迭代方法统一论线性回归建模线性回归过程：训练，预测线性回归公式模型表示及向量化表示训练样本：{(x(i),y(i))}训练样本集：{(x(i),y(i));i=1,⋯ ,N}向量化：{(x1(i),x2(i),y(i))}→{(x(i),y(i))},x(i)=[x1(i)x2(i)]我们学习什么？f(x)=wx+bf(x(i))≈y(i)f(x)=wTx+bf(x(i))≈y(i)\...原创 2019-12-22 16:11:30 · 834 阅读 · 0 评论 -
Pytorch迁移学习实现CNN图片分类
文章目录0 前言1 实现数据预处理模型构建训练&测试2 总结0 前言1 实现数据预处理模型构建训练&测试2 总结原创 2019-12-07 12:14:03 · 1580 阅读 · 1 评论 -
Pytorch三种模型实现情感分析——Word Averaging、RNN、CNN
文章目录0.前言1.Pytorch实现1.1 数据预处理1.2 模型构建1.3 训练&评价2.总结0.前言本文将通过训练一个文本分类模型来实现情感分析任务。其中包括torchtext的基本用法——BucketIterator和torch.nn的一些基本模型——Conv2d。1.Pytorch实现1.1 数据预处理在情感分类任务中，我们的数据包括文本字符和两种情感，“pos”和“n...原创 2019-11-24 23:28:23 · 5156 阅读 · 1 评论 -
Pytorch实现语言模型
文章目录0.前言1.实现RNN语言模型1.1 数据预处理1.2 模型构建1.3 模型训练和评价0.前言说到语言模型，可能会想到n-gram这一经典的统计语言模型。但是究竟什么是语言模型呢？简单一句话来说，就是一句话出现的可能性。关于这个的理解可以参考这里本次实现当然是使用神经网络语言模型（NNLM），其本质还是一个n元语言模型，输出词只与前n个词有关，如果想要学习更多的历史词，需要使用RNN...原创 2019-11-24 15:50:06 · 1258 阅读 · 2 评论 -
Pytorch词向量word2vec的实现（Skip-gram+negative sampling）
文章目录0前言1 数据初探2 算法总体框架2.1 数据预处理2.2 构建模型2.3 训练词向量0前言2013年，谷歌发布了一款用于训练词向量的工具——word2vec，可谓是经典，对NLP的贡献极大。对于这篇文章，也是膜拜至极，里面的思想让人回味无穷，当然了，其中的精华还是来自于上个世纪一个大佬的一句话“You shall know a word by the company it keep...原创 2019-11-17 16:48:38 · 1760 阅读 · 1 评论 -
Pytorch入门——两层神经网络（Numpy手写+Pytorch实现）
既然是实战，作为开篇，需要自己明确一下，理论的东西少整，实战就要多写代码。先上一个重要的方法论吧，具有指导意义，也可用于学习其他技术上面：文章目录1. Pytorch入门2. 两层神经网络的实现2.1 Numpy手写2.2 Pytorch实现1. Pytorch入门简单总结一些常用的一些操作吧，只是一个非常浅显总结。x = torch.empty(5,3) #构造未初始化的tensor...原创 2019-11-13 09:43:56 · 1108 阅读 · 0 评论 -
CS224N课程《NLP》内容索引及相关资源
文章目录1.课程目录1.1 词向量1.2 神经网络1.3 语言结构：依赖解析1.4 RNN和语言模型1.5 机器翻译1.6 问答系统1.7 NLP中的CNN1.8 子词模型1.9 上下文表示（Contextual Representations）1.10 Transformer1.11 Self-Attention1.课程目录1.1 词向量word2vecGloVe多重词义论文阅读笔...原创 2019-11-19 22:29:38 · 156 阅读 · 0 评论 -
SVM之优化问题
今天结合着人工智能课讲的SVM，相当于是又复习了一遍SVM，果然丝滑顺畅了许多，虽然许多细节问题还是不甚解，但是那都是需要下一步的计划才能解决的问题了，现在的知识再加上专项问题和实战，应该够用了，多多复习。1.SVM建模线性分类器和最优线性分类器点到超平面的距离SVM目标函数简化目标函数2.SVM求解之对偶问题QP问题SVM对偶问题KKTSVM最终步骤SM...原创 2019-12-19 17:32:23 · 3275 阅读 · 1 评论 -
关于SVM初步的理解
最近模式识别课开始学SVM了，这次趁着这个机会把SVM弄明白。这边文章先把老吴机器学习课上的SVM部分总结一下，作为一个初级的入门总结。文章目录1. 优化目标2.大边界的直观理解3.大边界分类背后的数学4.核函数5.使用支持向量机1. 优化目标SVM之所以使用如此广泛，其在学习复杂的非线性方程方面更加强大。这里我们不用像教课一样上来就介绍什么函数间隔，几何间隔。直接上目标函数吧。从逻辑回...原创 2019-11-21 19:46:39 · 660 阅读 · 0 评论 -
osuna定理(theorem)
最近在实现SMO，读到论文中关于算法的收敛性，有提到osuna定理，网上查了查资料也不是很多，先占个坑。来源：Osuna, E.; Freund, R.; Girosi, F. (1997). “An improved training algorithm for support vector machines”.维基百科原文：In 1997, E. Osuna, R. Freund, a...原创 2019-12-30 11:06:29 · 755 阅读 · 0 评论 -
机器学习算法实现(5):手写随机森林代码
【系列开头】开这个系列是因为最近学习某些算法纸上谈兵太久，算法流程背的再熟，没有实现过就没法真正的理解算法的细节。这个系列要实现算法的顺序为逻辑回归、决策树(CART)、AdaBoost、GBDT。其他算法根据后续学习情况进行添加。这是添加的第一个算法，与之前的Boosting同属于提升算法的一种，Bagging算法中的随机森林。随机森林，顾名思义，就是随机特征+森林般多的树。实现代码也是...原创 2020-04-26 01:01:01 · 2095 阅读 · 1 评论 -
机器学习算法实现(3):手写AdaBoost与GBDT
【系列开头】开这个系列是因为最近学习某些算法纸上谈兵太久，算法流程背的再熟，没有实现过就没法真正的理解算法的细节。这个系列要实现算法的顺序为逻辑回归、决策树(CART)、AdaBoost、GBDT。其他算法根据后续学习情况进行添加。...原创 2020-04-23 23:40:17 · 662 阅读 · 0 评论 -
机器学习算法实现(2):ID3、C4.5和CART实现分类与回归的对比
【系列开头】开这个系列是因为最近学习某些算法纸上谈兵太久，算法流程背的再熟，没有实现过就没法真正的理解算法的细节。这个系列要实现算法的顺序为逻辑回归、决策树(CART)、AdaBoost、GBDT。其他算法根据后续学习情况进行添加。本文介绍ID3和C4.5两种算法的决策树实现，并分别用来解决分类和回归问题。...原创 2020-04-23 11:18:49 · 1290 阅读 · 0 评论 -
机器学习算法实现(1):逻辑回归实现二分类
开这个系列是因为最近学习某些算法纸上谈兵太久，算法流程背的滚瓜烂熟，仅靠记忆对理解算法已经没有太大帮助，希望能通过自己手写实现+多种应用场景的使用更加深入的了解算法，做到手到擒来。这个系列要实现算法的顺序为逻辑回归、决策树(CART)、AdaBoost、GBDT。对于算法掌握贵在精，其次在追求全，其他算法如SVM根据情况后续添加。关于逻辑回归的原理就不多讲，书上都有，不熟多看两遍就能明白其大概...原创 2020-04-20 17:54:41 · 832 阅读 · 0 评论 -
机器学习算法必知必会
目标：每周学会一个《统计学习方法》中的算法时间：2019.10.7~12.151. 感知机2. K近邻法3. 朴素贝叶斯法4. 决策树5. 逻辑斯蒂回归与最大熵模型6. 支持向量机7. 提升方法8. EM算法9. 隐马尔科夫模型10. 条件随机场...原创 2019-10-27 10:23:05 · 460 阅读 · 0 评论 -
应用机器学习的几个策略（一）
文章目录1. 为什么是ML策略2. 正交化3. 单一数字评估指标4. 满足和优化指标5. 训练/开发/测试集划分6. 开发集和测试集的大小7. 什么时候该改变开发/测试集和指标8. 为什么是人的表现9. 可避免偏差10. 理解人的表现11. 超过人的表现12. 改善你的模型的表现1. 为什么是ML策略2. 正交化3. 单一数字评估指标4. 满足和优化指标5. 训练/开发/测试集划分6....原创 2019-12-08 16:08:34 · 587 阅读 · 0 评论 -
应用机器学习的几个策略（二）
文章目录1. 进行误差分析2. 清楚标注错误的数据3. 快速搭建你的第一个系统4. 使用来自不同分布的数据进行训练和测试5. 数据分布不匹配时候的偏差与方差的分析6. 处理数据不匹配问题7. 迁移学习8. 多任务学习9. 什么是端到端的深度学习10. 是否要使用端到端的深度学习1. 进行误差分析2. 清楚标注错误的数据3. 快速搭建你的第一个系统4. 使用来自不同分布的数据进行训练和测试...原创 2019-12-08 16:08:06 · 241 阅读 · 0 评论 -
超参数调试和Batch正则化
文章目录1. 调试处理2. 为超参数选择合适的范围3. 超参数调试实践4.Batch归一化4.1 归一化网络的激活函数4.2 将Batch Norm拟合进神经网络4.3 Batch Norm为什么奏效4.4 测试时的Batch Norm8. Softmax回归9. 训练一个Softmax分类器10. 深度学习框架11. TensorFlow1. 调试处理学习速率是最重要的超参数。网格法，...原创 2019-12-06 15:13:43 · 284 阅读 · 0 评论 -
深度学习优化算法基础
文章目录1. Mini-batch梯度下降2. 理解mini-batch梯度下降算法3. 指数加权平均数4. 理解指数加权平均数5.指数加权平均的偏差修正6. 动量梯度下降法7. RMSprop8. Adam优化算法9. 学习率衰减10. 局部最优的问题1. Mini-batch梯度下降2. 理解mini-batch梯度下降算法3. 指数加权平均数4. 理解指数加权平均数5.指数加权平均...原创 2019-12-05 08:14:20 · 530 阅读 · 0 评论 -
深度学习实践基础
文章目录1. 训练，验证，测试集2. 偏差，方差3. 机器学习基础4. 正则化5. 为什么正则化有利于预防过拟合6. dropout正则化7. 理解dropout8. 其他正则化方法9. 归一化输入10. 梯度消失/梯度爆炸11. 神经网络的权重初始化12. 梯度的数值逼近13. 梯度检验14. 梯度检验应用的注意事项1. 训练，验证，测试集2. 偏差，方差3. 机器学习基础4. 正则化...原创 2019-12-04 10:46:27 · 400 阅读 · 0 评论 -
序列模型和注意力机制基础
1. 序列结构的各种序列2. 选择最可能的句子3. 集束搜索4. 改进集束搜索5. 集束搜索中的误差分析6. Blue得分7. 注意力模型的直观理解8. 注意力模型9. 语音识别10. 触发字检测11. 结论和致谢...原创 2019-12-03 18:17:26 · 389 阅读 · 0 评论 -
词嵌入基础及其使用
文章目录1.词汇表征2. 使用词嵌入3. 词嵌入的特性4. 嵌入矩阵5.学习词嵌入6. Word2Vec7. 负采样8.GloVe词向量9. 情感分类10.词嵌入除偏1.词汇表征2. 使用词嵌入3. 词嵌入的特性4. 嵌入矩阵5.学习词嵌入6. Word2Vec7. 负采样8.GloVe词向量9. 情感分类10.词嵌入除偏...原创 2019-12-02 09:01:07 · 2161 阅读 · 2 评论 -
RNN面试看这一篇就够了
文章目录1. 为什么选择序列模型2. 数学符号3. 循环神经网络模型4.通过时间的反向传播5. 不同类型的循环神经网络6. 语言模型和序列生成7.对新序列采样8.循环神经网络的梯度消失9. GRU单元10. 长短期记忆11.双向循环神经网络12. 深层循环神经网络1. 为什么选择序列模型2. 数学符号3. 循环神经网络模型4.通过时间的反向传播5. 不同类型的循环神经网络6. 语言模型...原创 2019-12-01 09:18:05 · 1002 阅读 · 0 评论 -
计算机视觉应用——人脸识别和神经风格转换
1. 什么是人脸识别人脸识别问题比人脸验证问题难很多，前者需要识别的是K个图片，后者有对应的ID号，是1:1问题。2. One-Shot学习一次学习问题：只能通过一个样本进行学习，即，通过学习每个人的一张图片，来认出同一个人。3. Siamese网络4. Triplet损失5. 人脸验证与二分类6. 什么是神经风格迁移？7.深度卷积网络学习什么？8.代价函数9. 内容代价函数...原创 2019-11-29 19:11:44 · 378 阅读 · 0 评论 -
目标检测（Object detection）基础
文章目录1. 目标定位2. 特征点检测3. 目标检测4. 滑动窗口的卷积实现5. Bounding Box预测6. 交并比7. 非极大值抑制8.Anchor Boxes9.YOLO算法10.候选区域1. 目标定位图片分类任务之前我们很熟悉了，本节学习定位分类问题。不仅仅要判断图片是不是一辆汽车，还要在图中标记其位置，后面还会讲多目标定位。图片分类任务流程很熟悉，比如，输入一张图片到多层卷...原创 2019-11-28 17:19:26 · 1312 阅读 · 0 评论