机器学习杂货铺1号店

为什么树模型在表格型数据上会优于神经网络模型呢？

GBRank模型介绍以及推导

视频分析与多模态融合之一，为什么需要多模态融合 FesianXu 20210130 at Baidu search team前言在前文《万字长文漫谈视频理解》[1]中，笔者曾经对视频理解中常用的一些技术进行了简单介绍，然而限于篇幅，意犹未尽。在实习工作中，笔者进一步接触了更多视频分析在视频搜索中的一些应用，深感之前对视频分析在业界中应用的理解过于狭隘。本文作为笔者对前文的一个补充，进一步讨论一下视频分析以及其在搜索推荐系统中的一些应用。本文是该系列的第一篇，主要介绍了通用的视频图...

紧致卷积网络设计——Shift卷积算子 FesianXu 2020/10/29 at UESTC前言最近笔者在阅读关于骨骼点数据动作识别的文献Shift-GCN[2]的时候，发现了原来还有Shift卷积算子[1]这种东西，该算子是一种可供作为空间卷积的替代品，其理论上不需要增添额外的计算量和参数量，就可以通过1x1卷积实现空间域和通道域的卷积，是一种做紧致模型设计的好工具。本文作为笔记纪录笔者的论文阅读思考， 如有谬误请联系指出，转载请联系作者并注明出处，谢谢。∇\nabla∇ 联系方.

运动的零阶分解与一阶分解以及在图片动画化中的应用 I（The 0th-order and first-order decomposition of motion and the application in image animation I） FesianXu 2020/09/16 at UESTC前言最近基于AI的换脸应用非常的火爆，同时也引起了新一轮的网络伦理大讨论。如果光从技术的角度看，对于视频中的人体动作信息，通常可以通过泰勒展开分解成零阶运动信息与一阶运动信息，如文献...

本文纪录常用的人体铰链关节点数据集中的各个关节点的排序和名字等。

前言指标很重要，合适的指标更是重中之重。mean Average Precision, mAP是常见的评估机器学习模型性能的指标，其在物体检测任务中也有着广泛地应用，是诸多Object Detection任务的主要评估指标，本文总结一些关于mAP的理解。如有谬误，请联系指出，本文参考[1,2]。注： mAP或者AP在物体检测和信息检索中，其定义有所不同，本文特定在物体检测场景中的定义。精确率和召回率我们在[3]一文中介绍过一些常见的评估指标，其中就包括了精确率(precision)和召回率(rec

数据，模型，算法共同决定深度学习模型效果 2020/4/20 FesianXu在文献[1]中对few-shot learning进行了很好地总结，其中提到了一个比较有意思的观点，这里和大家分享下。先抛开few-shot learning的概念，我们先从几个基本的机器学习的概念进行分析。期望风险最小化（expected risk minimization）： 假设数据分布...

漫谈视频理解 2020/4/12 FesianXu前言AI算法已经渗入到了我们生活的方方面面，无论是购物推荐，广告推送，搜索引擎还是多媒体影音娱乐，都有AI算法的影子。作为多媒体中重要的信息载体，视频的地位可以说是数一数二的，然而目前对于AI算法在视频上的应用还不够成熟，理解视频内容仍然是一个重要的问题亟待解决攻克。本文对视频理解进行一些讨论，虽然只是笔者对互联网的一些...

算法原理Matlab实现% 没有加入冲量项的随机梯度下降法实现syms x y realy(x) = x^2+2*x+10 ;delta(x) = -diff(y(x)) ;step = 0.1 ;first_x = 10 ;x_current = first_x ;x_next = first_x ;show_tmp = 0 ;show = [] ;counter =

前言衡量一个机器学习算法的优劣有许多指标可以参考，对于不同任务的不同算法需要采用不同的指标进行衡量而不能一概而论，正如没有免费午餐定律所揭示的，没有任何一个算法可以在所有数据集上表现良好，因此需要用合适的性能评判指标去选择合适的机器学习模型。这里浅谈一些评判指标，部分素材来自《机器学习》 周志华。 如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.c

经验误差，泛化误差 前言我们在上篇博文 《机器学习模型的容量，过拟合与欠拟合》 中曾经提到过模型的泛化问题，指的就是描述一个模型在未见过的数据中的表现能力。这里再提出了，用于比较经验误差。 联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://github.com/FesianXu假设我们现在有数据集D={(x1,y

在机器学习中epoch, iteration, batch_size的区别在机器学习的模型训练中，经常会接触到epoch，iteration，batch_size这几个术语，这里做个小辨析。batch_size(批大小)，指的是在SGD(随机梯度下降法)中选择的一个批次的大小，关于SGD参见博文《随机梯度下降法，批量梯度下降法和小批量梯度下降法以及代码实现》iteration(迭代)，...

前言线性回归是一种回归(Regression)方法，常用于预测连续输出，而对于离散的分类输出就难以解决。因此在基于线性回归的前提下，引入了激活函数的概念，形成了Logistic回归。在这里简述自己对Logistic回归的所见所学。如有谬误，请联系指正。转载请注明出处。联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://git

理解多维高斯分布前言在数理统计和机器学习中，经常用到高斯分布，这里根据网上的资源和理解，对多维高斯分布做一个小总结。如有谬误，请联系指正。转载请注明出处。联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://github.com/FesianXu一维高斯分布标准的一维高斯分布是0均值和单位...

反向传播算法及其梯度扩散前言最近开始认真学习了下反向传播算法和梯度传递的问题，其本质是导数的链式法则的应用，由此可以分析出为什么sigmoid激活函数不适合用于做多层网络的激活函数，可以考虑联系我的另一篇关于激活函数的文章。如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://gith

前言在机器学习中，不可避免要接触到训练集，测试集以及检验集，这些数据集各有各的作用，为机器学习算法的泛化保驾护航，这里结合《Deep Learning》中的关于训练集，测试集和检验集的讨论，浅谈所见所学。 如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://github.com/F

前言过拟合与欠拟合是机器学习中永恒的话题，而过拟合这个问题也是机器学习中经常导致模型失败的罪魁祸首，这里结合《Deep Learning》一书中的关于容量，过拟合与欠拟合的讨论，总结,摘抄一些观点。 如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://github.com/Fesi

前言在神经网络中，有线性部分，也存在激活函数作为线性部分的非线性激活，这里的激活函数往往是非常重要的，合适的选用有助于提高整个神经网络的性能，这里根据网络的一些所见所学和自己的理解，结合上一篇关于反向传播算法的内容，浅谈下激活函数的选择。 如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: htt

前言本文基于反向传播算法的原理，实现了一个基于numpy和python的三层全连接神经网络，用于分类任务。其中在实现过程中，将会用代码的形式呈现梯度消失的现象，本文中的符号请参考我的前文《反向传播算法的公式推导》，代码将由github托管，有帮助的朋友欢迎star。 如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.com QQ: 97392619

前言梯度下降法是深度学习领域用于最优化的常见方法，根据使用的batch大小，可分为随机梯度下降法（SGD）和批量梯度下降法（BGD）和小批量梯度下降法（MBGD），这里简单介绍下并且提供Python代码演示。 如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://github.com

前言线性回归模型是机器学习中一个基本回归模型，是许多模型的基础，学习好线性回归模型有助于我们的机器学习，这里简单介绍下线性回归模型并且提供Python代码演示。 如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://github.com/FesianXu 代码开源：click线性回

前言感知器模型是线性分类模型的一个基本模型，是当今主流的神经元基本结构，掌握好感知器模型有利于我们的机器学习进一步学习，这里简单介绍下感知器模型并且用Python代码演示。 如有谬误，请联系指正。转载请注明出处。 联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://github.com/FesianXu **代码开源：

《SVM笔记系列之三》拉格朗日乘数法和KKT条件的直观解释 前言在SVM的推导中，出现了核心的一个最优化问题，这里我们简单介绍下最优化问题，特别是带有约束的最优化问题，并且引入拉格朗日乘数法和广义拉格朗日乘数法，介绍并且直观解释了KKT条件，用于解决带约束的最优化问题。本人无专业的数学学习背景，只能在直观的角度上解释这个问题，如果有数学专业的朋友，还望不吝赐教。 如有误，请联系指正。转载请注明出

《SVM笔记系列之一》什么是支持向量机SVM 前言支持向量机是常用的，泛化性能佳的，而且可以应用核技巧的机器学习算法，在深度学习流行前是最被广泛使用的机器学习算法之一，就算是深度学习流行的现在，支持向量机也由于其高性能，较低的计算复杂度而被人们广泛应用。这里结合李航博士的《统计学习方法》一书的推导和林轩田老师在《机器学习技法》中的讲解，谈谈自己的认识。 如有谬误，请联系指正。转载...

《SVM笔记系列之二》SVM的拉格朗日函数表示以及其对偶问题 前言支持向量机的对偶问题比原问题容易解决，在符合KKT条件的情况下，其对偶问题和原问题的解相同，这里我们结合李航博士的《统计学习方法》一书和林轩田老师的《机器学习技法》中的内容，介绍下SVM的对偶问题。本人无专业的数学学习背景，只能直观上理解一些问题，请数学专业的朋友不吝赐教。 如有谬误，请联系指正。转载请注明出处。 联系方式：

《SVM笔记系列之四》最优化问题的对偶问题 前言在SVM的推导中，在得到了原问题的拉格朗日函数表达之后，是一个最小最大问题，通常会将其转化为原问题的对偶问题即是最大最小问题进行求解，我们这里简单介绍下最优化问题的对偶问题。本人无专业的数学学习背景，只能在直观的角度上解释这个问题，如果有数学专业的朋友，还望不吝赐教。注意，本文应用多限于SVM，因此会比较狭隘。 如有谬误，请联系指正。转载请注明出处

《SVM笔记系列之五》软间隔线性支持向量机 前言在以前的文章中，我们介绍了支持向量机的基本表达式，那是基于硬间隔线性支持向量机的，即是假设数据是完全线性可分的，在数据是近似线性可分的时候，我们不能继续使用硬间隔SVM了，而是需要采用软间隔SVM，在这里我们简单介绍下软间隔线性支持向量机。本人无专业的数学学习背景，只能在直观的角度上解释这个问题，如果有数学专业的朋友，还望不吝赐教。 如有误，请联系

概率学派和贝叶斯学派的区别前言对于一个数学模型来说，最主要的莫过于根据观察到的数据进行模型的参数估计了，而概率学派和贝叶斯学派对于这个参数估计有着不同的做法，接下来我们讨论下。如有谬误，请联系指正。转载请注明出处。联系方式： e-mail: FesianXu@163.com QQ: 973926198 github: https://github.com/FesianXu...

贝叶斯之旅||第一讲，贝叶斯决策前言在机器学习中，有两大门派，分别是频率学派和贝叶斯学派，在现在深度学习大行其道的时代下，数据量空前庞大，频率学派占据了比较大的优势，而贝叶斯学派似乎有点没落，然而，贝叶斯理论在机器学习中是有着很重要的地位的，它从理论上揭示了模型为什么可以工作，为什么会fail，在数据量必须小的一些任务中，通常也可以表现得比频率学派的好，让我们开始我们的贝叶斯之旅吧。这一讲，主...

前言** 机器学习中有两种大类的模型，分别是生成模型和判别模型，其分别代表了不同的预测思想，我们这里讨论一下两者的异同。**如有谬误，请联系指正。转载请注明出处。联系方式：e-mail: FesianXu@163.comQQ: 973926198github: https://github.com/FesianXu机器学习的目标首先，我们先要讨论整个机器学习的目标，在应用中最常见...

贝叶斯之旅||第二讲，分类问题的两大过程，推理和决策前言前面[1]我们介绍了贝叶斯决策的一些知识，介绍了基于最小化分类错误率和最小化分类损失的两种决策准则，接下来，我们简单讨论下分类问题中的二个步骤，推理和决策。如有谬误，请联系指正。转载请注明出处。联系方式：e-mail: FesianXu@163.comQQ: 973926198github: https://github.com...

贝叶斯曲线拟合以及对L2正则化的贝叶斯解释前言在以前文章中，我们讨论过《概率学派和贝叶斯学派的区别》和《 <机器学习系列> 线性回归模型》，这里我们讨论下曲线拟合问题中的数据点的噪声问题，以及根据贝叶斯理论的L2正则化解释。如有谬误，请联系指正。转载请注明出处。联系方式：e-mail: FesianXu@163.comQQ: 973926198github: https:...