qq_38824043的博客

原创 朴素贝叶斯

目录贝叶斯初识：基本方法：贝叶斯估计优缺点QA:贝叶斯初识：一种基于贝叶斯定理和特征条件独立假设的分类方法步骤：基于特征条件独立假设学习 输入/输出 联合分布基于此模型 对于给定输入x，利用贝叶斯原理求出后验概率最大的输出y基本方法：贝叶斯估计优缺点优点：逻辑简单，容易实现分类时空开销少缺点朴素贝叶斯的属性相互独立假设在实际应用中往往不成立，在属性较多或属性间相关性较强的时候分类效果不好QA:朴素贝叶斯朴素在哪...

原创 CART 分类 回归

占坑

原创 集成学习常见问题总览

检索关键词boosting bagging rf gbdt xgboost adaboost lightgbm1、随机森林和GBDT思想？ Bagging 和boosting。2、Boosting和bagging谁的树深要设置的小一些为什么boosting的树深度小，bagging的树深度大。因为boosting是低偏差的，所以树不必太深，且为了把boosting的方差也降低，树也要深度小。bagging是低方差的，为了降低偏差，把树的深度变大，这样能降低偏差。3、boosting xgbo.

原创 XGboost

什么是XGboostXGboost本质上还是GBDT，两者都是Boosting方法XGboost 和 GBDT的主要区别是目标函数的定义XGboost的目标函数是l()为损失函数是正则项constant是常数项XGboost 的核心算法思想：1、不断添加树，每添加一个树，即学习一个新的函数f(x)，去拟合上次预测的残差2、训练完成后得到k颗树，根据样本特征，在每棵树中都会落到一个叶子节点下3、叶子结点对应的值相加就是预测结果新加入的树如何构建呢？新的.

原创 Adaboost

Adaboost 的基本认识集成学习的一种集成学习： 建立多个模型 ，用某种方法， 将多个模型联系在一起， 使其输出结果优于单个模型Adaboost算法：建立多个弱分类器，给每个弱分类器赋予权重，将这些弱分类器结合在一起得到一个强分类器。弱分类器的训练过程是串行的，上一个弱分类器训练完成后才能进行下一个弱分类器的训练。在每个弱分类器的训练过程中，需要关注上一个弱分类器分类错误的样本点。用当前训练的弱分类器来弥补上一个弱分类器分类结果的不足。Adaboost 的推导首先假设有一个弱分类

原创 梯度提升决策树(GBDT)

GBDT(Gradient Boosting Decision Tree)，梯度提升决策树Boosting集成学习经典一类算法，属于个体学习器间存在较强依赖关系的一类，需以串行的序列化生成方法构建。步骤：先从训练集中训练出一个基学习器，根据基学习器的表现调整训练样本分布，使得在基学习器中做错的训练样本在后续受到更多关注。根据调整后的样本分布训练下一个基学习器GBDT原理：所有弱分类器结果相加等于预测值，下一个弱分类器去拟合误差函数对预测值的残差（预测值与真实值的误差）这里的弱分类器是

原创 随机森林

目录随机森林概念随机森林随机森林分类效果的影响因素随机森林的优缺点常见问题随机森林概念随机森林属于集成学习的一种。集成学习： 通过构建并结合多个分类器，完成学习任务。 期待状态，不同分类器‘和而不同’。主要有两类方法，a 个体学习器之间存在强依赖关系，需串行生成的序列化方法。代表算法 Boosting b 个体学习器间不存在强依赖关系，可同时生成的并行化方法。代表算法 Bagging 和 随机森林Bagging步骤：（1）给定包含m个样本的训练集，随机抽取一...

转载 python中 ‘==’ 和 ‘is’ 的区别

is 比较的是两个实例对象是不是完全相同，它们是不是同一个对象，占用的内存地址是否相同。莱布尼茨说过：“世界上没有两片完全相同的叶子”，这个is正是这样的比较，比较是不是同一片叶子（即比较的id是否相同，这id类似于人的身份证标识）。== 比较的是两个对象的内容是否相等，即内存地址可以不一样，内容一样就可以了。这里比较的并非是同一片叶子，可能叶子的种类或者脉络相同就可以了。默认会调用对象...

原创 决策树

目录概述特征选择决策树的生成ID3算法C4.5CART决策树的剪枝高频考点：概述决策树：被用于分类 回归任务特点： 树形结构，if-then规则的合集，模型可读性强、分类速度快决策树学习步骤： 特征选择、决策树的生成、决策树的修剪决策树学习的目标： 从训练数据中归纳出一组分类规则，与训练数据矛盾较小且具有较好的泛化能力学习方法：用损失函数表示上一目标，常用损失函数——正则化的极大似然特征选择目的： 选择对训练数据有足够分类能力的特征，提高.

原创 SVM 面试常见问题

SVM 推导 SVM 原理 LR和SVM的差别 SVM的代价函数是什么 SVM有哪些降低模型复杂度的方法 SVM怎么分类的，有哪些核函数，如何优化SVM？ svm常用核方法，并写出计算公式 svm中那些函数可以做核函数，做核函数的条件 svm中对偶以后用SMO求，为什么不用梯度...

原创 leetcode刷题

标签：数组，　双指针，　快慢指针题目描述：给定一个排序数组，你需要在原地删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。不要使用额外的数组空间，你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。示例：给定 nums = [0,0,1,1,1,2,2,3,3,4],函数应该返回新的长度 5, 并且原数组 nums 的前五个元素被修改为 ...

原创 K-means 知识点总结

重点：算法思想 使用条件 如何设置初始化点 如何确认K值 判断收敛的指标 发生震荡的原因及解决方法 聚类的评价函数 优缺点 伪代码 python实现算法思想：首先随机初始化K个中心点，计算训练样本点与K个中心点的距离。当样本点与第i个中心点的距离最近时， 该样本点被认定为从属于第i类。所有样本点确定好类别后，更新的中心点的位置。返回计算样本点与更新后的中心点的距离。重复...

转载 RNN LSTM 可变输入长度原理

http://www.yidianzixun.com/article/0IZXKDSe

原创 实习题库

算法：xgboost如何做到自定义损失函数 xgboost与gbdt和lightgbm 的区别 xgboost如何防止过拟合 为什么xgboost不用后剪枝分裂过程 决策树如何防止过拟合数据结构排序介绍，链表和数组区别，各种排序算法什么时候使用word2vec 原理 loss重点 CBOW和skip-garm它们的区别么？分别适用于什么场景？transform...

原创 常见NLP任务以及对应的数据集和SOTA结果

参考网址：https://nlpprogress.com/

转载 梯度消失解决方法

转载 python 位运算符

以二进制形式为基准

转载 超参设计经验

1、全连接网络，隐层节点个数设置

原创 机器学习和深度学习区别个人理解

机器学习 ： 需要人工设计特征， 在特征的基础上进行处理，进行下一步分类或回归任务（ps: 机器学习中重要的一个步骤就是特征工程）深度学习： 省去人工提特征步骤，将所有信息统统丢进网络中， 网络自我筛选哪些特征对任务有利，对其加以利用， 实现目标功能...

转载 机器学习小思

实际上机器学习算法只有关键两部分模型 从输入特征预测输出的函数 f(x) 目标函数 目标函数取得最大或最小时对应的参数值，就是模型参数的最优值。而很多时候只能获得目标函数的局部最大或最小值， 对应模型参数的局部最优质的用最简洁的方法理解一个算法， 只需理清这两个函数即可...

转载 python的class(类)中的object

https://blog.youkuaiyun.com/DeepOscar/article/details/80947155在python3中 object默认自动加载python 2 中性能有所不同

转载 基础原理

1）CNN原理，如何用在文本上，在什么情况下适合用CNN，在什么情况下用LSTM2）RNN系列，掌握RNN、LSTM和GRU的内部结构，RNN产生梯度消失的原因，LSTM如何解决，GRU对LSTM的改进。3）Word2vec工具，怎么训练词向量，skip-gram和cbow，可以参考一下：一篇通俗易懂的word2vec（也可能并不通俗易懂）4）Attention机制，比较常见的方法，可...

转载 深度学习基础及代码实现

转自 https://www.zybuluo.com/hanbingtao/note/433855