
机器学习
文章平均质量分 84
herosunly
985院校硕士毕业,现担任算法工程师一职,获得优快云博客之星第一名,热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委,编写微软OpenAI考试认证指导手册。曾获得多项AI顶级比赛的Top名次,其中包括阿里云天池比赛第一名,科大讯飞分类挑战赛第一名,CCF信息分类比赛比赛第二名,开放原子分类比赛二等奖,CCF家族分类第四名,科大讯飞阿尔茨海默症预测挑战赛第四名,科大讯飞事件抽取挑战赛第七名。在技术创新领域拥有多项授权发明。曾辅导多位非科班出身的同学成功进入算法行业就业。希望和大家一起成长进步。
展开
-
简单线性回归的解析解(最小二乘法)
这里所说的简单线性指的是一元线性回归,即特征个数为1,并且样本个数为m个。符号表示中y^i\hat y^iy^i表示的是对第i个样本的预测值。 所以损失函数L(w,b)=∑i=1m(yi−y^i)2=∑i=1m(yi−(wxi+b))2L(w,b)=\sum \limits _{i=1} ^m(y^i-\hat y^i)^2=\sum \limits _{i=1} ^m(y^i-(wx^...原创 2019-07-22 10:31:40 · 3823 阅读 · 0 评论 -
梯度下降法
梯度下降法可以用来求凸函数的最小值。我们以一个开口朝上的抛物线方程为例,目标是求出它的最小值。原创 2019-03-23 16:29:54 · 11512 阅读 · 0 评论 -
在离线的centos6.5服务器上搭建tensorflow
现状 前段时间实现了一个深度学习检测模块,但产品所在环境为Centos6.5 64位版本,其环境软件版本(glibc, glibc++, python, python包)过低。但是由于产品部署环境为离线状态,所以各种包只能先下载好,然后制作成升级包,最终进行产品升级。预备知识1.Centos, RedHat, Fedora之间的关系如下图所示,具体可参考链接(https://danielm...原创 2019-03-29 15:26:40 · 3005 阅读 · 2 评论 -
GBDT算法梳理
GBDT算法梳理加法模型提升树利用加法模型与前向分步算法实现学习的优化过程考虑加法模型(additive model) f(x)=∑m=1Mβmb(x,γm) f(x)=\sum^M_{m=1}\beta_mb(x,\gamma_m) f(x)=m=1∑Mβmb(x,γm) 其中,b(x,λm)b(x,\lambda_m)b(x,λm)是基函数,λm\lambda_mλm为基函数的...原创 2019-01-29 18:47:41 · 12906 阅读 · 0 评论 -
XGBoost算法梳理
XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型,所以它是将许多树模型集成在一起,形成一个很强的分类器。而所用到的树模型则是CART回归树模型。讲解其原理前,先讲解一下CART回归树。一、CART回归树CART回归树是假设树为二叉树,通过不断将特征进行分裂。比如当前树结点是基于第j个特征值进...原创 2019-02-01 19:58:21 · 15028 阅读 · 0 评论 -
集成算法之随机森林
集成算法之随机森林集成算法集成思想:对于比较复杂的任务,综合多人的意见来进行决策会比“一家独大”更好。也就是通过适当的方式集成许多“个体模型”所得到的最终模型要不单独的“个体模型”。如何选择、生成“个体模型” 弱学习模型:决策树,决策树桩如何综合多个模型: 将相同类型但训练集不同的弱分类器进行提升 将相同类型但权重不同的弱分类器进行提升 将不同类型的弱分类器进行提升集成框架...原创 2019-01-27 21:12:40 · 13726 阅读 · 2 评论 -
决策树缺失值处理和剪枝
决策树缺失值处理和剪枝缺失值处理剪枝缺失值处理原始数据为:我们开始计算第一个分叉点是用哪个特征?我们对ID3算法进行修正。包含缺失值属性样本的信息增益 = p * (不包含缺失值属性样本的信息增益)。由于前面对计算过程以及比较熟悉,所以我们只在第一次分叉中计算色泽这个属性的信息增益。Gain(all_data) = p * (Gain(not_missing_data))Gain(no...原创 2019-01-20 16:34:07 · 11521 阅读 · 3 评论 -
决策树first task之框架搭建和提出问题
问题1:为什么需要学习决策树?问题2:决策树需要哪些前导知识?问题3:什么是决策树?它的结构是什么样的?问题4:决策树生长的过程是什么?问题5:决策树停止的条件是什么?问题6:决策树中使用到的算法,在决策树中起到什么作用?它的发展历史(ID3、C4.5、CART)是什么样,都能解决什么样的问题?问题7:什么场景下可以使用决策树?问题8:什么情景下不可使用决策树?问题9:理论中的决策...原创 2019-01-15 09:36:35 · 10858 阅读 · 2 评论