Week 17: 深度学习补遗:Boosting和量子逻辑门
摘要
本周继续跟随李宏毅老师的课程,学习了上周的Adaboost训练分类器后的集成方法,同时学习了量子计算相关进阶内容。对Boosting的一般方法进行了学习,同时对量子逻辑门的基本概念有了一定的了解。
Abstract
This week, I continued following Professor Hung-yi Lee’s course, learning ensemble methods following last week’s study of Adaboost training classifiers, while also covering advanced topics in quantum computing. I studied the general methodology of Boosting and gained a foundational understanding of the basic concepts of quantum logic gates.
1. Adaboost聚合分类器的方法
对于训练出的TTT个分类器f1(x),…,ft(x),…,fT(x)f_1(x),\dots,f_t(x),\dots,f_T(x)f1(x),…,ft(x),…,fT(x),需要经过下述步骤聚合成一个模型。
- 统一权重
- H(x)=sign(∑t=1Tft(x))H(x)=sign(\sum_{t=1}^Tf_t(x))H(x)=sign(∑t=1Tft(x))
- 非统一权重
- H(x)=sign(∑t=1Tαtft(x))H(x)=sign(\sum_{t=1}^T\alpha_tf_t(x))H(x)=sign(∑t=1Tαtft(x))
即,当H(x)≥0H(x)\geq0H(x)≥0时,属于类别1;而当H(x)<0H(x)<0H(x)<0时,属于类别2。而其中,αt=ln(1−ϵt)/ϵt\alpha_t=\ln\sqrt{(1-\epsilon_t)/\epsilon_t}αt=ln(1−ϵt)/ϵt,ut+1n=utn×e−yn^ft(xn)αtu^n_{t+1}= u_t^n\times e^{-\hat{y^n}f_t(x^n)\alpha_t}ut+1n=utn×e−yn^ft(xn)αt。简单来说,更小的误差会给分类器带来更大的权重。在合并分类器时,统一权重的方法不好,因为分类器有强和弱的分别,用非统一权重的方式更符合直觉。
2. Gradient Boosting方法
Adaboost是Boosting方法中的一个特例,普通的Boosting方法如下。
- 初始化函数g0(x)=0g_0(x)=0g0(x)=0
- 从t=1t=1t=1到TTT,找到一个函数ft(x)f_t(x)f

最低0.47元/天 解锁文章
626

被折叠的 条评论
为什么被折叠?



