Week 17: 深度学习补遗:Boosting和量子逻辑门

Week 17: 深度学习补遗:Boosting和量子逻辑门

摘要

本周继续跟随李宏毅老师的课程,学习了上周的Adaboost训练分类器后的集成方法,同时学习了量子计算相关进阶内容。对Boosting的一般方法进行了学习,同时对量子逻辑门的基本概念有了一定的了解。

Abstract

This week, I continued following Professor Hung-yi Lee’s course, learning ensemble methods following last week’s study of Adaboost training classifiers, while also covering advanced topics in quantum computing. I studied the general methodology of Boosting and gained a foundational understanding of the basic concepts of quantum logic gates.

1. Adaboost聚合分类器的方法

对于训练出的TTT个分类器f1(x),…,ft(x),…,fT(x)f_1(x),\dots,f_t(x),\dots,f_T(x)f1(x),,ft(x),,fT(x),需要经过下述步骤聚合成一个模型。

  • 统一权重
    • H(x)=sign(∑t=1Tft(x))H(x)=sign(\sum_{t=1}^Tf_t(x))H(x)=sign(t=1Tft(x))
  • 非统一权重
    • H(x)=sign(∑t=1Tαtft(x))H(x)=sign(\sum_{t=1}^T\alpha_tf_t(x))H(x)=sign(t=1Tαtft(x))

即,当H(x)≥0H(x)\geq0H(x)0时,属于类别1;而当H(x)<0H(x)<0H(x)<0时,属于类别2。而其中,αt=ln⁡(1−ϵt)/ϵt\alpha_t=\ln\sqrt{(1-\epsilon_t)/\epsilon_t}αt=ln(1ϵt)/ϵt ut+1n=utn×e−yn^ft(xn)αtu^n_{t+1}= u_t^n\times e^{-\hat{y^n}f_t(x^n)\alpha_t}ut+1n=utn×eyn^ft(xn)αt。简单来说,更小的误差会给分类器带来更大的权重。在合并分类器时,统一权重的方法不好,因为分类器有强和弱的分别,用非统一权重的方式更符合直觉。

2. Gradient Boosting方法

Adaboost是Boosting方法中的一个特例,普通的Boosting方法如下。

  • 初始化函数g0(x)=0g_0(x)=0g0(x)=0
  • t=1t=1t=1TTT,找到一个函数ft(x)f_t(x)f
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值