线性回归和概率模型(逻辑回归和朴素贝叶斯)

概率模型与回归方法详解 本博客深入探讨了多项分布的性质及其均值、方差和协方差的推导,介绍了逻辑回归扩展至多类分类的方法——softmax函数,推导了岭回归的闭式解和指数分布参数的最大似然估计。此外,博客还涵盖了线性回归、岭回归和LASSO回归在小数据集上的比较,隐马尔可夫模型的对数域前向-后向算法,以及高斯过程在多类分类任务中的应用。内容广泛涉及统计建模、机器学习和概率图模型的核心方法。 阅读详情

本篇主要讲线性回归和逻辑回归。

线性回归

还记得PLA吗?我们可以把他应用于分类申请信用卡的客户,以辅助决策是否发信用卡。但是仅仅决定是否给某个客户发信用卡还不够,我们还需要决定给他多少额度?
像这种目标是一个连续随机变量的预测问题就是一个回归问题。
线性回归即一个线性的回归问题。目标函数通常为平方损失函数。

最小二乘法

把常数项也当做一个特征维度,则线性回归的拟合函数可以表示为 h ( x ) = w T x h(x)=w^Tx h(x)=wTx
我们希望样本点离h(x)越近越好。即目标损失函数为最小化他们的残差。通常使用残差损失平方函数 l o s s ( x ) = 1 N ∑ i ( w T x n − y n ) 2 = 1 N ∣ ∣ X W − Y ∣ ∣ 2 loss(x)=\frac1N\sum_i(w^Tx_n-y_n)^2=\frac1N||XW-Y||^2 loss(x)=N1​i∑​(wTxn​−yn​)2=N1​∣∣XW−Y∣∣2
后面为矩阵向量表达方式,其中X是横着放,即一行代表一个样本。
现在我们来求解w.
l o s s ( X ) = 1 N ( X W − Y ) T ( X W − Y ) loss(X)=\frac1N(XW-Y)^T(XW-Y) loss(X)=N1​(XW−Y)T(XW−Y) = 1 N ( W T X T X W − 2 W T X T Y − Y T Y ) =\frac1N(W^TX^TXW-2W^TX^TY-Y^TY) =N1​(WTXTXW−2WTXTY−YTY) ∇ W = 2 N ( X T X W − X T Y ) = 0 \nabla_W=\frac2N(X^TXW-X^TY)=0 ∇W​=N2​(XTXW−XTY)=0 ⟹    W = ( X T X ) − 1 X T Y \Longrightarrow\;W=(X^TX)^{-1}X^TY ⟹W=(XTX)−1XTY
从上式可知当 X T X X^TX XTX可逆时,目标函数存在解析解。
一般情况下,当样本数量远大于特征维度d+1时, X T X X^TX XTX是可逆的。当不可逆时,可以通过计算软件求解可行解甚至近似解。

特点:简单、计算快,容易理解(至少数学上容易理解),当样本数量远大于特征维度d+1时, X T X X^TX XTX是可逆的。可以得到解析解。但是如果特征间有很高的共线性,会导致帽子矩阵, X T X X^TX XTX趋于奇异矩阵,①不容易获得解析解,②对随机误差敏感,产生很大方差,泛化能力差。

Lasso

如果我们对目标函数做一定的惩罚以提高泛化能力,做L1正则。则目标函数为 1 N ∣ ∣ X W − Y ∣ ∣ 2 + α ∣ ∣ W ∣ ∣ 1 \frac1N||XW-Y||^2+\alpha||W||_1 N1​∣∣XW−Y∣∣2+α∣∣W∣∣1​
对目标函数做L1正则,会得到稀疏的解。通常用于特征太多,样本少时的情形。可以用来选择特征。

岭回归

对最小二乘法做L2正则。目标函数变为 1 N ∣ ∣ X W − Y ∣ ∣ 2 + α ∣ ∣ W ∣ ∣ 2 \frac1N||XW-Y||^2+\alpha||W||_2 N1​∣∣XW−Y∣∣2+α∣∣W∣∣2​
这个目标函数的解能解决一部分共线性,具有更好的泛化能力。

我们可以使用 α 和 W \alpha和W α和W画出岭脊图,根据系数的图变化情况选择特征。例如某个特征的线不是单调的,我们可以抛弃他。

使用线性回归来做分类

他们的关联如下在这里插入图片描述我们发现线性分类的target是线性回归的子集,目标函数也仅仅是回归目标函数和指示函数sign的复合。
我们来比较两种误差方式如下图。
在这里插入图片描述再根据VC理论有 E o u t ( 0 / 1 ) ≤ E i n ( 0 / 1 ) + 8 N ln ⁡ 4 ( 2 N ) d v c δ E_{out}(0/1)\leq E_{in}(0/1)+\sqrt{\frac8N\ln{\frac{4(2N)^{d_{vc}}}{\delta}}} Eout​(0/1)≤Ein​(0/1)+N8​lnδ4(2N)dvc​​ ​ ≤ e r r s q r + 8 N ln ⁡ 4 ( 2 N ) d v c δ \leq err_{sqr}+\sqrt{\frac8N\ln{\frac{4(2N)^{d_{vc}}}{\delta}}} ≤errsqr​+N8​lnδ4(2N)dvc​​ ​
满足VC理论,故可以使用线性回归来做线性分类,且效果不会差太多。

逻辑回归

接下来开介绍概率模型。其实决策树也是一种概率,由于决策树家族的东西有点多,我觉得单独写一篇。

sigmoid function

如果我们去看病,医生给我们诊断的时候,并不仅仅是说是否患病,还关心准确率。患病的几率是多少?患某个病的概率又是多少?PLA显然无法解决这个问题。由于概率的范围在0——1之间,故我们希望输出的结果也是在这个范围内。
sigmoid function非常接近这个要求: θ ( s ) = 1 1 + e − s \theta(s)=\frac 1 {1+e^{-s}} θ(s)=1+e−s1​
故目标函数为 1 1 + e − w T x \frac 1 {1+e^{-w^Tx}} 1+e−wTx1​

sigmoid function有如下性质 θ ( − s ) + θ ( s ) = 1 \theta(-s)+\theta(s)=1 θ(−s)+θ(s)=1 θ ( s ) > 0 \theta(s)>0 θ(s)>0,故满足概率的定义:非负性、规范性(全概率为1)、可列可加性(相互独立事件集的概率等于各自的概率之和)。
具有性质: θ ( W T X ) 1 − θ ( W T X ) = W T X \frac {\theta(W^TX)}{1-\theta(W^TX)}=W^TX 1−θ(WTX)θ(WTX)​=WTX
表示事件发生概率和不发生的概率之比是一个X的线性组合,这个值称为事件发生的几率。(这是我把他和线性回归放一起的原因。)

逻辑回归的损失函数
我们的目标是希望预测正确的概率最大化。所以可以根据极大似然法来求解参数和评估误差。
当样本标签为1时,我们希望 π ( x ) = P ( y = 1 ∣ x 属 于 正 样 本 点 ) \pi (x)=P(y=1|x属于正样本点) π(x)=P(y=1∣x属于正样本点)最大, 1 − π ( x ) = P ( y = 0 ∣ x 属 于 负 样 本 点 ) 1-\pi (x)=P(y=0|x属于负样本点) 1−π(x)=P(y=0∣x属于负样本点)最小。当样本标签为-1时,整好相反。则可以整合成一个式子:
[ π ( x ) ] y [ 1 − π ( x ) ] ( 1 − y ) [\pi (x)]^y[1-\pi (x)]^{(1-y)} [π(x)]y[1−π(x)](1−y)
分别把 y = ± 1 y=\pm 1 y=±1带入,发现完全就是对应的概率公式。则他们的似然函数为
∏ i [ π ( x i ) ] y i [ 1 − π ( x i ) ] ( 1 − y i ) \prod_i[\pi (x_i)]^{y_i}[1-\pi (x_i)]^{(1-y_i)} i∏​[π(xi​)]yi​[1−π(xi​)](1−yi​)
为了便于计算,我们往往使用对数似然,即求对数,乘变加:
∑ i [ y i ln ⁡ π ( x i ) + ( 1 − y i ) ln ⁡ [ 1 − π ( x i ) ] ] \sum_i[y_i\ln{\pi (x_i)}+(1-y_i)\ln[1-\pi (x_i)]^{}] i∑​[yi​lnπ(xi​)+(1−yi​)ln[1−π(xi​)]]
还可以进一步使用几率来做变化。
= ∑ i [ y i ln ⁡ π ( x i ) 1 − π ( x i ) + ln ⁡ [ 1 − π ( x i ) ] ] =\sum_i[y_i\ln{\frac{\pi (x_i)}{1-\pi (x_i)}}+\ln[1-\pi (x_i)]^{}] =i∑​[yi​ln1−π(xi​)π(xi​)​+ln[1−π(xi​)]]
= ∑ i [ y i ln ⁡ ( w ⋅ x i ) − ln ⁡ [ 1 + e w ⋅ x i ] =\sum_i[y_i\ln{(w\cdot x_i)}-\ln[1+e^{w\cdot x_i}] =i∑​[yi​ln(w⋅xi​)−ln[1+ew⋅xi​]

然后通常使用梯度下降法和拟牛顿法来求解近似解。

朴素贝叶斯

生成模型和判别模型

生成模型:通过数据学习联合概率分布,然后求出条件概率分布,并以此作为预测的模型。例如:朴素贝叶斯和隐马尔可夫模型。特点:

  • 可以得到联合概率分布
  • 样本容量增加时,能更快地收敛于真实模型
  • 可以用于存在隐变量的情形

判别模型:直接学习决策函数或者条件概率分布,并以此作为模型。多数的监督学习模型都是判别模型。

  • 直接学习决策函数或条件概率,直接预测,避免了测量误差增大,通常准确率更高。
  • 可以对数据进行各种程度上的抽象、定义特征并使用特征,可以简化学习问题。

朴素贝叶斯原理
通过数据集可以获得先验概率分布 P ( Y = c k ) P(Y=c_k) P(Y=ck​)
条件概率分布 P ( X = x ∣ Y = c k ) = P ( X ( 1 ) = x ( 1 ) , X ( 2 ) = x ( 2 ) , X ( 3 ) = x ( 3 ) , . . . . ∣ Y = c k ) P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},X^{(3)}=x^{(3)},....|Y=c_k) P(X=x∣Y=ck​)=P(X(1)=x(1),X(2)=x(2),X(3)=x(3),....∣Y=ck​)
联合分布为 P ( X , Y ) = ∑ P ( Y = c k ) P ( X = x ∣ Y = c k ) P(X,Y)=\sum P(Y=c_k)P(X=x|Y=c_k) P(X,Y)=∑P(Y=ck​)P(X=x∣Y=ck​)
这个时候,参数个数为 K ∏ n i K\prod n_i K∏ni​,K为Y标签数,n为对应的特征可能值个数。这是一个指数级别的值,非常大。通常不能用于学习。我们希望能简化条件概率模型。
朴素贝叶斯假设各个特征之间相互独立,则 P ( X = x ∣ Y = c k ) = ∏ P ( X ( i ) = x ( i ) ∣ Y = c k ) P(X=x|Y=c_k)=\prod P(X^{(i)}=x^{(i)}|Y=c_k) P(X=x∣Y=ck​)=∏P(X(i)=x(i)∣Y=ck​)
参数个数为 ∑ n i \sum n_i ∑ni​,大幅减少,简化了模型。但通常也会损失一定的准确率。
则后验概率为 P ( Y = c k ∣ X = x ) = P ( Y = c k ) P ( X ( i ) = x ( i ) ∣ Y = c k ) ∑ k P ( Y = c k ) P ( X ( i ) = x ( i ) ∣ Y = c k ) P(Y=c_k|X=x)=\frac{P(Y=c_k)P(X^{(i)}=x^{(i)}|Y=c_k)}{\sum_k P(Y=c_k)P(X^{(i)}=x^{(i)}|Y=c_k)} P(Y=ck​∣X=x)=∑k​P(Y=ck​)P(X(i)=x(i)∣Y=ck​)P(Y=ck​)P(X(i)=x(i)∣Y=ck​)​ = P ( Y = c k ) ∏ i P ( X ( i ) = x ( i ) ∣ Y = c k ) ∑ k P ( Y = c k ) ∏ i P ( X ( i ) = x ( i ) ∣ Y = c k ) =\frac{P(Y=c_k)\prod_i P(X^{(i)}=x^{(i)}|Y=c_k)}{\sum_k P(Y=c_k)\prod_i P(X^{(i)}=x^{(i)}|Y=c_k)} =∑k​P(Y=ck​)∏i​P(X(i)=x(i)∣Y=ck​)P(Y=ck​)∏i​P(X(i)=x(i)∣Y=ck​)​
选择分类为后验概率最大的那个分类,又分母均相同。则朴素贝叶斯分类器为 y = max ⁡ c k P ( Y = c k ) ∏ i P ( X ( i ) = x ( i ) ∣ Y = c k ) y=\max_{c_k}P(Y=c_k)\prod_i P(X^{(i)}=x^{(i)}|Y=c_k) y=ck​max​P(Y=ck​)i∏​P(X(i)=x(i)∣Y=ck​)

为什么选择后验概率最大化?
损失函数为 l o s s = E X ∑ k I ( y = c k ) P ( c k ∣ X ) loss=E_X\sum_k I(y=c_k)P(c_k|X) loss=EX​k∑​I(y=ck​)P(ck​∣X)
因为假设条件独立,极小化loss等价于极小化各个X=x: arg ⁡ min ⁡ x l o s s = arg ⁡ min ⁡ x ∑ k I ( y = c k ) P ( c k ∣ X = x ) \arg\min_x loss=\arg\min_x \sum_k I(y=c_k)P(c_k|X=x) argxmin​loss=argxmin​k∑​I(y=ck​)P(ck​∣X=x)
= arg ⁡ min ⁡ x ∑ k P ( y = ̸ c k ∣ X = x ) =\arg\min_x \sum_k P(y =\not c_k|X=x) =argxmin​k∑​P(y≠​ck​∣X=x)
= arg ⁡ min ⁡ x ∑ k ( 1 − P ( y = c k ∣ X = x ) ) =\arg\min_x \sum_k (1-P(y = c_k|X=x)) =argxmin​k∑​(1−P(y=ck​∣X=x))
等价于 arg ⁡ max ⁡ x ∑ k P ( y = c k ∣ X = x ) \arg\max_x \sum_k P(y = c_k|X=x) argxmax​k∑​P(y=ck​∣X=x)
这个时候期望风险最小等价于后验概率最大化。

参数估计
朴素贝叶斯分类器需要估计 P ( Y = c k ) 、 P ( X ( i ) = x ( i ) ∣ Y = c k ) P(Y=c_k)、P(X^{(i)}=x^{(i)}|Y=c_k) P(Y=ck​)、P(X(i)=x(i)∣Y=ck​)。估计方法有两种:极大似然估计法和贝叶斯估计法
极大似然估计法
极大似然法最通俗的理解就是谁最大就听谁的。
估计的结果如下: P ( Y = c k ) = ∑ i I ( y i = c k ) N P(Y=c_k)=\frac{\sum_i I(y_i=c_k)}{N} P(Y=ck​)=N∑i​I(yi​=ck​)​
P ( X ( j ) = a j l ∣ Y = c k ) = ∑ i I ( x i j = a j l , y i = c k ) ∑ i I ( y i = c k ) P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_i I(x_i^j=a_{jl},y_i=c_k)}{\sum_i I(y_i=c_k)} P(X(j)=ajl​∣Y=ck​)=∑i​I(yi​=ck​)∑i​I(xij​=ajl​,yi​=ck​)​
(为了符合使用习惯,这里使用i表示样本索引,j表示特征索引, l l l表示特征可能的取值个数)
推导如下(可以不看,只看公式也容易理解的):
p ( y ) = ∏ k p ( y = c k ) I ( y = c k ) p(y)=\prod_k p(y=c_k)^{I(y=c_k)} p(y)=k∏​p(y=ck​)I(y=ck​) p ( x ∣ y = c k ) = ∏ j ∏ k ∏ l p ( x i j = a j l ∣ y i = c k ) I ( x i j = a j i , y i = c k ) p(x|y=c_k)=\prod_j\prod_k\prod_lp(x_i^j=a_{jl}|y_i=c_k)^{I(x_i^j=a_{ji},y_i=c_k)} p(x∣y=ck​)=j∏​k∏​l∏​p(xij​=ajl​∣yi​=ck​)I(xij​=aji​,yi​=ck​)
log似然函数为 log ⁡ P ( x , y ) = log ⁡ ∏ i p ( x i , y i ; p ( y ) , p ( x i j = a j l ∣ y i = c k ) ) \log P(x,y)=\log \prod_i p(x_i,y_i;p(y),p(x_i^j=a_{jl}|y_i=c_k)) logP(x,y)=logi∏​p(xi​,yi​;p(y),p(xij​=ajl​∣yi​=ck​))
= log ⁡ ∏ i p ( y i ) ∏ j p ( x i j = a j l ∣ y i = c k ) =\log \prod_i p(y_i)\prod_j p(x_i^j=a_{jl}|y_i=c_k) =logi∏​p(yi​)j∏​p(xij​=ajl​∣yi​=ck​)
= ∑ i log ⁡ p ( y i ) + ∑ i ∑ j log ⁡ p ( x i j = a j l ∣ y i = c k ) ) ) =\sum_i \log p(y_i)+\sum_i\sum_j \log p(x_i^j=a_{jl}|y_i=c_k))) =i∑​logp(yi​)+i∑​j∑​logp(xij​=ajl​∣yi​=ck​)))
= ∑ i ∑ k I ( y i = c k ) log ⁡ p ( y = c k ) + =\sum_i \sum_k I(y_i=c_k)\log p(y=c_k)+ =i∑​k∑​I(yi​=ck​)logp(y=ck​)+ ∑ i ∑ j ∑ k ∑ l I ( x i j = a j i , y i = c k ) log ⁡ p ( x i j = a j l ∣ y i = c k ) ) \sum_i\sum_j \sum_k \sum_l I(x_i^j=a_{ji},y_i=c_k) \log p(x_i^j=a_{jl}|y_i=c_k)) i∑​j∑​k∑​l∑​I(xij​=aji​,yi​=ck​)logp(xij​=ajl​∣yi​=ck​))
又 ∑ k p ( y = c k ) = 1 \sum_k p(y=c_k)=1 k∑​p(y=ck​)=1
引入拉格朗日乘子,然后求偏导有
∑ i I ( y i = c k ) p ( y = c k ) + λ = 0 \sum_i \frac{I(y_i=c_k)}{p(y=c_k)}+\lambda=0 i∑​p(y=ck​)I(yi​=ck​)​+λ=0
p ( y = c k ) = − ∑ i I ( y i = c k ) λ p(y=c_k)=-\frac{\sum_i I(y_i=c_k)}{\lambda} p(y=ck​)=−λ∑i​I(yi​=ck​)​
因 ∑ k p ( y = c k ) = 1 \sum_k p(y=c_k)=1 ∑k​p(y=ck​)=1,带入可知 λ = − N \lambda=-N λ=−N
⟹ p ( y = c k ) = ∑ i I ( y i = c k ) N \Longrightarrow p(y=c_k)=\frac{\sum_i I(y_i=c_k)}{N} ⟹p(y=ck​)=N∑i​I(yi​=ck​)​
同理通过引入拉格朗日乘子可得
P ( x i j = a j l ∣ y = c k ) = ∑ i I ( x i j = a j l , y i = c k ) ∑ i I ( y i = c k ) P(x_i^j=a_{jl}|y=c_k)=\frac{\sum_i I(x_i^j=a_{jl},y_i=c_k)}{\sum_i I(y_i=c_k)} P(xij​=ajl​∣y=ck​)=∑i​I(yi​=ck​)∑i​I(xij​=ajl​,yi​=ck​)​

由于打字比较麻烦,可能下标错误。这里再叙述下思路。

  • 朴素贝叶斯是生成模型,需要求联合分布 P ( X , Y ) P(X,Y) P(X,Y),故我们构造 P ( X , Y ) P(X,Y) P(X,Y)的似然函数。
  • 似然函数一般都会取对数,便于计算
  • 求偏导并令导数为0
  • 引入拉格朗日乘子,利用(条件)概率和为1求解

贝叶斯估计
用极大似然法估计时可能会遇到所要估计的概率为0的情况,这个时候会影响后验概率,使分类产生偏差。可以使用贝叶斯法来估计参数。
结果如下:
P λ ( Y = c k ) = ∑ i I ( y i = c k ) + λ N + K λ P_{\lambda}(Y=c_k)=\frac{\sum_i I(y_i=c_k)+\lambda}{N+K\lambda} Pλ​(Y=ck​)=N+Kλ∑i​I(yi​=ck​)+λ​
P λ ( X ( j ) = a j l ∣ Y = c k ) = ∑ i I ( x i j = a j l , y i = c k ) + λ ∑ i I ( y i = c k ) + S j λ    , λ ≥ 0 P_\lambda(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_i I(x_i^j=a_{jl},y_i=c_k)+\lambda}{\sum_i I(y_i=c_k)+S_j\lambda}\;,\lambda\geq0 Pλ​(X(j)=ajl​∣Y=ck​)=∑i​I(yi​=ck​)+Sj​λ∑i​I(xij​=ajl​,yi​=ck​)+λ​,λ≥0
如果我们不考虑背后的原理,仅仅从结果来看,也就比极大似然估计多了 S j , λ S_j,\lambda Sj​,λ。相当于引入了松弛变量,强制使概率不为0。概率不为0,也就可以不用管是不是极大似然估计了。
当 λ = 0 \lambda=0 λ=0时,他就是极大似然估计。
当 λ = 1 \lambda=1 λ=1时,称为拉普拉斯平滑。

贝叶斯估计法和极大似然法的区别:

  • 贝叶斯估计法把 θ \theta θ当成一个随机变量,服从Dirichlet分布。(当为二元分布时为 β \beta β分布)
  • 极大似然估计把 θ \theta θ当成一个定值,通过求导来确定,不会改变

老规矩,证明如下,可看可不看。
证明之前先介绍几个知识点:

  • 贝叶斯假设:贝叶斯估计首先要利用关于以往参数的信息,确定参数的先验分布。如果没有任何以往的信息来帮助确定先验分布,则假设该分布为均匀分布。
  • 广元贝叶斯假设:如果参数 θ \theta θ的取值范围是无穷,则 θ \theta θ的密度函数 π ( y ) \pi (y) π(y)的积分为不穷,不等于1。这时是不合理的。引入广元贝叶斯分布。假设 π ( y ) \pi (y) π(y)在 θ \theta θ的取值范围内服从均匀分布。 π ( y ) = { C , y ∈ D , C > 0 0 , y ∉ D \pi (y)= \left \{\begin{array}{cc} C, & y\in D ,C>0\\ 0, & y\notin D \end{array}\right. π(y)={C,0,​y∈D,C>0y∈/​D​
  • 共轭分布:共轭分布要求先验分布和后验分布属于同一分布。这样当新的样本进来后,我们不用再考虑换先验分布,具有一定的优势。常用的共轭分布有:正太共轭与正太、 β \beta β共轭与0——1分布、 Γ \Gamma Γ分布共轭与泊松分布、 I Γ I\Gamma IΓ分布共轭与泊松分布。

由此可知,我们基于不同的假设,估计方法也不同。倾向于两种假设:

  • 假设我们没有任何信息来确定先验分布。
  • 由于对每一种label,发生和不发生是互斥事件,故可以假设服从多项式分布,此时使用 β \beta β分布的扩展版——dirichlet分布。

估计流程都是一样的:求出参数的后验概率密度函数,然后求其期望作为贝叶斯估计。
不想敲了,给个别人dirichlet方式的证明
如果有兴趣的话,可以看下孙荣恒的《应用数理统计》贝叶斯估计这一小节。
sklearn上常用的先验假设有:

  • 高斯分布:适用于样本特征的分布大部分是连续的
  • 多项式分布:适用于特征多为离散值的情形
  • 泊松分布:适用于特征多为二元离散值或者稀疏值的多元离散值情形。
线性回归模型(7大模型) ​ 先从一个简单的问题开始:如何用一个线性函数来拟合一个二维数据集?​ 假设我们有一个二维数据集,其中每个样本都由一个x和一个y组成。我们可以用一个线性函数 y = ax + b 来拟合这个数据集,其中a和b是待定的系数。我们的目标是找到最佳的a和b,使得这个线性函数能够尽可能地拟合这个数据集。​ 这就是线性回归的基本思想:通过拟合一个线性函数来预测一个连续型的输出变量。这是一个非常简单的案例。 阅读详情

相关推荐

机器学习---对数几率回归

(0,1)内,这个函数称为Logistic函数(logistic function),也称为Sigmoid函数(sigmoid。做的是找到J(θ)函数的最小值。首先,找一个合适的预测函数,一般表示为h函数,该函数就是需要找的分类函数,它用来预。最直观的,可以将线性模型的输出值再套上一个函数y = g(z),最简单的就是“单位阶跃函数”现,当真实值y=0时,第一项为0,当真实值y=1时,第二项为0,所以,这个损失函数其实在每次。然后,构造一个Cost函数(损失函数),该函数表示预测的输出(h)与。

weixin_43961909的博客 1237

第3章-线性概率模型(1)-logistics/probit模型

二值因变量模型 在统计学中,有一种离散变量为二值变量(又称虚拟变量、哑变量),本文讨论的是当因变量y为二值变量时的模型。 Logistic模型也是一种二值因变量模型。探讨Logistic模型之前,我们先从线性概率模型(Linear Probability Model,LPM)谈起,然后逐步介绍Logistics模型以及其他非线性模型.

tongweiganglp的博客 6万+

常见算法优缺点

常见算法优缺点参考出处: http://blog.youkuaiyun.com/boon_228/article/details/51909771 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM

一只不会码代码的咸鱼 2223

概率自回归预测——DeepAR模型浅析

给定过去一段时间的数据,如何对未来的数据进行预测?这类时间序列预测问题是很多领域都关心的问题。在机器学习中,目前主流...

迈微AI研习社 · 号主 6886

【机器学习】判别模型vs生成模型、概率模型vs非概率模型

参考:生成模型 VS 判别模型 (含义、区别、对应经典算法) 机器学习“判定模型”和“生成模型”有什么区别? 判别模型和生成模型的区别,主要在于概率分布。对于一堆样本数据,第i个样本的特征为Xi(特征维度可以是j),对应的分类标记为Yi,则: 判别模型:学习到条件概率分布P(Y|X),即在特征X出现的情况下标记Y出现的概率,是后验概率。 判别式模型求得P(Y|X),对于一个样本的特征X,根据P(Y|X)可以求得标记Y,即可以直接判别出来样本的类别,如下图的左边所示,实际是就是...

Mr_health的博客 7003

c语言串口编程详解

串口: 一种异步通信接口,通常用于低速数据传输。RS-232: 最常见的串口标准,定义了电气特性、连接器和信号线。UART: 通用异步收发传输器,是实现串口通信的硬件模块。通过以上内容,你应能够理解并实现C语言在Windows和Linux平台上的串口编程。希望这本手册能帮助你在实际项目中顺利进行串口通信开发。如果有任何疑问或需要进一步的帮助,请随时提问。

jkzyx123的博客 2224

斯坦福机器学习课程笔记

模型(如何模拟)---策略(风险函数)--算法(最优化方法) 第一节: 机器学习的基本概念和分类 第二节: 线性回归,最小二乘 批梯度下降(bgd)和随机梯度下降(sgd) 第三节: 过拟合,欠拟合 非参数学习算法:局部加权回归 概率角度解释线性回归。极大似然估计(mlp) 分类:逻辑回归(Bonoulli分布) 第四节: 牛顿方法(Newton Method):...

weixin_30741653的博客 120

【PCIe 总线及设备入门学习专栏 6.1 -- PCIe MCTP】

MCTP 是由 DMTF(Distributed Management Task Force)定义的协议,用于提供设备和主机间基于不同传输层(如 PCIe、I²C、USB 等)的管理消息通信能力。在 PCIe 环境下,MCTP 消息作为的一种特殊形式传输,并被赋予唯一的 VDM Code 值0000b,以区别于其他 VDM。MCTP 在 PCIe 环境中作为一种基于 Type 1 VDM 的管理通信协议,提供了设备与主机之间的灵活数据传输能力。

CodingCos的博客 2133

学大数据要学哪些算法_大数据分析都有哪些常见的算法

随着互联网的不断发展,大数据分析算法让众多企业在用户分析上获得了很大的突破。今天,我们就一起来了解一下,数据分析领域常见的算法都有哪些。1.线性回归线性回归可能是统计学和机器学习中知名和易理解的算法之一。由于预测建模主要关注小化模型的误差,或者以可解释性为代价来做出准确的预测。我们会从许多不同领域借用、重用和盗用算法,其中涉及一些统计学知识。线性回归用一个等式表示,通过找到输入变量的特定权重(B)...

weixin_33676046的博客 3437

CKAD-CN考试之路----12

显然,对应的value都已经实现了加密.保存退出,等待pod重新创建。确认secret是否被加密。编辑secret文件。

Q先生 450

U盘无法识别?一条命令轻松修复,数据不丢失

问题描述 U盘经常会遇到提示:无法识别或者需要重新格式等问题,例如下图 修复方法 WIN+R输入cmd 输入chkdsk+盘符:/F /F是修复的意思 更多内容 U盘无法识别或提示需要格式化?别急着格式化丢失数据!本文教你使用Windows自带的命令快速修复U盘文件系统错误,简单几步就能解决问题,让你的U盘恢复正常使用💾✨

XiaoqiangClub的博客 647

机器学习-监督学习-分类

机器学习,分类

zr_xs的博客 1553

Buildroot RK3568系统中更改GPU驱动为:panfrost

1:Kernel中开启Panfrost 2:更新mesa 到mesa-24.0.2 3:查看/proc/interrupts 中的panfrost 中断 4:LInux启动日志 5:查看GPU负载

OpenWrt/WLAN/驱动/Android/嵌入式开发总结 2080

机器学习课程 期末总结

机器学习是人工智能的一个分支,它涉及到开发算法和技术,使计算机系统能够从数据中学习并做出预测或决策。人工智能>机器学习>深度学习。

2401_84448191的博客 945

Android一个APP里面最少有几个线程

Android应用启动时,默认会创建一个进程,该进程中最少包含负责处理用户交互、UI更新等核心操作,所有与界面相关的逻辑必须在此线程执行。若在此线程执行耗时操作(如网络请求),会导致界面卡顿甚至触发ANR(应用无响应)。当对象重写了finalize()方法时,该线程负责将这些对象放入队列并调用其finalize()方法,完成资源释放后再由GC回收。监控的执行效率。如果finalize()方法执行超时(默认10秒),此线程会触发虚拟机退出以防止应用长时间阻塞。

编程进化论 614

ceph recovery 相关参数

可以修改的最大回填/恢复选项列在 “恢复/回填选项” 部分。mClock 的修改 默认回填/恢复限制由 osd_mclock_override_recovery_settings 选项,设置为 默认为 false。尝试修改任何默认恢复/回填限制而不设置门控选项,会将该选项重置为 mClock 默认值,并在集群日志中记录一条警告消息。请注意,默认值可能需要几秒钟才能恢复生效。请使用 config show 命令验证限制,如下所示。就直接设置以下参数,过一会就变回了默认值。简单点说官网的意思就是不设置。

weixin_40548182的博客 281

笔记_数学建模_数学模型-机器学习&机器学习常用算法

《数学模型-姜启源》——《机器学习》 1、数学规划 (包括全部的规划问题) 线性、非线性、动态规划、多目标规划、整数规划 2、传染病模型(微分方程) 3、稳定性模型 包括捕鱼、人口、军事竞赛等等 4、概率模型 5、博弈模型 6、计算机虚拟(数值模拟、动态仿真、蒙特卡罗算法) 7、调度问题 (智能算法、遗传算法、多目标规划、数学规划、dijstra算法、Floyd算法) 8、智能算法(遗传算法、模拟退火算法、蚁群算法、神经网络) 9、微分方程 所研究对象与已知因素之间可以用微分方程的形式表示(常微分方程(

Jeankyw的博客 692

PCL:读写pcd点云的两种方式

本文介绍了PCL读写点云的两种方式:PCDReader,PCDWriter;loadPCDFile,savePCDFile.

孙悟空 1万+

Spark-机器学习(1)什么是机器学习与MLlib算法库的认识

从这一系列开始,我会带着大家一起了解我们的机器学习,了解我们spark机器学习中的MLIib算法库,知道它大概的模型,熟悉并认识它。同时,本篇文章为个人spark免费专栏的系列文章,有兴趣的可以收藏关注一下,谢谢。同时,希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论,共同进步。

qq_49513817的博客 1万+

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

对于这些机器学习算法 数学不好你还真看不懂

  【PConline 技术】机器学习技术不仅仅影响着当前的人工智能领域,在笔者看来,机器学习当中的算法技术甚至还可能影响到大数据对于很多领域的应用深度和广度,对于机器学习的算法来说,我们可以描述成学习一个目标函数f,它能够最好地映射出输入变量X到输出变量Y。有一类普遍的学习任务。我们要根据输入变量X来预测出Y。我们不知道目标函数f是什么样的。如果早就知道,我们就可以直接使用它,而不需要再通过机器...

ctrigger的专栏 950

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

B站:李宏毅2020机器学习笔记 5 —— 分类Classification和逻辑回归Logistic Regression

总览学习目录篇 链接地址:https://blog.youkuaiyun.com/xczjy200888/article/details/124057616

共同进步 851

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

一图理清线性回归、线性分类及具体模型

线性回归及其与线性分类之间的关系,线性分类的具体模型。

qq_43215538的博客 567

面试必备!卖萌屋算法工程师思维导图—统计机器学习篇

卖萌屋的妹子们(划掉)作者团整理的算法工程师思维导图,求职/自我提升/查漏补缺神器。该手册一共分为数据结构与算法、数学基础、统计机器学习和深度学习四个部分。下面是第二部分统计机器学习的内...

夕小瑶科技说 685

李宏毅机器学习-----逻辑回归Logistic Regression

接上上一节的内容,我们认为通过概率模型最后推导出来函数还是为了求出最优的w和b,所以为什么不直接找一个function来直接求呢?那就是今天要介绍的Logistic Regretion! 上节链接 逻辑回归的Function Set 后验概率Pw,b(C1∣x)P_{w,b}(C_1|x)Pw,b​(C1​∣x)就是σ(z)\sigma(z)σ(z),而z=wx+b,推导出function se...

zyuPp的博客 1335

最大似然估计在机器学习中的应用

1.背景介绍 最大似然估计(Maximum Likelihood Estimation, MLE)是一种常用的估计方法,它通过最大化数据集中观测到的概率来估计模型参数。在机器学习领域,MLE 被广泛应用于各种模型的参数估计,如线性回归、逻辑回归、朴素贝叶斯等。本文将详细介绍 MLE 的核心概念、算法原理、具体操作步骤以及数学模型公式,并通过具体代码实例进行说明。 2.核心概念与联系 2.1 ...

AI天才研究院 1830

⽣成模型和判别模型的区别,逻辑回归与朴素⻉叶斯的区别, 线性回归与逻辑回归的区别

生成器努力生成更逼真的数据以欺骗判别器,而判别器努力提高其准确性,以识别生成的数据。总之,生成模型和判别模型在机器学习中有不同的应用和任务,选择哪种模型取决于你的具体问题和目标。有时候,这两种类型的模型也可以结合使用,以提高整体性能,例如,在生成对抗网络(GANs)中,生成模型和判别模型相互协作。随着训练的进行,生成器逐渐变得更加精确,生成的数据变得更加逼真,直到达到满意的生成质量。判别器(Discriminator):判别器是另一个神经网络模型,它接受真实数据和由生成器生成的假数据,并试图区分它们。

weixin_41767872的博客 446
上一篇: 感知机和SVM
下一篇: 决策树
酸辣椒炒青椒
博客等级 码龄11年 9粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值