Softmax Regression算法

softmax原理讲解与python代码实现 本文讲解了softmax回归的原理与公式,并通过python实现了使用其进行分类,效果很好 阅读详情
<<上一篇 Logistic Regression算法

前言

Logistic Regression算法主要是用于处理二分类问题,若需要处理的是多分类问题,如手写字识别,即识别是{0,1,…,9}中的数字,此时,需要使用能够处理多分类问题的算法。
Softmax Regression算法是Logistic Regression算法在多分类问题上的推广,主要用于处理多分类问题,其中,任意两个类之间是线性可分的。

Softmax Regression模型

Softmax Regression算法适用于处理类标签 y y y的取值大于等于2的线性可分的多分类问题。
假设 m m m个训练样本 { ( X ( 1 ) , y ( 1 ) ) , ( X ( 2 ) , y ( 2 ) ) , . . . , ( X ( m ) , y ( m ) ) } \{({{X}^{(1)}},{{y}^{(1)}}),({{X}^{(2)}},{{y}^{(2)}}),...,({{X}^{(m)}},{{y}^{(m)}})\} {(X(1),y(1)),(X(2),y(2)),...,(X(m),y(m))} ,对于Softmax Regression算法,其输入特征为: X ( i ) ∈ R n + 1 {{X}^{(i)}}\in {{R}^{n+1}} X(i)∈Rn+1,类标记为: y ( i ) ∈ { 0 , 1 , . . . , k } {{y}^{(i)}}\in \{0,1,...,k\} y(i)∈{0,1,...,k}。假设函数为每一个样本估计其所属的类别的概率 P ( y = j ∣ X ) P(y=j|X) P(y=j∣X),具体的假设函数为:
在这里插入图片描述
其中 θ \theta θ表示的向量,且 θ i ∈ R n + 1 {{\theta }_{i}}\in {{R}^{n+1}} θi​∈Rn+1。则对于每一个样本估计其所属的类别的概率为:
P ( y ( i ) = j ∣ X ( i ) ; θ ) = e θ j T X ( i ) ∑ l = 1 k e θ l T X ( i ) P({{y}^{(i)}}=j|{{X}^{(i)}};\theta )=\frac{{{e}^{{{\theta }_{j}}^{T}{{X}^{(i)}}}}}{\sum\nolimits_{l=1}^{k}{{{e}^{{{\theta }_{l}}^{T}{{X}^{(i)}}}}}} P(y(i)=j∣X(i);θ)=∑l=1k​eθl​TX(i)eθj​TX(i)​

Softmax Regression算法的代价函数

类似于Logistic Regression算法,在Softmax Regression算法的损失函数中引入指示函数 I ( . ) I(.) I(.),其具体形式为:
在这里插入图片描述
那么,对于Softmax Regression算法的损失函数为:
J ( θ ) = − 1 m [ ∑ i = 1 m ∑ j = 1 k I { y ( i ) = j } log ⁡ e θ j T X ( i ) ∑ l = 1 k e θ l T X ( i ) ] J(\theta )=-\frac{1}{m}\left[ \sum\limits_{i=1}^{m}{\sum\limits_{j=1}^{k}{I\{{{y}^{(i)}}=j\}\log \frac{{{e}^{{{\theta }_{j}}^{T}{{X}^{(i)}}}}}{\sum\limits_{l=1}^{k}{{{e}^{{{\theta }_{l}}^{T}{{X}^{(i)}}}}}}}} \right] J(θ)=−m1​⎣⎢⎢⎢⎡​i=1∑m​j=1∑k​I{y(i)=j}logl=1∑k​eθl​TX(i)eθj​TX(i)​⎦⎥⎥⎥⎤​
其中, I { y ( i ) = j } I\{y^{(i)}=j\} I{y(i)=j}表示的是当 y ( i ) y^{(i)} y(i)属于第 j j j类时, I { y ( i ) = j } = 1 I\{y^{(i)}=j\}=1 I{y(i)=j}=1,否则, I { y ( i ) = j } = 0 I\{y^{(i)}=j\}=0 I{y(i)=j}=0。

Softmax Regression算法的求解

对于上述的代价函数,可以使用梯度下降法对其进行求解,首先对其进行求梯度:
∇ θ j J ( θ ) = − 1 m ∑ i = 1 m [ ∇ θ j ∑ j = 1 k I { y ( i ) = j } log ⁡ e θ j T X ( i ) ∑ l = 1 k e θ l T X ( i ) ] {{\nabla }_{{{\theta }_{j}}}}J(\theta )=-\frac{1}{m}\sum\limits_{i=1}^{m}{\left[ {{\nabla }_{{{\theta }_{j}}}}\sum\limits_{j=1}^{k}{I\{{{y}^{(i)}}=j\}\log \frac{{{e}^{{{\theta }_{j}}^{T}{{X}^{(i)}}}}}{\sum\nolimits_{l=1}^{k}{{{e}^{{{\theta }_{l}}^{T}{{X}^{(i)}}}}}}} \right]} ∇θj​​J(θ)=−m1​i=1∑m​[∇θj​​j=1∑k​I{y(i)=j}log∑l=1k​eθl​TX(i)eθj​TX(i)​]
当 y ( i ) = j y^{(i)}=j y(i)=j时, ∇ θ j J ( θ ) = − 1 m ∑ i = 1 m [ ∑ l = 1 k e θ l T X ( i ) − e θ j T X ( i ) ∑ l = 1 k e θ l T X ( i ) ⋅ X ( i ) ] {{\nabla }_{{{\theta }_{j}}}}J(\theta )=-\frac{1}{m}\sum\limits_{i=1}^{m}{\left[ \frac{\sum\nolimits_{l=1}^{k}{{{e}^{{{\theta }_{l}}^{T}{{X}^{(i)}}}}-{{e}^{{{\theta }_{j}}^{T}{{X}^{(i)}}}}}}{\sum\nolimits_{l=1}^{k}{{{e}^{{{\theta }_{l}}^{T}{{X}^{(i)}}}}}} \cdot {{X}^{(i)}} \right]} ∇θj​​J(θ)=−m1​i=1∑m​[∑l=1k​eθl​TX(i)∑l=1k​eθl​TX(i)−eθj​TX(i)​⋅X(i)]
当 y ( i ) ≠ j {{y}^{(i)}}\ne j y(i)̸​=j时, ∇ θ j J ( θ ) = − 1 m ∑ i = 1 m [ − e θ j T X ( i ) ∑ l = 1 k e θ l T X ( i ) ⋅ X ( i ) ] {{\nabla }_{{{\theta }_{j}}}}J(\theta )=-\frac{1}{m}\sum\limits_{i=1}^{m}{\left[ \frac{-{{e}^{{{\theta }_{j}}^{T}{{X}^{(i)}}}}}{\sum\nolimits_{l=1}^{k}{{{e}^{{{\theta }_{l}}^{T}{{X}^{(i)}}}}}}\cdot {{X}^{(i)}} \right]} ∇θj​​J(θ)=−m1​i=1∑m​[∑l=1k​eθl​TX(i)−eθj​TX(i)​⋅X(i)]
最终的结果为:
− 1 m ∑ i = 1 m [ X ( i ) ⋅ ( I { y ( i ) = j } − P ( y ( i ) = j ∣ X ( i ) ; θ ) ) ] -\frac{1}{m}\sum\limits_{i=1}^{m}{\left[ {{X}^{(i)}}\cdot (I\{{{y}^{(i)}}=j\}-P({{y}^{(i)}}=j|{{X}^{(i)}};\theta )) \right]} −m1​i=1∑m​[X(i)⋅(I{y(i)=j}−P(y(i)=j∣X(i);θ))]
注意,此处的 θ j \theta_j θj​表示的是一个向量。通过梯度下降法的公式可以更新:
θ j = θ j − α ∇ θ j J ( θ ) {{\theta }_{j}}={{\theta }_{j}}-\alpha {{\nabla }_{{{\theta }_{j}}}}J(\theta ) θj​=θj​−α∇θj​​J(θ)

Softmax Regression与Logistic Regression的关系

在Softmax Regression中存在着参数冗余的问题。简单来讲就是参数中有些参数是没有任何用的,为了证明这一点,假设从参数向量 θ j \theta_j θj​中减去向量 ψ \psi ψ,假设函数为:
P ( y ( i ) = j ∣ X ( i ) ; θ ) = e ( θ j − ψ ) T X ( i ) ∑ l = 1 k e ( θ l − ψ ) T X ( i ) = e θ j T X ( i ) ⋅ e − ψ T X ( i ) ∑ l = 1 k e θ l T X ( i ) ⋅ e − ψ T X ( i ) = e θ j T X ( i ) ∑ l = 1 k e θ l T X ( i ) P({{y}^{(i)}}=j|{{X}^{(i)}};\theta )=\frac{{{e}^{{{({{\theta }_{j}}-\psi )}^{T}}{{X}^{(i)}}}}}{\sum\nolimits_{l=1}^{k}{{{e}^{{{({{\theta }_{l}}-\psi )}^{T}}{{X}^{(i)}}}}}}=\frac{{{e}^{{{\theta }_{j}}^{T}{{X}^{(i)}}}}\cdot {{e}^{-{{\psi }^{T}}{{X}^{(i)}}}}}{\sum\nolimits_{l=1}^{k}{{{e}^{{{\theta }_{l}}^{T}{{X}^{(i)}}}}\cdot {{e}^{-{{\psi }^{T}}{{X}^{(i)}}}}}}=\frac{{{e}^{{{\theta }_{j}}^{T}{{X}^{(i)}}}}}{\sum\nolimits_{l=1}^{k}{{{e}^{{{\theta }_{l}}^{T}{{X}^{(i)}}}}}} P(y(i)=j∣X(i);θ)=∑l=1k​e(θl​−ψ)TX(i)e(θj​−ψ)TX(i)​=∑l=1k​eθl​TX(i)⋅e−ψTX(i)eθj​TX(i)⋅e−ψTX(i)​=∑l=1k​eθl​TX(i)eθj​TX(i)​
从上面可以看出从参数向量 θ j \theta_j θj​中减去向量 ψ \psi ψ对预测结果并没有任何影响,也就是说在模型中,存在着多组的最优解。
Logistic Regression算法是Softmax Regression的特征情况,即 k = 2 k=2 k=2时的情况,当 k = 2 k=2 k=2时,Softmax Regression算法的假设函数为:
在这里插入图片描述
利用Softmax Regression参数冗余的特点,令 ψ = θ 1 \psi=\theta_1 ψ=θ1​,从两个向量中都减去这个向量,得到:
在这里插入图片描述
在Logistic Regression算法中,假设函数为:
在这里插入图片描述
由上述的 k = 2 k=2 k=2时的Softmax Regression的假设函数和Logistic Regression的假设函数可知,两者是等价的。

Python代码实现

下述代码在Python2.7中通过。
训练数据SoftInput.txt为:

-0.017612	14.053064	2
-1.395634	4.662541	3
-0.752157	6.53862	3
-1.322371	7.152853	3
0.423363	11.054677	2
0.406704	7.067335	3
0.667394	12.741452	2
-2.46015	6.866805	3
0.569411	9.548755	0
-0.026632	10.427743	2
0.850433	6.920334	3
1.347183	13.1755	2
1.176813	3.16702	3
-1.781871	9.097953	2
-0.566606	5.749003	3
0.931635	1.589505	1
-0.024205	6.151823	3
-0.036453	2.690988	1
-0.196949	0.444165	1
1.014459	5.754399	3
1.985298	3.230619	3
-1.693453	-0.55754	1
-0.576525	11.778922	2
-0.346811	-1.67873	1
-2.124484	2.672471	1
1.217916	9.597015	0
-0.733928	9.098687	0
-3.642001	-1.618087	1
0.315985	3.523953	3
1.416614	9.619232	0
-0.386323	3.989286	3
0.556921	8.294984	0
1.224863	11.58736	2
-1.347803	-2.406051	1
1.196604	4.951851	3
0.275221	9.543647	0
0.470575	9.332488	0
-1.889567	9.542662	2
-1.527893	12.150579	2
-1.185247	11.309318	2
-0.445678	3.297303	3
1.042222	6.105155	3
-0.618787	10.320986	2
1.152083	0.548467	1
0.828534	2.676045	3
-1.237728	10.549033	2
-0.683565	-2.166125	1
0.229456	5.921938	3
-0.959885	11.555336	2
0.492911	10.993324	2
0.184992	8.721488	0
-0.355715	10.325976	2
-0.397822	8.058397	0
0.824839	13.730343	2
1.507278	5.027866	3
0.099671	6.835839	3
-0.344008	10.717485	2
1.785928	7.718645	0
-0.918801	11.560217	2
-0.364009	4.7473	3
-0.841722	4.119083	3
0.490426	1.960539	1
-0.007194	9.075792	0
0.356107	12.447863	2
0.342578	12.281162	2
-0.810823	-1.466018	1
2.530777	6.476801	3
1.296683	11.607559	2
0.475487	12.040035	2
-0.783277	11.009725	2
0.074798	11.02365	2
-1.337472	0.468339	1
-0.102781	13.763651	2
-0.147324	2.874846	3
0.518389	9.887035	0
1.015399	7.571882	0
-1.658086	-0.027255	1
1.319944	2.171228	1
2.056216	5.019981	3
-0.851633	4.375691	3
-1.510047	6.061992	3
-1.076637	-3.181888	1
1.821096	10.28399	0
3.01015	8.401766	0
-1.099458	1.688274	1
-0.834872	-1.733869	1
-0.846637	3.849075	3
1.400102	12.628781	2
1.752842	5.468166	3
0.078557	0.059736	1
0.089392	-0.7153	1
1.825662	12.693808	2
0.197445	9.744638	0
0.126117	0.922311	1
-0.679797	1.22053	1
0.677983	2.556666	1
0.761349	10.693862	0
-2.168791	0.143632	1
1.38861	9.341997	0
0.317029	14.739025	2
-2.65887965178	0.658328066452	1
-2.30615885683	11.5036718065	2
-2.83005963556	7.30810428189	3
-2.30319006285	3.18958964564	1
-2.31349250532	4.41749905123	3
-2.71157223048	0.21599278192	1
-2.99935111344	14.5766538514	2
-2.50329272687	12.7274016382	2
-2.14191210185	9.75999136268	2
-2.21409612618	9.25234159289	2
-2.0503599261	1.87312594247	1
-2.99747377006	2.82404034943	1
-2.39019233623	1.88778487771	1
-2.00981101171	13.0015287952	2
-2.06105014551	7.26924117028	3
-2.94028883652	10.8418044558	2
-2.56811396636	1.31240093493	1
-2.89942462914	7.47932555859	3
-2.83349151782	0.292728283929	1
-2.16467022383	4.62184237142	3
2.02604290795	6.68200376515	3
2.3755881562	9.3838379637	0
2.48299208843	9.75753701005	0
2.65108044441	9.39059526201	0
2.49422603944	11.856131521	0
2.47215954581	4.83431641068	3
2.26731525725	5.64891602081	3
2.33628075296	10.4603294628	0
2.4548064459	9.90879879651	0
2.13147505967	8.99561368732	0
2.86925733903	4.26531919929	3
2.05715970133	4.97240425903	3
2.14839753847	8.91032469409	0
2.17630437606	5.76122354509	3
2.86205491781	11.630342945	0

使用softmax_regression_train.py对上述数据进行训练:

# coding:UTF-8
import numpy as np

def load_data(inputfile):
    '''导入训练数据
    input:  inputfile(string)训练样本的位置
    output: feature_data(mat)特征
            label_data(mat)标签
            k(int)类别的个数
    '''
    f = open(inputfile)  # 打开文件
    feature_data = []
    label_data = []
    for line in f.readlines():
        feature_tmp = []
        feature_tmp.append(1)  # 偏置项
        lines = line.strip().split("\t")
        for i in xrange(len(lines) - 1):
            feature_tmp.append(float(lines[i]))
        label_data.append(int(lines[-1]))
        
        feature_data.append(feature_tmp)
    f.close()  # 关闭文件
    return np.mat(feature_data), np.mat(label_data).T, len(set(label_data))

def cost(err, label_data):
    '''计算损失函数值
    input:  err(mat):exp的值
            label_data(mat):标签的值
    output: sum_cost / m(float):损失函数的值
    '''
    m = np.shape(err)[0]
    sum_cost = 0.0
    for i in xrange(m):
        if err[i, label_data[i, 0]] / np.sum(err[i, :]) > 0:
            sum_cost -= np.log(err[i, label_data[i, 0]] / np.sum(err[i, :]))
        else:
            sum_cost -= 0
    return sum_cost / m
    

def gradientAscent(feature_data, label_data, k, maxCycle, alpha):
    '''利用梯度下降法训练Softmax模型
    input:  feature_data(mat):特征
            label_data(mat):标签
            k(int):类别的个数
            maxCycle(int):最大的迭代次数
            alpha(float):学习率
    output: weights(mat):权重
    '''
    m, n = np.shape(feature_data)
    weights = np.mat(np.ones((n, k)))  # 权重的初始化
    i = 0
    while i <= maxCycle:
        err = np.exp(feature_data * weights)
        if i % 500 == 0:
            print "\t-----iter: ", i , ", cost: ", cost(err, label_data)
        rowsum = -err.sum(axis=1)
        rowsum = rowsum.repeat(k, axis=1)
        err = err / rowsum
        for x in range(m):
            err[x, label_data[x, 0]] += 1
        weights = weights + (alpha / m) * feature_data.T * err      
        i += 1           
    return weights

def save_model(file_name, weights):
    '''保存最终的模型
    input:  file_name(string):保存的文件名
            weights(mat):softmax模型
    '''
    f_w = open(file_name, "w")
    m, n = np.shape(weights)
    for i in xrange(m):
        w_tmp = []
        for j in xrange(n):
            w_tmp.append(str(weights[i, j]))
        f_w.write("\t".join(w_tmp) + "\n")
    f_w.close()
            
if __name__ == "__main__":
    inputfile = "SoftInput.txt"
    # 1、导入训练数据
    print "---------- 1.load data ------------"
    feature, label, k = load_data(inputfile)
    # 2、训练Softmax模型
    print "---------- 2.training ------------"
    weights = gradientAscent(feature, label, k, 10000, 0.4)
    # 3、保存最终的模型
    print "---------- 3.save model ------------"
    save_model("weights", weights)

产生随机数进行测试,测试脚本为softmax_regression_test.py:

# coding:UTF-8

import numpy as np
import random as rd

def load_weights(weights_path):
    '''导入训练好的Softmax模型
    input:  weights_path(string)权重的存储位置
    output: weights(mat)将权重存到矩阵中
            m(int)权重的行数
            n(int)权重的列数
    '''
    f = open(weights_path)
    w = []
    for line in f.readlines():
        w_tmp = []
        lines = line.strip().split("\t")
        for x in lines:
            w_tmp.append(float(x))
        w.append(w_tmp)
    f.close()
    weights = np.mat(w)
    m, n = np.shape(weights)
    return weights, m, n

def load_data(num, m):
    '''导入测试数据
    input:  num(int)生成的测试样本的个数
            m(int)样本的维数
    output: testDataSet(mat)生成测试样本
    '''
    testDataSet = np.mat(np.ones((num, m)))
    for i in xrange(num):
        testDataSet[i, 1] = rd.random() * 6 - 3#随机生成[-3,3]之间的随机数
        testDataSet[i, 2] = rd.random() * 15#随机生成[0,15]之间是的随机数
    return testDataSet

def predict(test_data, weights):
    '''利用训练好的Softmax模型对测试数据进行预测
    input:  test_data(mat)测试数据的特征
            weights(mat)模型的权重
    output: h.argmax(axis=1)所属的类别
    '''
    h = test_data * weights
    return h.argmax(axis=1)#获得所属的类别

def save_result(file_name, result):
    '''保存最终的预测结果
    input:  file_name(string):保存最终结果的文件名
            result(mat):最终的预测结果
    '''
    f_result = open(file_name, "w")
    m = np.shape(result)[0]
    for i in xrange(m):
        f_result.write(str(result[i, 0]) + "\n")
    f_result.close()
    

if __name__ == "__main__":
    # 1、导入Softmax模型
    print "---------- 1.load model ------------"
    w, m , n = load_weights("weights")
    # 2、导入测试数据
    print "---------- 2.load data ------------"
    test_data = load_data(4000, m)
    # 3、利用训练好的Softmax模型对测试数据进行预测
    print "---------- 3.get Prediction ------------"
    result = predict(test_data, w)
    # 4、保存最终的预测结果
    print "---------- 4.save prediction ------------"
    save_result("result", result)
    

训练的结果为:
在这里插入图片描述
通过训练,得到了最终的模型的参数,模型的参数保存在文件weights中,其中参数为:
在这里插入图片描述
在本次测试中随机生成了4000个样本,目的是为了能够更好地刻画出分类的边界,最终的分类效果如图所示(使用matplotlib绘图,代码略):
在这里插入图片描述
图中,通过点的不同深浅区分出4个类别之间的边界。

参考

Python机器学习算法/赵志勇著.——北京:电子工业出版社,2017.7

深度学习模型系列一——多分类模型——Softmax 回归 Softmax 回归1、概述 1、概述 softmax 回归(softmax regression)其实是 logistic 回归的一般形式,logistic 回归用于二分类,而 softmax 回归用于多分类,关于 logistic 回归可以看我的这篇博客????机器学习笔记九——线性模型原理以及python实现案例 参考资料: https://blog.youkuaiyun.com/weixin_38169413/article/details/103598534 ... 阅读详情

相关推荐

3.【Python】分类算法—Softmax Regression

3.【Python】分类算法—Softmax Regression 文章目录3.【Python】分类算法—Softmax Regression前言一、二、使用步骤1.引入库2.读入数据总结 前言 Softmax回归算法主要用于多分类问题,是逻辑回归算法的推广,值得注意的是,Softmax回归算法中任意两个类是线性可分的。 一、 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下(示例): import numpy as np i

weixin_43166884的博客 1069

softmax回归(Softmax Regression)

Softmax Regression 注:这篇博客是看NG的UFLDL_Tutorial写的博客笔记,其中大量文字和公式来自该网页,自己只添加了公式推导和实验编程部分。网址为:Link。 本文主要从下几个方面介绍softmax回归(softmax regression): softmax regression的代价函数softmax regression模型参数的特点权重衰减(收缩法

天泽28的专栏 1万+

python实现softmax_regression

利用python语言实现softmax regression, 代码清晰简单。

【深度学习笔记】3_4 逻辑回归之softmax-regression

Softmax回归(Softmax Regression),也称为多类逻辑回归(Multinomial Logistic Regression),是一种用于前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中,模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题,我们可以使用诸如softmax回归在内的分类模型。和线性回归不同,softmax回归的输出单元从一个变成了多个,且引入了softmax运算使输出更适合离散值的预测和训练。

RIKI_1 1608

盘点天才少年稚晖君彭志辉的知识体系

一个杰出工程师的工作区间和装备

曲折旅程,艰难人生 2万+

AD9253 LVDS 高速ADC驱动开发

对应:data clock时钟为500M DDR mode。具体内容:下文的参考博客写的很清楚,我就不详细写了。参考博客clock align模块不完整,本文新增这个模块。3、该款ADC工作在125Msps下,14bit - 2Lane - 1frame 模式。2、查阅Xilinx xapp524手册。1、查阅AD9253器件手册。

CAOXUN_FPGA的博客 2111

深度学习算法原理——Softmax Regression

一、Logistic回归简介 Logistic回归是解决二分类问题的分类算法。假设有mmm个训练样本{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}\left \{ \left ( \mathbf{x}^{(1)},y^{(1)} \right ),\left ( \mathbf{x}^{...

null的专栏 1万+

PCB作为智能小车底盘的设计方法与工程实践

PCB底盘是一种将机械结构与电子设计深度融合的嵌入式系统集成方案,其本质是利用印制电路板的高精度制造能力(±0.05mm孔位公差)和FR-4材料的结构强度(弯曲强度345MPa),替代传统亚克力或铝合金底盘。该方案通过封装库驱动的正向设计、机械层语义化定义及机电协同布局,实现安装基准统一、共地平面优化与RF天线集成等技术价值。广泛应用于教育机器人、AGV小车、模块化开发平台等对空间紧凑性、量产一致性与电磁兼容性有严苛要求的移动嵌入式场景,尤其适合具备EDA工具使用能力的电子工程师主导的跨学科开发流程。

weixin_36064575的博客 133

机器学习算法(2)—— Softmax Regression

1、前言 由于逻辑回归算法复杂度低、容易实现的特点,在工业界得到广泛的应用。如计算广告中的点击率预估等。但是逻辑回归主要用于二分类问题,若需要处理的是多分类问题,如手写数字识别这一类的多分类问题,此时可能需要的是能够处理多分类问题的算法。 2、Softmax Regression算法模型 2.1、Softmax Regression 概率模型 假设有 m 个训练样本:           ...

qq_24819773的博客 696

告别底噪和发热:TPA3255的PCB布局与散热设计保姆级教程(附嘉立创EDA文件)

本文详细解析TPA3255 Class D音频功放的PCB布局与散热设计,提供从电源系统分层架构到热管理系统的全流程优化方案。通过实战案例展示如何消除底噪、降低发热,并附嘉立创EDA文件,助力工程师快速设计高性能音频功放。

weixin_29208077的博客 379

从编译到启动:RV1106嵌入式Linux系统构建的效率优化与深度实践

本文深入探讨RV1106嵌入式Linux系统构建的全流程优化策略,重点提升编译速度和驱动加载效率。通过并行编译配置、内核裁剪、驱动加载优化和硬件辅助加速等实践方法,显著缩短系统构建和启动时间,为嵌入式开发提供实用指导。

ttt77的博客 1035

Softmax Regression 算法简介

Softmax Regression 算法推导概述模型介绍代价函数介绍总结 概述 对于一个简单的二分类问题,一般采用逻辑回归算法进行处理,但是在实际应用中会遇到很多多分类问题,此时逻辑回归就没有办法很适用了。下面介绍基于逻辑回归延伸出的Softmax Regression 算法,该算法可以有效处理简单的多分类问题。 模型介绍 Softmax Regression 算法是基于最大熵模型推导出来的。最大熵的原理认为,在所有可能的概率模型中,熵最大的模型就是最好的模型。假设离散随机变量X的概率分布是P(X),那么

qq_41978896的博客 420

Android Camera MTK框架

Camera简介: 虽然前文说道Android在5.0之后就推出了Camera2 API,但是各个厂家的基本未适配,导致目前市场上大部分机型使用的仍然是Camera1 API。PS:Android 9.0 Google强制要求各个平台厂商(高通/MTK/华为等)支持Camera2,不再兼容Camera1。 ...

weixin_49303682的博客 5512

简单易学的机器学习算法——Softmax Regression

Contents  [hide] 1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者 简介 在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标

鲨鱼大哥的专栏 1175

端到端自动驾驶:特斯拉FSD Beta技术拆解

端到端自动驾驶:特斯拉FSD Beta技术拆解 ,人工智能,计算机视觉,大模型,AI,这篇文章围绕特斯拉FSD Beta的端到端自动驾驶技术展开,先介绍端到端自动驾驶的定义、与传统方案的区别及FSD Beta的特点,再阐述其硬件基础、技术架构,解析关键技术,还涉及训练数据与标注、安全与冗余设计、实际应用场景与挑战以及技术迭代与更新等内容,展现了该技术的多方面情况。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 18万+

NVIDIA A100驱动及CUDA安装指南

NVIDIA A100驱动及CUDA安装指南:详细介绍了在Ubuntu系统下安装A100显卡驱动和CUDA工具包的完整流程,包括环境准备、驱动安装、CUDA配置及性能优化建议。特别推荐猿界算力平台提供开箱即用的A100算力租赁服务,具备专业团队支持、灵活租期和实惠价格等优势。文末通过PyTorch测试验证了A100设备的可用性,展示了80GB显存的强大计算能力。

2401_89353317的博客 1514

2.2、Softmax Regression算法实践

Softmax Regression算法实践   有了上篇博客的理论知识,我们可以利用实现好的函数,来构建Softmax Regression分类器,在训练分类器的过程中,我们使用多分类数据作为训练数据:如图 1、利用训练数据对模型进行训练: 完整代码为: 1 # -*- coding: UTF-8 -*- 2 # date:2018/5/29 ...

aiyiguan4623的博客 165

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【机器学习】Softmax Regression算法原理与java实现

【机器学习】Softmax Regression算法原理与java实现1、Softmax Regression算法原理1.1、样本概率1.2、损失函数1.3、梯度下降法训练模型2、java实现参考资料 Logistic Regression算法是线性二分类算法,Softmax Regression算法是Logistic Regression算法在多分类问题上的推广,其中任意两个类别的样本是线性可分...

Luqiang_Shi的博客 1598

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Softmax Regression算法处理多分类问题(1)——训练算法模型

代码如下:# coding:UTF-8 import numpy as np def load_data(inputfile): '''导入训练数据 input: inputfile(string)训练样本的位置 output: feature_data(mat)特征 label_data(mat)标签 k(int)类别的...

Jankin_luo的博客 537

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

tensorflow使用softmax regression算法实现手写识别

最近在学习黄文坚的TensorFlow书籍,希望对学习做一个总结。 softmax regression算法原理:当我们对一张图片进行预测时,会计算每一个数字的可能性,如3的概率是3%,5的概率是6%,1的概率是80%,则返回1. TensorFlow版本:0.8.0 # 导入手写识别数据,TensorFlow提供了手写识别库from tensorflow.examples.tutori...

weixin_30367543的博客 69

Softmax Regression算法处理多分类问题(2)——使用训练好的算法模型对数据进行预测

代码如下:# coding:UTF-8 import numpy as np import random as rd def load_weights(weights_path): '''导入训练好的Softmax模型 input: weights_path(string)权重的存储位置 output: weights(mat)将权重存到矩阵中 ...

Jankin_luo的博客 832

使用Tensorflow实现Softmax Regression

今天我们将使用tensorflow自带的手写数字数据,来训练一个softmax regression的模型。这应该是机器学习领域的入门级任务。

longer_tju的博客 642
上一篇: 离群点检测算法——LOF(Local Outlier Factor)
下一篇: Gurobi求解标准数独问题
ilike_program
博客等级 码龄10年 20粉丝 15原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值