第3章 线性模型

神经网络与深度学习——第3章 线性模型 线性模型 线性模型(Linear Model)是机器学习中应用最广泛的模型,指通过样本特征的线性组合来进行预测的模型,给定一个DDD维样本x=[x1,...,xD]T\bm x = [x_1,...,x_D]^Tx=[x1​,...,xD​]T,其线性组合函数为 在分类问题中,由于输出目标yyy是一些离散的标签,而f(x;ω)f(\bm x;\bm \omega)f(x;ω)的值域为实数,因此无法直接用f(x;ω)f(\bm x;\bm \omega)f(x;ω)来进行预测,需要引入一个非线性的决策函数g 阅读详情

第3章 线性模型

线性模型是机器学习中最基础、应用最广的模型,核心思想是通过样本特征的线性组合来做预测。比如判断邮件是否为垃圾邮件、预测水果甜度,都可以用线性模型快速解决。

简单说,线性模型的核心公式是:
f(x;w)=w⊤x+bf(x; w) = w^{\top}x + bf(x;w)=w⊤x+b
其中 (w) 是特征的权重(比如“关键词频率”对垃圾邮件判断的重要程度),(b) 是偏置(调整预测的基准线)。

对于回归问题(预测连续值,比如甜度),可以直接用这个公式输出结果;但对于分类问题(预测离散类别,比如“垃圾邮件/正常邮件”),需要加一个非线性的“决策函数”,把线性输出转换成类别标签。

本章会讲四种经典线性分类模型:Logistic回归(二分类)、Softmax回归(多分类)、感知器、支持向量机,核心区别在于用了不同的损失函数和优化方法。

3.1 线性判别函数和决策边界

线性分类模型的核心是找到一个“分割线/面”(决策边界),把不同类别的样本分开。这个边界由线性判别函数 f(x;w)=w⊤x+b=0f(x; w) = w^{\top}x + b = 0f(x;w)=w⊤x+b=0定义。

3.1.1 二分类:找一条“分割线”

二分类问题的类别标签通常是 {+1, -1} 或 {0, 1},比如“正例(垃圾邮件)”和“负例(正常邮件)”。

  • 决策边界:特征空间中满足 w⊤x+b=0w^{\top}x + b = 0w⊤x+b=0的点构成的集合(二维空间是直线,三维是平面,高维是超平面);
  • 分类规则:对于样本 (x),如果 w⊤x+b>0w^{\top}x + b > 0w⊤x+b>0,预测为+1类;如果 w⊤x+b<0w^{\top}x + b < 0w⊤x+b<0,预测为-1类;
  • 核心特点:权重向量 (w) 与决策边界垂直(比如二维空间中,直线 w1x1w_1x_1w1​x1​ + w2x2w_2x_2w2​x2​ + b = 0的法向量就是 w=[w1,w2]w = [w_1, w_2]w=[w1​,w2​]);
  • 线性可分:如果存在这样的超平面,能把所有正例和负例完全分开,就说数据集是“线性可分”的。

3.1.2 多分类:找多条“分割线”

多分类问题(比如分类数字0-9、判断水果是苹果/香蕉/橙子)需要处理多个类别,常用三种方式设计判别函数:

1)“一对其余”方式
  • 思路:把多分类拆成 C个二分类(C是类别数)。比如3分类问题,拆成“苹果vs非苹果”“香蕉vs非香蕉”“橙子vs非橙子”;
  • 缺点:特征空间中会有“模糊区域”(一个样本可能被多个二分类器判定为正例,或都不判定)。
2)“一对一”方式
  • 思路:把每两个类别拆成一个二分类,比如3分类需要拆成“苹果vs香蕉”“苹果vs橙子”“香蕉vs橙子”,共 C(C−1)/2C(C-1)/2C(C−1)/2个分类器;
  • 缺点:分类器数量多,且同样存在“模糊区域”(比如一个样本在不同分类器中判定结果矛盾)。
3)“argmax”方式(最常用)
  • 思路:为每个类别设计一个线性判别函数 fc(x;wc)=wc⊤x+bcf_c(x; w_c) = w_c^{\top}x + b_cfc​(x;wc​)=wc⊤​x+bc​(共 C个),样本属于“判别函数值最大”的类别;
  • 分类规则:y=arg⁡max⁡c=1..Cfc(x;wc)y = \arg\max_{c=1..C} f_c(x; w_c)y=argmaxc=1..C​fc​(x;wc​);
  • 优点:没有模糊区域,相邻类别的决策边界由 fi(x)=fj(x)f_i(x) = f_j(x)fi​(x)=fj​(x)决定,逻辑更清晰,是目前多分类的首选方式。

3.2 Logistic回归:二分类的“概率模型”

Logistic回归是解决二分类问题的经典模型,核心优势是能输出“样本属于某类的概率”(比如“这封邮件是垃圾邮件的概率为85%”),解释性强。

3.2.1 核心设计:用Sigmoid函数做“概率转换”

线性模型的输出是实数(−∞(-\infty(−∞ 到 +∞+\infty+∞),而概率需要在0-1之间,因此用Sigmoid函数(也叫Logistic函数)做转换:
[σ(z)=11+exp⁡(−z)][\sigma(z) = \frac{1}{1 + \exp(-z)} ][σ(z)=1+exp(−z)1​]

  • 功能:把线性输出 z=w⊤x+bz = w^{\top}x + bz=w⊤x+b挤压到(0, 1)区间,直接作为“样本属于正类(+1)的概率”;
  • 直观理解:当 z > 0 时,σ(z)>0.5\sigma(z) > 0.5σ(z)>0.5,倾向于正类;当 z < 0时,σ(z)<0.5\sigma(z) < 0.5σ(z)<0.5,倾向于负类。

因此,Logistic回归的预测公式是:
[p(y=1∣x)=σ(w⊤x+b),p(y=0∣x)=1−σ(w⊤x+b)][p(y=1|x) = \sigma(w^{\top}x + b), \quad p(y=0|x) = 1 - \sigma(w^{\top}x + b) ][p(y=1∣x)=σ(w⊤x+b),p(y=0∣x)=1−σ(w⊤x+b)]

3.2.2 参数学习:用交叉熵损失“调优”

参数学习的目标是找到最优的 (w) 和 (b),让预测概率尽可能接近真实标签。核心步骤:

  1. 损失函数:用“交叉熵损失”(适合概率预测问题),衡量预测概率与真实标签的差距:
    [L(w)=−1N∑n=1N[y(n)log⁡y^(n)+(1−y(n))log⁡(1−y^(n))]][ \mathcal{L}(w) = -\frac{1}{N}\sum_{n=1}^N \left[ y^{(n)}\log\hat{y}^{(n)} + (1-y^{(n)})\log(1-\hat{y}^{(n)}) \right] ][L(w)=−N1​∑n=1N​[y(n)logy^​(n)+(1−y(n))log(1−y^​(n))]]
    其中 y^(n)=σ(w⊤x(n)+b)\hat{y}^{(n)} = \sigma(w^{\top}x^{(n)} + b)y^​(n)=σ(w⊤x(n)+b) 是第 n个样本的预测概率,y(n)y^{(n)}y(n) 是真实标签(0或1)。
  2. 优化方法:梯度下降法(最常用)。计算损失函数对 (w) 和 (b) 的梯度,逐步调整参数减小损失:
    [wt+1=wt+α⋅1N∑n=1Nx(n)(y(n)−y^(n))][ w_{t+1} = w_t + \alpha \cdot \frac{1}{N}\sum_{n=1}^N x^{(n)}(y^{(n)} - \hat{y}^{(n)}) ][wt+1​=wt​+α⋅N1​∑n=1N​x(n)(y(n)−y^​(n))]
    其中 α\alphaα 是学习率(步长,控制每次参数调整的幅度)。
  3. 特点:交叉熵损失是凸函数,梯度下降能找到全局最优解,训练稳定。

3.2.3 关键理解:Logistic回归的本质

Logistic回归虽然叫“回归”,但其实是分类模型——名字来源于Sigmoid函数(Logistic函数)。它的核心价值是:

  • 输出概率,可解释性强(比如“关键词A出现时,垃圾邮件概率增加30%”);
  • 模型简单,训练快,适合数据量大、特征维度高的场景(比如文本分类)。

3.3 Softmax回归:多分类的“概率模型”

Softmax回归是Logistic回归在多分类问题上的扩展,能处理类别数 C > 2 的情况(比如分类数字0-9、识别水果种类)。

3.3.1 核心设计:用Softmax函数做“概率归一化”

对于多分类,每个类别都有一个线性判别函数 fc(x;wc)=wc⊤x+bcf_c(x; w_c) = w_c^{\top}x + b_cfc​(x;wc​)=wc⊤​x+bc​,需要把这些线性输出转换成“每个类别的概率”(总和为1),因此用Softmax函数:
[softmax(z)c=exp⁡(zc)∑c′=1Cexp⁡(zc′)][ \text{softmax}(z)_c = \frac{\exp(z_c)}{\sum_{c'=1}^C \exp(z_{c'})} ][softmax(z)c​=∑c′=1C​exp(zc′​)exp(zc​)​]
其中 zc=wc⊤x+bcz_c = w_c^{\top}x + b_czc​=wc⊤​x+bc​ 是第 c类的线性输出。

因此,Softmax回归的预测公式是:
[p(y=c∣x)=softmax(w⊤x+b)c][ p(y=c|x) = \text{softmax}(w^{\top}x + b)_c ][p(y=c∣x)=softmax(w⊤x+b)c​]

  • 功能:把多个线性输出转换成0-1之间的概率,且所有类别概率之和为1(比如“样本是苹果的概率30%、香蕉50%、橙子20%”);
  • 分类规则:选择概率最大的类别,即 y=arg⁡max⁡c=1..Cp(y=c∣x)y = \arg\max_{c=1..C} p(y=c|x)y=argmaxc=1..C​p(y=c∣x)。

3.3.2 与Logistic回归的关系

当类别数 C=2时,Softmax回归等价于Logistic回归:

  • 此时 p(y=1∣x)=σ(w1⊤x−w0⊤x+b1−b0)p(y=1|x) = \sigma(w_1^{\top}x - w_0^{\top}x + b_1 - b_0)p(y=1∣x)=σ(w1⊤​x−w0⊤​x+b1​−b0​),相当于Logistic回归的权重 w=w1−w0w = w_1 - w_0w=w1​−w0​,偏置 b=b1−b0b = b_1 - b_0b=b1​−b0​;
  • 本质:两者都是“概率模型”,核心区别是Softmax处理多分类,Logistic处理二分类。

3.3.3 参数学习:交叉熵损失+梯度下降

  1. 损失函数:多分类交叉熵损失,衡量预测概率分布与真实标签分布的差距。真实标签用“one-hot向量”表示(比如类别2对应 [0, 0, 1, …, 0]):
    [L(W)=−1N∑n=1N∑c=1Cyc(n)log⁡y^c(n)][ \mathcal{L}(W) = -\frac{1}{N}\sum_{n=1}^N \sum_{c=1}^C y_c^{(n)}\log\hat{y}_c^{(n)} ][L(W)=−N1​∑n=1N​∑c=1C​yc(n)​logy^​c(n)​]
    其中 W=[w1,w2,...,wC]W = [w_1, w_2, ..., w_C]W=[w1​,w2​,...,wC​] 是所有类别的权重矩阵。
  2. 优化方法:梯度下降法,计算损失对每个类别的权重 wcw_cwc​的梯度,逐步调整参数。
  3. 注意事项:Softmax的权重存在冗余(所有权重减去同一个向量,预测结果不变),因此需要加正则化约束参数,避免过拟合。

3.4 感知器:最简单的“神经网络”

感知器是1957年提出的线性分类模型,也是最简单的人工神经网络(只有一个神经元)。它的核心是“错误驱动学习”——只有预测错了,才调整参数。

3.4.1 模型定义与参数学习

  1. 模型公式:二分类感知器的预测规则是:
    [y^=sgn(w⊤x+b)][ \hat{y} = \text{sgn}(w^{\top}x + b) ][y^​=sgn(w⊤x+b)]
    其中 sgn(z)\text{sgn}(z)sgn(z)是符号函数(z>0输出+1,z<0 输出-1)。
  2. 学习算法:在线学习(逐样本更新),核心逻辑是“错了就改”:
    • 初始化权重 w=0,偏置 b=0;
    • 对每个训练样本 (x, y):如果 y⋅(w⊤x+b)≤0y \cdot (w^{\top}x + b) \leq 0y⋅(w⊤x+b)≤0(预测错误),则更新参数:
      [w←w+yx,b←b+y][ w \leftarrow w + yx, \quad b \leftarrow b + y ][w←w+yx,b←b+y]
  3. 直观理解:比如预测“正例”时,模型判成“负例”,就把权重向“让样本判为正例”的方向调整(乘以真实标签 y=+1,相当于增加 x 对权重的贡献)。

3.4.2 感知器的收敛性

感知器的收敛性有明确的数学保证:

  • 如果训练集是线性可分的,感知器算法能在有限次迭代后收敛(找到正确的决策边界);
  • 如果训练集线性不可分,感知器会一直迭代,永远不收敛(比如异或问题,感知器无法用直线分开)。

这也是感知器的最大局限——只能处理线性可分问题,无法解决非线性问题,导致20世纪60年代后研究陷入低谷。

3.4.3 改进:平均感知器

原始感知器的权重更新依赖样本顺序,泛化能力较差。平均感知器通过“加权平均所有迭代的权重”来改进:

  • 记录每次权重更新的次数和权重值,给“正确分类更多样本”的权重更高的置信度;
  • 最终用加权平均后的权重做预测,提高模型的稳定性和泛化能力。

3.4.4 扩展到多分类

感知器可以通过“广义感知器”扩展到多分类和结构化学习(比如序列标注):

  • 核心思路:引入“联合特征函数”ϕ(x,y)\phi(x, y)ϕ(x,y),把“输入 x+ 输出 y”映射到特征空间;
  • 预测规则:y^=arg⁡max⁡yw⊤ϕ(x,y)\hat{y} = \arg\max_{y} w^{\top}\phi(x, y)y^​=argmaxy​w⊤ϕ(x,y)(选择让联合特征得分最高的类别 (y));
  • 学习算法:预测错误时,更新权重 w←w+ϕ(x,y真实)−ϕ(x,y预测)w \leftarrow w + \phi(x, y_{\text{真实}}) - \phi(x, y_{\text{预测}})w←w+ϕ(x,y真实​)−ϕ(x,y预测​)。

3.5 支持向量机:找“最稳定的分割线”

支持向量机(SVM)是二分类的经典模型,核心思想是找到“最大间隔”的决策边界——不仅能分开样本,还要让样本到边界的距离尽可能大,这样模型的泛化能力更强(抗噪声、抗过拟合)。

3.5.1 核心概念:间隔最大化

  1. 样本到边界的距离:对于样本 (x),到决策边界 w⊤x+b=0w^{\top}x + b = 0w⊤x+b=0的距离是:
    [γ=∣w⊤x+b∣∥w∥][ \gamma = \frac{|w^{\top}x + b|}{\|w\|} ][γ=∥w∥∣w⊤x+b∣​]
    其中 (|w|) 是权重向量的模。
  2. 间隔:所有样本到边界的最小距离(比如所有样本中,离边界最近的点的距离);
  3. 目标:找到 (w) 和 (b),让间隔最大(这样模型对噪声更不敏感,新样本预测更稳)。

3.5.2 参数学习:凸优化+拉格朗日乘数法

最大化间隔的问题可以转化为“带约束的凸优化问题”:
[min⁡w,b12∥w∥2[ \min_{w, b} \frac{1}{2}\|w\|^2 \quad[minw,b​21​∥w∥2 y(n)(w⊤x(n)+b)≥1]\quad y^{(n)}(w^{\top}x^{(n)} + b) \geq 1 ]y(n)(w⊤x(n)+b)≥1]

  • 约束条件 y(n)(w⊤x(n)+b)≥1y^{(n)}(w^{\top}x^{(n)} + b) \geq 1y(n)(w⊤x(n)+b)≥1表示“所有样本到边界的距离至少为 1/∥w∥1/\|w\|1/∥w∥”;
  • 优化目标 12∥w∥2\frac{1}{2}\|w\|^221​∥w∥2 等价于最大化间隔 1/∥w∥1/\|w\|1/∥w∥。

通过拉格朗日乘数法,可以把这个问题转化为“对偶问题”,最终求解得到:

  • 最优权重 w∗=∑n=1Nλn∗y(n)x(n)w^* = \sum_{n=1}^N \lambda_n^* y^{(n)} x^{(n)}w∗=∑n=1N​λn∗​y(n)x(n)(只有少数样本的 λn∗>0\lambda_n^* > 0λn∗​>0,这些样本就是“支持向量”);
  • 支持向量:离决策边界最近的样本(对边界的位置起决定性作用),模型的预测只依赖支持向量,与其他样本无关。

3.5.3 核函数:处理线性不可分问题

如果样本是线性不可分的(比如异或问题),支持向量机可以通过“核函数”把样本映射到高维特征空间,在高维空间中找到线性决策边界:

  • 核心思想:不用显式把样本映射到高维,而是通过核函数 k(x,z)=ϕ(x)⊤ϕ(z)k(x, z) = \phi(x)^{\top}\phi(z)k(x,z)=ϕ(x)⊤ϕ(z) 直接计算高维空间中样本的内积(ϕ(x)\phi(x)ϕ(x)是高维映射函数);
  • 常用核函数:线性核(k(x,z)=x⊤zk(x, z) = x^{\top}zk(x,z)=x⊤z,等价于原始线性SVM)、多项式核、高斯核(RBF核,适合非线性问题);
  • 优势:用核函数避免了高维映射的计算复杂度,同时能处理非线性分类问题。

3.5.4 软间隔:容忍少量错误样本

实际数据中,样本可能有噪声,完全线性可分的情况很少。软间隔SVM允许少量样本不满足约束条件(即预测错误),通过“松弛变量”ξn\xi_nξn​ 调整:
[min⁡w,b,ξ12∥w∥2+C∑n=1Nξns.t.y(n)(w⊤x(n)+b)≥1−ξn,ξn≥0][ \min_{w, b, \xi} \frac{1}{2}\|w\|^2 + C\sum_{n=1}^N \xi_n \quad \text{s.t.} \quad y^{(n)}(w^{\top}x^{(n)} + b) \geq 1 - \xi_n, \xi_n \geq 0 ][minw,b,ξ​21​∥w∥2+C∑n=1N​ξn​s.t.y(n)(w⊤x(n)+b)≥1−ξn​,ξn​≥0]

  • (C) 是超参数:控制“间隔大小”和“错误容忍度”(C 越大,越不能容忍错误样本;C 越小,越看重间隔大小);
  • 损失函数:软间隔的损失函数是“Hinge损失”max⁡(0,1−y(w⊤x+b))\max(0, 1 - y(w^{\top}x + b))max(0,1−y(w⊤x+b)),对异常值不敏感,鲁棒性强。

3.6 损失函数对比:四种线性模型的核心区别

四种线性模型的决策函数都是线性的,但损失函数不同,导致模型的特性和适用场景有差异。统一假设类别标签 y∈{+1,−1}y \in \{+1, -1\}y∈{+1,−1},线性判别函数 f(x;w)=w⊤x+bf(x; w) = w^{\top}x + bf(x;w)=w⊤x+b,各模型的损失函数如下:

模型损失函数核心特点适用场景
Logistic回归交叉熵损失:log⁡(1+exp⁡(−yf(x)))\log(1 + \exp(-yf(x)))log(1+exp(−yf(x)))输出概率,可解释性强,适合概率预测二分类、需要概率输出的场景
感知器感知器损失:max⁡(0,−yf(x))\max(0, -yf(x))max(0,−yf(x))错误驱动,在线学习,只更新错误样本线性可分的二分类、在线任务
支持向量机Hinge损失:max⁡(0,1−yf(x))\max(0, 1 - yf(x))max(0,1−yf(x))最大间隔,鲁棒性强,适合噪声数据二分类、非线性问题(核函数)
线性回归(分类)平方损失:(y−f(x))2(y - f(x))^2(y−f(x))2对异常值敏感,不适合分类(输出非概率)不推荐用于分类,适合回归

损失函数的直观对比

  • 当 yf(x)>1yf(x) > 1yf(x)>1(预测正确且远离边界):Hinge损失为0,支持向量机不再调整参数(专注于最大间隔);
  • 当 0<yf(x)≤10 < yf(x) \leq 10<yf(x)≤1(预测正确但靠近边界):Hinge损失和感知器损失都为正,会调整参数让样本远离边界;
  • 当 yf(x)<0yf(x) < 0yf(x)<0(预测错误):所有损失都为正,会调整参数修正错误。

3.7 总结

线性模型的核心是“线性判别函数+损失函数+优化方法”,简单、高效、可解释性强,是处理分类/回归问题的“首选 baseline”。

核心要点

  1. 二分类优先用Logistic回归(需要概率)或支持向量机(需要鲁棒性);
  2. 多分类优先用Softmax回归(直接输出多类概率);
  3. 在线学习、数据量极大时,可用感知器或平均感知器;
  4. 非线性问题用支持向量机+核函数(高斯核、多项式核)。

深入阅读推荐

  • 想系统学线性模型理论:《Pattern Recognition and Machine Learning》(Bishop)第4章;
  • 想深入支持向量机和核方法:《Learning with Kernels》(Schölkopf等);
  • 想了解感知器的扩展:《Discriminative Training Methods for Hidden Markov Models》(Collins)。
win10和Mac上安装Freesurfer Mac安装Freesurfer 软件下载地址 可以根据官方给出的demo视频一步一步下载 阅读详情

相关推荐

python基础语法与数据结构

本文摘要: Python基础语法包含输入输出、函数、变量、数据类型及运算符等内容。输入函数input()获取键盘输入并以字符串存储,输出函数print()可格式化输出数据。函数通过def定义,可带参数和返回值,提高代码复用性。变量无需声明类型,可动态赋值。数据类型包括数字、字符串、布尔及复合类型,可通过type()查看。运算符包含算术、赋值等类型,其中复合赋值运算符如+=可简化运算。类型转换函数如int()、str()等可实现显式类型转换。这些基础语法构成Python编程的核心要素。

MM602388的博客 436

吃瓜笔记 第3章 线性模型

西瓜书第 3 章的不完全笔记

ListeningK的博客 1281

Windows下飞桨PaddlePaddle 2.6.1 GPU版环境搭建全攻略(含CUDA 11.7配置避坑指南)

本文详细介绍了在Windows系统下搭建飞桨PaddlePaddle 2.6.1 GPU版环境的完整流程,特别针对CUDA 11.7和cuDNN的安装提供了避坑指南。从Anaconda环境配置、CUDA Toolkit安装到飞桨GPU版的验证,手把手帮助开发者高效完成深度学习环境搭建,解决常见问题并优化性能。

x8y9z0的博客 1097

第3章:线性模型

优点:简单、基本、可理解性好。

weixin_54385104的博客 297

GEE|基于时间序列特征的山东省玉米随机森林分类代码

主题思路: 本实验为二分类实验,分类目标包括:玉米、其他(建筑、水体、水稻、 裸地、森林、小麦、道路、大蒜等),采用人工设计的特征指数的时间序列特征为分类依据,选取分类器为:随机森林分类器,并选取样本集中 70%作为训练样本,30%作为测试样本,通过调整随机森林棵数,调整分类器结构。选取以下参数进行分类: ⚫ 时间尺度:1990 年 4 月 15 日 - 1990 年 9 月 30 日 ⚫ 空间尺度:山东省 ⚫ 影像融合时间间隔:16天 ⚫ 特征值选择:['nir','ndvi'...

weixin_46493028的博客 7469

【XR硬件介绍】PICO Space Pro(Project Swan)深度解析:字节 2026 旗舰 MR 头显延期背后

内部代号 Project Swan 的 PICO 年度旗舰 MR 头显正式定名PICO Space Pro,原本计划 2026 年 9 月对外发布,官方官宣推迟至 2026 年第四季度上市。硬件层面已经完成 FCC 认证,硬件成熟度较高,延期核心目标是打磨 PICO OS 6 空间操作系统,补齐空间计算软件能力。本文从产品背景、硬件架构、软件生态、延期逻辑、行业竞争格局几个维度拆解这款国产高端 MR 设备,分析它对国内 XR 产业的意义与待解的问题。

houdou112358的博客 1262

机器学习 第3章 线性模型

线性模型试图学得一个通过属性的线性组合来进行预测的函数,即fxw1​x1​w2​x2​wd​xd​b,其中xi​是x在第i个属性上的取值。一般采取向量形式表示上式,即fxwTxb,其中,ww1​;w2​;...;wd​,只需确定w和b这两参数的值,该模型就已算确定了。

qq_55871320的博客 782

实战指南:如何用Frida绕过某梆加固的Anti-Frida检测(附完整脚本)

本文深入剖析了企业级加固方案中的Anti-Frida检测机制,并提供了实战对抗策略。通过分析基于文件系统、内存特征、行为及环境的多层次检测原理,文章详细介绍了如何定位检测逻辑、绕过maps文件扫描、对抗内存与行为特征检测,并附上了针对某梆加固的完整绕过脚本与系统化工程方案。

weixin_42527589的博客 602

《机器学习》第3章 线性模型

线性模型的形式很简洁,而且易于建模。线性模型蕴含着机器学习中一些重要的基本思想.许多功能更为强大的非线性模型可在线性模型的基础上通过引入层次结构或高维映射而得。线性模型还有多种推广形式,常见的有广义线性模型:逻辑回归、岭回归等。 1.线性回归模型 (1)问题的求解目标 线性回归(linear regression)是一种回归分析技术,例如在给定数据集D。线性回归试图学习...

qd1006739486的博客 739

STM32F103C8T6全桥逆变电路PWM波生成(基于HAL库)

全桥逆变电路需要两组开关管相互协同工作,故需要两路PWM控制信号,为了防止电源短路,需要保证同一桥臂的上下两个开关管不会同时导通,故两路PWM在相位上需要相差180°;为了保证高频变压器不会磁饱和,使正负半周PWM占空比相同。但是传统的互补输出达不到调节占空比调节输出电压的效果。......

weixin_45042735的博客 6025

【华为OD机试真题 新系统】1043、魔法咒语组合 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS)

【华为OD机试真题 新系统】1043、魔法咒语组合 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2026e卷,od机试,2026E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2026华为od,如何备战华为od

KJ.JK 286

机器学习 第3章-线性模型

给定由d个属性描述的示例xx1​;x2​;...;xd​,其中xi​是x在第i个属性上的取值,线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数,即fxw1​x1​w2​x2​⋅⋅⋅wd​xd​b一般用向量形式写成fxwTxb其中ww1​;w2​;...;wd​w和b学得之后,模型就得以确定了。

m0_62094120的博客 744

基于STC8G1K08A单片机的EC11旋转编码器控制(江科大同款,代码可直接使用)

本文介绍了STC8G系列单片机与EC11旋转编码器的接口实现方案。硬件方面详细说明了EC11编码器的机械结构、电气特性及与单片机的典型连接电路,包括上拉电阻和消抖设计。软件部分重点阐述了状态检测算法,通过状态机和查找表实现方向判断,采用中断方式检测信号变化,并配合定时器进行软件消抖处理。文章还提供了完整的代码实现,包括GPIO初始化、中断服务函数、状态转换逻辑等关键模块,展示了如何通过串口输出验证旋转计数。最后讨论了抗抖动优化、高低速应用场景等实际问题解决方案。该方案在菜单导航、参数调节等场景中具有实用价值

weixin_74013772的博客 324

课后题答案——第3章 线性模型

因此通常不需要专门处理。以ECOC编码为例,每个生成的二分类器会将所有样本分成较为均衡的二类,使类别不平衡的影响减小。当然拆解后仍然可能出现明显的类别不平衡现象,比如一个超级大类和一群小类。可以看做是其它变量留下的偏差的线性修正,因此一般情况下是需要考虑偏置项的。首先要明白偏置项b的作用:偏置项在线性回归中起到了。原论文中给出了构造编码的几种方法。,原书p137,有关于核线性判别分析的介绍。来判别:若二阶导数在区间上非负,则称为。,此时就不需要考虑偏置项了。对实数集上的函数,可通过求。

a131529的博客 1446

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

学习吃瓜教程第3章线性模型总结

一对多”:训 练10个二元分类器,每个数字一个(0-检测器、1-检测器、2-检测 器,以此类推)。然后,当你需要对一张图片进行检测分类时,获取每个分类器的决策分数,哪个分类器给分最高,就将其分为哪个类。注意:有文献译为 “逻辑回归”,但中文 “逻辑”与 logistic和 logit的含义相去甚远,因此西瓜书意译为 “对数几率回归”,简称 “对率回归”.“一对一”:为每一对数字训练一个二元分类器:一个用于区分0和1,一个区分0和2,一个区分1和2,以此类推。,相应的,把数据集D 表示为一个。

m0_62557756的博客 815

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

西瓜书-第3章-线性模型笔记

文章目录第3章-线性模型1-基本形式1.1-线性模型1.2-优势1.2.1-可解释性1.2.2-非线性模型2-线性回归2.1-定义与数学形式2.1.1- 若 xix_ixi​ 是离散属性:2.2-回归任务最常用的性能度量:均方误差2.3-求解均方误差最小化=>最小二乘法2.4-多元线性回归2.5-对数线性回归2.6-广义线性模型3-对数几率回归4-线性判别分析5-多分类学习6-类别不平衡问题7-阅读材料8-习题9-借鉴笔记: 第3章-线性模型 1-基本形式 1.1-线性模型 给定由d个属性描述的示例

招财进宝 822

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

西瓜书笔记:第3章·线性模型

写在前面 个人情况: 数学基础 -> 考研数学一 编程基础 -> 过去偏向应用开发,任务需要会兼顾前后端,nlp相关知之甚少 整体情况 -> 小白一枚~ 阅读目的 -> 初次阅读重点在于了解理论模型构建过程 RHe   原意是通过项目推动理论学习,不过基于零基础点NLP的技能树显然是有些不自量力。在学习某入门文本分类实践中,遇到了一个感兴趣的名词——SVM支持向量机。随后找到西瓜书略读相关理论,在6.4软间隔与正则化和6.6核方法分别遇到了对率损失和线性判别分析两个概念,它们

面包猎人 453

第3章线性模型图片

aite_的博客 326

西瓜书总复习之第3章-线性模型

第3章-线性模型3、线性模型3.1 线性回归3.2 线性几率回归3.3 线性判别分析3.4 多分类学习3.5 类别不平衡问题 3、线性模型 (本文仅为个人方便复习回顾) 谈及线性模型,其实我们很早就已经与它打过交道,还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗?这就是线性模型的经典算法之一:根据给定的(x,y)点对,求出一条与这些点拟合效果最好的直线y=ax+b,之前我们利用下面的公式便可以计算出拟合直线的系数a,b(3.1中给出了具体的计算过程),从而对于一个新的x,可以预测它所对应的y值。前面我

努力上进的小叶 573

吃瓜教程task02 第3章 线性模型

第三章 线性模型 2022/5/16 雾切凉宫 至3.2节/视频P3 文章目录第三章 线性模型3.1 基本形式3.2 线性回归P2 一元线性回归P2.1 最小二乘法P2.2 极大似然估计误差ε极大似然估计解法P2.3 求解w和bP2.4 机器学习三要素P3 多元线性回归P3.1 由最小二乘法导出w 3.1 基本形式 线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数,即 f(x)=w1x1+w2x2+……+wdxd+b f(x)=w_1x_1+w_2x_2+……+w_dx_d

qq_31254785的博客 672
上一篇: 第2章 机器学习概述-02
下一篇: 第4章 前馈神经网络
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值