线性回归:从贝叶斯角度分析

机器学习笔记之贝叶斯线性回归(一)线性回归背景介绍 本节开始,介绍贝叶斯线性回归(Bayesian Linear Regression)。 阅读详情

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


我们都知道学习机器学习时学到的第一个模型就是线性回归。这是一个非常简单,直观和激发我们深入到机器学习的模型。

线性回归可以在几个观点中直观的解释,例如:几何和频率统计。从频率统计的角度来看,通常应该会谈论到贝叶斯。因此从这篇文章中,我们将从贝叶斯的角度来简单分析一下线性规划。

线性回归:回顾

回想一下,在线性回归中,我们希望将输入映射为实数,即 f:RN→Rf:R^{N} \rightarrow Rf:RN→R 。例如,一个学生学习了多少小时功课,学习了什么学科和这个学生的智商 IQ 是多少,然后让你去预测他的成绩是多少?

线性回归也是分为好几种的,这取决于它们的成本函数和正则化器。在这篇文章中,我们将来重点关注线性回归 l2l_{2}l2​ 损失函数和 l2l_{2}l2​ 正则化。在统计学中,这种正则化称为 Ridge 回归。

正式的,这种形式我们可以用数学表示为:

L=12∣∣y^−y∣∣22+λ2∣∣W∣∣22L = \frac{1}{2} ||\hat y - y||_{2}^{2} + \frac{\lambda}{2} || W ||_{2}^{2}L=21​∣∣y^​−y∣∣22​+2λ​∣∣W∣∣22​

其中 y^\hat yy^​ 是真实值,yyy 是我们的预测值,可以用下面的数学表达出来:

y=WTxy=W^{T}xy=WTx

这是一个特征向量和权重矩阵的线性组合。上面额外的 12\frac{1}{2}21​ 只是为了在后续的计算中,更加方便而已。然后,我们的目标是减小这个损失函数的值。也就是说,我们想要找到权重矩阵 w 使得损失函数最小。

当然,我们可以先忽略正则化项,那么我们的损失函数就变成了:

L=12∣∣y^−y∣∣22L = \frac{1}{2} ||\hat y - y||_{2}^{2}L=21​∣∣y^​−y∣∣22​

最小化此目标是线性最小二乘问题的定义。

线性回归的频率观点

我们可以将上述模型的回归目标谢伟预测值加上一些误差:

$\hat y = y + \epsilon = W^{T}x + \epsilon $

或者,等价于,我们可以得到误差项的表现形式:

ϵ=y^−y\epsilon = \hat y - yϵ=y^​−y

现在,假设我们将回归目标建模为高斯随机变量,即 y∼N(μ,σ2)y \sim N(\mu, \sigma^{2})y∼N(μ,σ2) 和 μ=y=WTx\mu = y = W^{T}xμ=y=WTx ,所以我们的预测模型可以正式成为:

P(y^∣x,W)=N(y^∣WTx,σ2)P(\hat y | x,W) = N(\hat y | W^{T}x, \sigma^{2})P(y^​∣x,W)=N(y^​∣WTx,σ2)

然后,我们的目标就是去找到最佳的 W,我们可以使用最大似然函数(MLE)。由于上述模型是似然的,所以我们可以用如下数学公式描述我们的数据:

WMLE=argmaxWN(y^∣WTx,σ2)W_{MLE} = \mathop{argmax}\limits_{W} N(\hat y | W^{T}x, \sigma^{2})WMLE​=Wargmax​N(y^​∣WTx,σ2)

高斯分布的概率密度函数为:

P(y^∣x,W)=12σ2πexp(−(y^−W2x)22σ2)P(\hat y | x, W) = \frac{1}{\sqrt{2\sigma^{2}\pi}}exp(- \frac{(\hat y - W^{2}x)^{2}}{2\sigma^{2}})P(y^​∣x,W)=2σ2π​1​exp(−2σ2(y^​−W2x)2​)

当我们进行最大化时,我们可以忽略似然函数的归一化常数,因此:

WMLE=argmaxWexp(−(y^−W2x)22σ2)W_{MLE} = \mathop{argmax}\limits_{W}exp(- \frac{(\hat y - W^{2}x)^{2}}{2\sigma^{2}})WMLE​=Wargmax​exp(−2σ2(y^​−W2x)2​)

正如往常一样,优化对数可能会更加容易一点:

WMLE=argmaxWlog(exp(−(y^−WTx)22σ2))  =argmaxW−(y^−WTx)22σ2=argminW(y^−WTx)22σ2W_{MLE} = \mathop{argmax}\limits_{W} log(exp(- \frac{(\hat y - W^{T}x)^{2}}{2\sigma^{2}})) \; = \mathop{argmax}\limits_{W} - \frac{(\hat y - W^{T}x)^{2}}{2\sigma^{2}} = \mathop{argmin}\limits_{W} \frac{(\hat y - W^{T}x)^{2}}{2\sigma^{2}}WMLE​=Wargmax​log(exp(−2σ2(y^​−WTx)2​))=Wargmax​−2σ2(y^​−WTx)2​=Wargmin​2σ2(y^​−WTx)2​

为了简单起见,我们可以设置 σ2=1\sigma ^{2} = 1σ2=1,那么:

WMLE=argminW(y^−WTx)22=argminW∑i(y^−Wixi)22=argminW∣∣y^−WTx∣∣222W_{MLE} = \mathop{argmin}\limits_{W} \frac{(\hat y - W^{T}x)^{2}}{2} = \mathop{argmin}\limits_{W} \frac{\sum_{i}(\hat y -W_{i}x_{i})^{2}}{2} = \mathop{argmin}\limits_{W} \frac{||\hat y - W^{T}x||_{2}^{2}}{2}WMLE​=Wargmin​2(y^​−WTx)2​=Wargmin​2∑i​(y^​−Wi​xi​)2​=Wargmin​2∣∣y^​−WTx∣∣22​​

所以我们可以看到,对于高斯似然做 MLE 等于线性回归!!!

线性回归的贝叶斯角度

但是,如果我们想要去处理贝叶斯,我们需要先引入一个先验,并与后者合并一起。那么,我们正在进行 MAP 估算!后验是先验的似然:

P(W∣y^,x)=P(y^∣x,W)P(W∣μ0,σ02)P(W|\hat y, x) = P(\hat y | x, W)P(W|\mu_{0}, \sigma_{0}^{2})P(W∣y^​,x)=P(y^​∣x,W)P(W∣μ0​,σ02​)

既然我们已经知道了似然,现在我们可以问,什么是先验呢?如果我们将其设置为均匀分布,那么我们将在此处回到 MLE 估计。因此,对于非平凡的例子,我们先使用高斯先验作为权重:

P(W∣μ0,σ02)=N(0,σ02)P(W|\mu_{0}, \sigma_{0}^{2}) = N(0, \sigma_{0}^{2})P(W∣μ0​,σ02​)=N(0,σ02​)

扩展概率密度函数,我们再次忽略正则化常数,但是要记住这一点,即 μ0=0\mu_{0} = 0μ0​=0 。那么:

P(W∣μ0,σ02)=12μ02πexp(−(W−μ0)22σ02)∝exp(−W22σ02)P(W|\mu_{0}, \sigma_{0}^{2}) = \frac{1}{\sqrt{2\mu_{0}^{2}\pi}} exp(-\frac{(W-\mu_{0})^{2}}{2\sigma_{0}^{2}}) \propto exp(- \frac{W^{2}}{2\sigma_{0}^{2}})P(W∣μ0​,σ02​)=2μ02​π​1​exp(−2σ02​(W−μ0​)2​)∝exp(−2σ02​W2​)

让我们得出后验:

P(W∣y^,x)=P(y^∣x,W)P(W∣μ0,σ02)∝exp(−(y^−WTx)22σ2)exp(−W22σ02)P(W|\hat y, x) = P(\hat y | x, W)P(W|\mu_{0}, \sigma_{0}^{2}) \propto exp(- \frac{(\hat y - W^{T}x)^{2}}{2\sigma^{2}}) exp(- \frac{W^{2}}{2\sigma_{0}^{2}})P(W∣y^​,x)=P(y^​∣x,W)P(W∣μ0​,σ02​)∝exp(−2σ2(y^​−WTx)2​)exp(−2σ02​W2​)

我们对其求对数:

logP(W∣y^,x)∝−12σ2(y^−WTx)2−12σ02W2=12σ2∣∣y^−WTx∣∣22−12σ2∣∣W∣∣22log P(W|\hat y, x) \propto - \frac{1}{2\sigma^{2}}(\hat y - W^{T}x)^{2}- \frac{1}{2\sigma_{0}^{2}}W^{2} = \frac{1}{2\sigma^{2}} ||\hat y -W^{T}x||_{2}^{2} - \frac{1}{2\sigma^{2}} ||W||_{2}^{2}logP(W∣y^​,x)∝−2σ21​(y^​−WTx)2−2σ02​1​W2=2σ21​∣∣y^​−WTx∣∣22​−2σ21​∣∣W∣∣22​

跟前面一样,我们可以假设 σ2=1\sigma^{2} = 1σ2=1 和 λ=1σ02\lambda = \frac{1}{\sigma_{0}^{2}}λ=σ02​1​ ,那么我们的对数后验就变成了:

logP(W∣y^,x)∝−12∣∣y^−WTx∣∣22−λ2∣∣W∣∣22log P(W|\hat y, x) \propto -\frac{1}{2} ||\hat y - W^{T}x ||_{2}^{2} - \frac{\lambda}{2} ||W||_{2}^{2}logP(W∣y^​,x)∝−21​∣∣y^​−WTx∣∣22​−2λ​∣∣W∣∣22​

也就是说,高斯似然和高斯先验的对数后验与 Ridge 回归的目标函数相同。因此,高斯先验等于 l2l_{2}l2​ 正则。

完全贝叶斯方法

当然,上面不是完整的贝叶斯过程,因为我们正在以 MAP 的形式进行点估计。这只是一个捷径,因为我们不需要计算完整的后验分布。对于完全贝叶斯方法,我们需要分析完整的后验分布。在测试时间内,我们使用后验来对新数据进行加权,即我们将后验预测分布边缘化:

P(y′∣y^,x)=∫WP(y′∣x′,W)P(W∣y^,x)=EW[P(y′∣x′,W)]P({y}' | \hat y, x) = \int_{W}P({y}' | {x}', W)P(W|\hat y, x) = E_{W}[P({y}' | {x}', W)]P(y′∣y^​,x)=∫W​P(y′∣x′,W)P(W∣y^​,x)=EW​[P(y′∣x′,W)]

也就是说,考虑到我们新数据点的似然 (x′,y′)(x', y')(x′,y′) ,我们计算似然性,并且用后验来衡量。

直观的说,给出了所有后验可能的值 W,我们逐个尝试这些值来预测新数据。然后结果与这些值的概率的平均,因此正是我们需要的期望。

当然,这就是我们使用 MAP 形式的快捷方式的原因。为了说明,如果每一个组件 W 是二元的,等价于他有两个可能值。那么如果有 K 个组件 W,那么我们就可能有 2K2^{K}2K 个候选值给 W 。这是一种指数爆炸的。在真实的世界中,W 的每个组件是一个真的值,这就产生了枚举所有可能值的问题。

当然我们可以使用像变分贝叶斯或者 MCMC 这样的近似方法,但他们仍然比 MAP 更加昂贵。由于 MAP 和 MLE可以保证找到其中一种模式(局部最大值),因此足够好。

结论

在这篇文章中,我们看到了线性回归有几个不同的观点。首先,我们研究了普通机器学习 PoV 中的线性回归的定义,然后是频率统计,最后是贝叶斯统计。

我们注意到使用 MAP 估计的线性回归的贝叶斯版本不是完全贝叶斯方法,因为 MAP 只是一种捷径。然后我们注意到为什么完全贝叶斯方法很难并且通常难以处理,即使在这个简单的回归模型上也是如此。

线性回归和贝叶斯的线性回归 线性回归和贝叶斯的线性回归 问题是什么 这个h2标题令人疑惑,不就是线性回归么,高中就会啦。 y=θTx+b y=\theta^Tx+b y=θTx+b 或者也写成这样: y=θTx,x0=1 y=\theta^Tx,x_0=1 y=θTx,x0​=1 用一个xxx的分量代表偏置项bbb,为了方便表述,以下都使用这个记号。 线性回归的目标是,用线性的函数描述任何数据,使得误差最小。误差就是这样: L(i)=∣∣y(i)−(θTx(i))∣∣22 L^{(i)}=||y^{(i)}-(\theta^Tx^{( 阅读详情

相关推荐

AI算法16-贝叶斯线性回归算法Bayesian Linear Regression | BLR

线性回归的频率主义观点可能你已经学过了:该模型假定因变量(y)是权重乘以一组自变量(x)的线性组合。完整的公式还包含一个误差项以解释随机采样噪声。如有两个自变量时,方程为:模型中,y是因变量,β是权重(称为模型参数),x是自变量的值,ε是表示随机采样噪声的误差项或变量的影响。线性回归是一个简单的模型,它可以很容易解释:是截距项,其他权重β表示增加自变量对因变量的影响。例如,如果是1.2,那么对于中的每个单位增加,响应将增加1.2。我们可以使用矩阵方程将线性模型推广到任意数量的预测变量。

yangguangjiujiu99的专栏 1795

线性回归与贝叶斯推理——漫谈机器学习

1. 从观察出发——回归问题在统计学中,我们认为一个变量是服从某种理想分布的,称为理想变量。而为了获得理想变量的值,我们需要去观察这个世界,并得到观察数据,称为观察变量。观察变量与理想变量之间的函数关系被称为观察模型。设观察数据为xi∈Rpx_i \in R^p,理想数据为yi∈Ry_i \in R,观察模型为线性模型 yi=xTiβ+ηi(1)\begin{equation} y_i = x_i

tomheaven的专栏 5294

线性回归专栏——贝叶斯下的线性回归

声明: author:修远 此系列专栏为Datawhale下开源项目《李宏毅机器学习》Linear Regreession的补充内容。作者水平有限,还望学习者批评指正。 在P3中李宏毅老师为我们讲解了线性回归的内容(定义,示例等),这篇文档主要从贝叶斯角度来看待课程内的线性回归内容,以便于让我们更好的理解这个算法背后的道理 Github链接:https://github.com/datawhale...

进击的合成尸的博客 442

贝叶斯线性回归——推导及实现

推导 算法 代码 Bayesian Linear Regression

好好学习,天天向上 8605

贝叶斯角度对MAML的新的理解

本文依据文章title: 本文按照文章顺序进行,只抽取笔者认为的重点部分,如有不妥,还请看客给出意见建议一起进步。感兴趣的话,建议去biying原文阅读。 2.1 MAML以及分层贝叶斯表示的回顾 - 元学习作为基于梯度的超参数优化器 参数化的元学习目的是find一些shared参数,当面临novel task时,能够轻松的find适用于该task的参数。 MAML提供了一中基...

DeepMatter的博客 4242

Bayesian回归:从贝叶斯角度理解回归

Bayesian回归:从贝叶斯角度理解回归 作者:禅与计算机程序设计艺术 1. 背景介绍 传统的线性回归模型是基于最小二乘法(Ordinary Least Squares, OLS)来估计模型参数的。OLS方法有其局限性,比如对异常值敏感、无法处理多重共线性等问题。而

AI天才研究院 1312

线性回归 三个角度理解求解

1. 第一章中,gradient decent梯度下降法,来进行求解最佳值 2. 利用对应的矩阵运算公式化简,但是,在拆解对应的矩阵公式的时候,可以运用不同的计算公式,比如对应的()square取消掉绝对值符号,然后,利用x^t*x,进行平方运算,或者说,利用带个元素整体(a-b)^2进行对应的运算,这样也可以, 3. 利用linear algebra的projection进行向量空间的投影理

u011939056的博客 968

线性回归与岭回归的贝叶斯角度解析

贝叶斯推断提供了一种估计参数的方法,使得我们可以考虑参数的先验分布和观测数据的条件下,得到参数的后验分布。其中P(w)和P(alpha)分别表示参数w和alpha的先验分布,P(y|w, X)表示给定w和X的条件下y的概率分布,P(y|w, alpha, X)表示给定w、alpha和X的条件下y的概率分布。从贝叶斯的角度来看,线性回归和岭回归可以看作是在给定观测数据的条件下,对参数w和alpha的后验分布进行估计。总结起来,线性回归和岭回归可以从贝叶斯的角度进行理解,通过贝叶斯推断来估计参数的后验分布。

KdpdCode的博客 410

【机器学习】贝叶斯线性回归

贝叶斯线性回归。不是什么新奇的东西,实际上就是线性回归从贝叶斯派的角度去理解罢了。本文将从贝叶斯派的角度去推导。

sdksdf的博客 2902

线性回归的贝叶斯方法

从贝叶斯视角理解多元线性回归

scott198512的博客 361

零成本矩阵玩法:1人运营5个账号的自动化工具链配置(2025全平台实战)

通过“AI内容生产+工具链分发+自动化变现”的组合拳,即使是新手也能实现1人运营5个账号的规模化收益。关键在于选对工具与设计标准化流程。未来,矩阵运营的竞争将聚焦于工具使用效率与数据洞察深度,快人一步者方能抢占先机!

TuFuir的博客 3793

线性回归深度理解

  线性回归模型是一种确定变量之间的相关关系的一种数学回归模型。一般用来处理如下图所示,变量之间满足一定线性关系的问题 一、经典的线性回归 其基本公式为Yi=β0+β1Xi1+β2Xi2+...+βpXip+εi,i=1,...,nY_i=\beta_0+\beta_1X_{i1}+\beta_2X_{i2}+...+\beta_pX_{ip}+\varepsilon_i,\quad\quad i=1,...,nYi​=β0​+β1​Xi1​+β2​Xi2​+...+βp​Xip​+εi​,i=1,...

chenjunheaixuexi的博客 579

适合小白的超详细yolov8环境配置+实例运行教程,从零开始教你如何使用yolov8训练自己的数据集(Windows+conda+pycharm)

yolov8源码下载地址:GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > OpenVINO > CoreML > TFLiteyolov8使用文档: Home - Ultralytics YOLOv8 Docs教学视频参考: 包会!YOLOv8训练自己的数据集_哔哩哔哩_bilibili先用conda prompt创建一个虚拟环境,我的叫yolov8, python版本用3.10 源码地址:GitHub - ul

CV在读 25万+

贝叶斯线性回归:概率与预测建模的融合

贝叶斯线性回归提供了一个强大的框架,用于理解和量化变量之间的关系。通过引入先验分布和考虑参数的不确定性,这种方法不仅能给出点估计,还能提供完整的后验分布,从而更全面地描述我们的知识状态。从简单的线性模型到更复杂的多项式回归和样条方法,我们看到了如何逐步增加模型的复杂性以捕捉数据中更细微的模式。线性回归适用于简单的线性关系,易于解释和实现。多项式回归可以捕捉一些非线性关系,但在数据范围边缘可能表现不佳。样条方法提供了更大的灵活性,能够适应复杂的非线性关系,同时保持局部的平滑性。

deephub 4917

用于多种无人机协作的群体智能算法:综合综述

随着无人机技术的快速高水平发展,将多架无人机作为自主控制的编队应用于复杂情况是一个新兴领域的代表之一。在实现自主控制的挑战中,碰撞避免、任务分配、路径规划和编队重构是关键功能。本文对各种经典的无人机群智能算法进行了系统的总结和分析。

erjia_的博客 1万+

FFT中的精度博弈:定点数缩放、块浮点与溢出处理在Vivado IP核中的实践权衡

本文探讨了在Vivado FFT IP核中实现高精度快速傅里叶变换的关键技术,包括定点数缩放策略、块浮点模式及溢出处理机制。通过分析不同精度控制方案的资源开销与性能权衡,为工程师在医疗成像、雷达信号处理等高动态范围应用中优化FFT实现提供实践指导。

melon的博客 1099

贝叶斯公式的对数似然函数_回字的四种写法——从线性回归到贝叶斯线性回归...

故名思意,线性回归是一种线性模型,线性模型形式简单、易于建模。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或者高维映射而得。本文先从不同的角度讨论的线性回归,最后到贝叶斯线性回归本文主要是从数学推导方面进行总结,所以绝大部分都是公式。首先给定一个训练集 和样本的标签 线性回归试图学得一个线性模型: 能够根据给定的 以尽可能准确的输出预测值,上面的 是模型的参数也许开始之前先...

weixin_28936649的博客 1455

【YOLOv12改进trick】高效多尺度卷积注意力EMCAD_Block模块引入YOLOv12,实现涨点和效率提升,含创新点Python代码

EMCAD引入YOLOv12模块,实现高效多尺度注意力模块引入到YOLOv12中的快速涨点及效率提升

向上生长的程序媛的博客 852

从频率派和贝叶斯派的角度看线性回归

频率派和贝叶斯派硬币模型频率派和MLE(极大似然估计)贝叶斯派和MAP(最大后验估计)线性回归参数估计频率派贝叶斯派 硬币模型 对于一个问题,从概率派和贝叶斯派看起来是完全不一样的,其最主要的区别就是对于一个问题中模型参数的认识。 假设抛一枚硬币,设硬币朝上的概率为θ\thetaθ 频率派认为通过重复试验的统计结果可以估计θ\thetaθ,估计方法为极大似然估计(MLE) 贝叶斯派认为θ\thetaθ服从某个分布,这个分布即为先验知识 根据贝叶斯公式: 而θ\thetaθ与服从的某个分布与样本XXX无关,

weixin_42582355的博客 553

Android BSP 开发深度解析:驱动开发、系统定制与调试实战

本文系统介绍了Android BSP开发的核心技术要点,重点探讨了外设驱动开发与调试方法。文章首先解析了Android系统分层架构和BSP的关键作用,详细阐述了Linux内核驱动开发基础,包括字符设备、平台设备和输入子系统驱动的实现方法。随后针对触摸屏、WIFI、蓝牙、USB、摄像头和屏幕等常见外设,深入分析了驱动开发要点和调试技巧。此外,还梳理了Android系统启动流程,介绍了常用调试工具和方法论,并提供了面试常见问题及参考答案。全文内容全面实用,为Android底层开发人员提供了系统的技术指南。

郑伟强dev的专栏 296

thermal系列(5)-DTSI中配置Thermal

By: fulinux E-mail: fulinux@sina.com Blog: https://blog.youkuaiyun.com/fulinus 喜欢的盆友欢迎点赞和订阅! 你的喜欢就是我写作的动力! 目录thermal系列目录DTSI中配置ThermalDTSI节点类型描述CPU0的配置举例CPU核hot-plugging举例修改热缓解阈值DTSI的node中带有tracks-lowDTSI中关闭某个Thermal Zones thermal系列目录 thermal系列(1)-引言部分 thermal.

fulinux的博客 1232

29-贝叶斯线性回归

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

scar2016的博客 911

MFC Windows 程序设计[122]之树形下拉列表框(附源码)

MFC是微软公司提供的一个类库(class libraries),用以减少应用程序开发人员的工作量。其中包含大量Windows句柄封装类和很多Windows的内建控件和组件的封装类。有很多初学MFC的小伙伴们都觉得MFC比较难学,看书吧,看了就忘了,网上的一些教程又是写的含糊不清,故而学习起来很吃力...... 故此,本专栏亲自研究,实践,由易到难,层层深入,将调试过程中所遭所遇进行详细讲解,注意事项进行一一列举,希望能够帮助到各位初学MFC的小伙伴,避免走弯路,费时费力。.........

hnjzfwy的博客 460

BayesianLR贝叶斯线性回归

贝叶斯线性回归 我们知道,线性回归当噪声为高斯分布的时候,最小二乘损失导出的结果相当于对概率模型应用 MLE,引入参数的先验时,先验分布是高斯分布,那么 MAP的结果相当于岭回归的正则化,如果先验是拉普拉斯分布,那么相当于 Lasso 的正则化。这两种方案都是点估计方法。我们希望利用贝叶斯方法来求解参数的后验分布。 线性回归的模型假设为: KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲f(x

weixin_43458628的博客 310

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

【视频】线性回归中的贝叶斯推断与R语言预测工人工资数据|数据分享

原文链接:http://tecdat.cn/?p=24141 原文出处:拓端数据部落公众号 在这个视频中,我们转向简单线性回归中的贝叶斯推断。我们将使用一个参照先验分布,它提供了频率主义解决方案和贝叶斯答案之间的联系。然后在R语言中用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资数据(查看文末了解数据获取方式)。 视频:线性回归中的贝叶斯推断与R语言预测工人工资数据案例 贝叶斯推断线性回归与R语言预测工人工资数据 ,时长09:58 为了说明这些想法,我们将使...

大数据部落 1792

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【机器学习】贝叶斯线性回归代码实现(Python)

上一篇贝叶斯线性回归,我们已经从贝叶斯派的角度去推导了线性回归的参数表达式。本文,我们将对线性回归的的预测问题就行Python代码实现。

sdksdf的博客 1397

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: 什么时候业务分析师需要使用线性回归
下一篇: MLE 和 MAP 之间的联系
coderpai
博客等级 码龄10年 1082粉丝 469原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值