机器学习到底可不可行?

2025年跑深度学习电脑配置-深度学习显卡推荐 2025年,随着AI模型的复杂度不断提升,对GPU算力的需求也将水涨船高。除了NVIDIA之外,AMD系列或者很多国产的GPU都可以高效完成训练和推理任务。在预算允许的情况下,应配置更多CUDA核心和更高显存带宽。如果是简单的推理任务,单块高端GPU就足够了,同时可以考虑采用GPU虚拟化技术来提高利用率。 阅读详情

上一篇讲述了什么是机器学习。是不是感觉发现了新大陆?以后机器学会自己学习后是不是要统治人类的脑洞都冒出来了?但这些仅仅是我们的愿景。我们还得关心一个现实问题:机器到底能不能学习,学得好不好?人是自认为是高等生物,拥有学习能力。其他动物也是有生命的,也会发声,运动,多数通过训练形成条件反射后获得一些额外的能力,但是学习能力低下,多用来供人类玩耍,取乐。

本篇主要讲解机器学习到底行不行?

天下没有免费的午餐——不是所有的事物都可以学习
下图的X有3个特征,D有5个数据集,每一个假设都能对D进行很好的分类。但是整个数据集总共有8种可能,fif_ifi​可能在空间X的D以外的某一个集合上完全错误。说明假设f只能保证对g有良好的分类能力。这在机器学习上称为没有免费午餐定理(No Free Lunch)。同时也说明了没有任何一个算法能在所有的数据集上都总能产生最准确的学习器。在数据集以外的准确度高,我们称为泛化能力强。通常说某个模型好是基于特定的问题、数据分布、代价函数等等条件下的。例如在均衡问题上的二分类问题,准确率高就可能是一个好的模型,例如预测性别;而在非均衡问题下,精确率就可能是我们更关心的,例如判断是否是高收入者;再例如判断是否要给一个人发信用卡,如果我们的想尽可能的避开风险用户,但是又想抢占市场,这个时候我们可能得用精确率和召回率的调和平均值,也可能为这两者的某个加权平均值,甚至两者的加权调和平均值等等。

在这里插入图片描述
Hoeffdings 不等式和PAC(probably approximately correct)
一个罐子里有红球和篮球,通过抽样,将红球的出现频率近似替代罐子里的红球比例。假设u是罐子里的红球占比,v是抽取得到的红球频率。根据Hoeffdings 不等式:
在这里插入图片描述
有当N足够大时,u≈\approx≈v。把结论v=u称为probably approximately correct(PAC)。在统计学上把出现频率当做概率是频率派的学说(后续说到朴素贝叶斯时会说到与他的区别)。

应用Hoeffdings不等式证明机器学习是可行的
定义:Ein(h)为抽样样本上h(x)与yn不等的概率E_{in}(h)为抽样样本上h(x)与y_n不等的概率Ein​(h)为抽样样本上h(x)与yn​不等的概率
Eout(h)表示在抽样样本以外的数据集上h(x)与yn不等的概率。E_{out}(h)表示在抽样样本以外的数据集上h(x)与y_n不等的概率。Eout​(h)表示在抽样样本以外的数据集上h(x)与yn​不等的概率。
根据Hoeffdings不等式有
P(∣Ein(h)−Eout(h)∣>ϵ)≤2exp(−2ϵ2N)P(|E_{in}(h)-E_{out}(h)|>\epsilon) \leq 2exp(-2\epsilon^2N)P(∣Ein​(h)−Eout​(h)∣>ϵ)≤2exp(−2ϵ2N)
⟹\Longrightarrow⟹ 当N足够大时,Ein(h)≈Eout(h)E_{in}(h)\approx E_{out}(h)Ein​(h)≈Eout​(h)
⟹Ein(h)足够小时,Eout(h)也足够小\Longrightarrow E_{in}(h)足够小时,E_{out}(h)也足够小⟹Ein​(h)足够小时,Eout​(h)也足够小
这是否能说明g≈fg \approx fg≈f,机器学习是可行的呢?NONONO!!!
这只能说明在抽样样本和检测样本上两者足够接近,但是却不能确保在这两者之外的数据集上h(x)与y_n不等的概率也小。

BAD SAMPLE概念——常在河边走哪有不湿鞋

150个人丢硬币均抛五次硬币,那么其中至少有一个人连续5次抛硬币结果都为正的概率为,1−(31/32)150>991-(31/32)^150 >99%1−(31/32)150>99
⟹\Longrightarrow⟹ 即使小概率事件,在足够多次实验后,总会发生。
我们学习是不是死记硬背,而是要具有推理能力、能推广到没见过的场景下时,也能解决相应问题。机器学习也一样,只有在整个假设空间下EoutE_{out}Eout​都很小时,学到的模型才是好的。
如下图,Hoeffdigngs 不等式确保了在大多数的数据集D下,BAD DATA都是小概率事件。但是不同!的数据集在在不同的假设空间上都可能成为bad data。
在这里插入图片描述
把Hoeffdigngs 不等式表示为级联形式有:在这里插入图片描述
其中M为数据集假设空间的个数,N为数据集的样本量。可知:
当M有限时,PD(DAD∣D)P_D(DAD|D)PD​(DAD∣D)有限。即问题转换为只要M有限,N足够大,EinE_{in}Ein​足够小,机器学习是可行的。
那我们直接固定M为1行不行?答案显然是NO!当M很小时,我们可以选择的假设h有限,很难保证EinE_{in}Ein​足够小。但是当M很大时,很容易出现bad data或者获取样本的成本急剧增加。那该选取什么样的M呢?

怎样选择M?VC Bound告诉你答案

上面用Hoeffding’s inequality不等式做推导时用了级联,级联假设了各个h之间相互独立,而现实世界中各个hypothesis之间往往或多或少存在交集。即使用级联使概率增大了,也即使不等式右边增大,变相增大了对M的要求。

下面的文章思路:用感知机引入有效线
⟹\Longrightarrow⟹有效hypothesis
⟹\Longrightarrow⟹成长函数和break point
引入Bound function
结合以上三点⟹\Longrightarrow⟹VC Bound

dichotomy

将空间中的点用一条直线分成正类或者负类,dichotomyHdichotomy \mathcal{H}dichotomyH是指能将点完全分开的直线种类集合。
在这里插入图片描述
如上图,如果只有一个点的时候,假设箭头方向为正,则在h2附近或者向右,所有的线都把X1点分为负;在h1附近或者向右,所有的线都把X1点分为正。这样所有在h2附近或者向右,平行于h2的线都与h2是一样的效果,把他们归于一类;h1也是同理。这样一来只有一个点时,M为2,⟹\Longrightarrow⟹机器学习可行。
当有2个点时,分类最多3种(在两点之外的2条+两点之间的两条)
当N = 3 时,最多为2^3=8种,如果三点共线,分类为6种(下图中圈住的两种不能用一条直线分开)
在这里插入图片描述当N=4 时,最多有14种。(下图中圈住的不能用一条直线分开,由于对称性,故未7*2 = 14种)
在这里插入图片描述能否假设当N>3时,分类种数<2^N 呢?

增长函数

记H对任意N个点的\mathcal H 对任意N个点的H对任意N个点的最大分类种数为mHm_{\mathcal H}mH​,称为增长函数。他代表了H\mathcal HH的表示能力。反映出了H\mathcal HH的的复杂度。
Positive Rays:一条射线,方向指向为正。
当样本点共线时,只使用Positive Rays来做分类,则mH=N+1&lt;&lt;2Ns.t.N较大m_{\mathcal H} = N+1 &lt;&lt; 2^N s.t. N较大mH​=N+1<<2Ns.t.N较大
如果样本点形成一个圈,我们可以使用突变多边形来做分类:多边形上的为正,之外为负。则mH=∑CNk=2Nm_\mathcal H = \sum C_N^k = 2^NmH​=∑CNk​=2N

Break Point和shatter

shatter:
对于假设空间H\mathcal{H}H,如果里面的函数能把N个样本的数据集分为所有可能的2N类,即mH=2N2^N类,即m_\mathcal H =2^N2N类,即mH​=2N。则称这N个点被H\mathcal{H}H所shatter。
Break Point:
我们希望M不太大也不太小,如果我们想使用增长函数来代替M,则mHm_\mathcal{H}mH​也应不太大也不太小。如果数据被shatter,则mH=2Nm_\mathcal H =2^NmH​=2N,呈指数增加,这肯定不是我们希望的。如果存在一个值k,使mH&lt;2Nm_\mathcal H &lt;2^NmH​<2N,则我们称为我们就称k为H\mathcal HH的break point。例如二维感知机的break point为4.
(原英文为If no k inputs can be shattered by H , call k a break point for H .)
从此以后mH增速放缓。m_\mathcal H增速放缓。mH​增速放缓。
如果mH=O(N(k−1)))&lt;poly(N)(多项式)m_\mathcal H =O(N^{(k-1)}))&lt;poly(N)(多项式)mH​=O(N(k−1)))<poly(N)(多项式),则有限且远小于2N2^N2N,用来替代M,这个时候机器学习是可行的。此时的mH&lt;poly(N)(多项式)m_\mathcal H &lt;poly(N)(多项式)mH​<poly(N)(多项式)

对于break point、成长函数可以参考https://www.zhihu.com/question/38607822/answer/149407083

证明mH=O(N(k−1)))&lt;poly(N)(多项式)m_\mathcal H =O(N^{(k-1)}))&lt;poly(N)(多项式)mH​=O(N(k−1)))<poly(N)(多项式)

定义:bounding function B(N,k)表示在给定(N,k)下的增长函数上限。则证明转换为
B(N,k)&lt;poly(N)B(N,k) &lt;poly(N)B(N,k)<poly(N)

当k= 1 时,B(N,k)恒为1
当k >N 时,B(N,k)=2NB(N,k) = 2^NB(N,k)=2N
当k = N 时,N是第一个不被shatter的值,B(N,k)=2N−1B(N,k) = 2^N-1B(N,k)=2N−1
如果k<N时,B(N,k)=O(N(k−1))B(N,k) = O(N^{(k-1)})B(N,k)=O(N(k−1))成立,则可以使用mHm_\mathcal HmH​代替M。
下面使用归纳法证明。
B(3,2),此时任意三点中的任意两点不能被shatter,最大值为4.如下图
在这里插入图片描述
理解图时先考虑X1、X2,写完前三张后,第四种都为叉叉,出现shatter。X_1、X_2,写完前三张后,第四种都为叉叉,出现shatter。X1​、X2​,写完前三张后,第四种都为叉叉,出现shatter。再考虑(X1、X3)、(X2、X3)(X_1、X_3)、(X_2、X_3)(X1​、X3​)、(X2​、X3​)。对于B(3,2)有B(3,2)=B(2,2)+B(2,1)
B(4,3):此时表示任意4点中的3点不能被shatter。最终结果如下图,共11种,做法和B(3,2)一样。
在这里插入图片描述可以把这11种dichotomy分为orange和purple。orange中在每一个颜色区域,x1、x2、x3是成对出现的,x1是单独的。??????中,x1、x2、x3都不同。则
B(4,3)=2α+βB(4,3) = 2\alpha +\betaB(4,3)=2α+β
其中,α为orange去掉x4后的去重,β为purple中的个数。,\alpha 为orange去掉x4后的去重,\beta为purple中的个数。,α为orange去掉x4后的去重,β为purple中的个数。
由于B(4,3) 的任意三个点不能被shatter,则B(3,3)=α+β≤7B(3,3)=\alpha +\beta \leq 7B(3,3)=α+β≤7(相当于只取x1、x2、x3,然后去重)。
由于orange中x4是成对出现的,α不能被任意三个点shatter⟹α不能被任意两个点shatter。(如果被2个点shatter了,x4是成对的,则三个点的所有可能都会出现,故肯定能被三个点shatter,矛盾。)\alpha 不能被任意三个点shatter \Longrightarrow \alpha 不能被任意两个点shatter。(如果被2个点shatter了,x4是成对的,则三个点的所有可能都会出现,故肯定能被三个点shatter,矛盾。)α不能被任意三个点shatter⟹α不能被任意两个点shatter。(如果被2个点shatter了,x4是成对的,则三个点的所有可能都会出现,故肯定能被三个点shatter,矛盾。)
⟹α≤B(3,2)\Longrightarrow \alpha \leq B(3,2)⟹α≤B(3,2)
⟹α≤B(4,3)≤B(3,3)+B(3,2)\Longrightarrow \alpha \leq B(4,3) \leq B(3,3)+B(3,2)⟹α≤B(4,3)≤B(3,3)+B(3,2)

假想:B(N,k)≤B(N−1,k)+B(N−1,k−1)B(N,k) \leq B(N-1,k)+B(N-1,k-1)B(N,k)≤B(N−1,k)+B(N−1,k−1)
固定k时,对于B(N+1,k),任意N+1个点不能被k个点shatter。仍然分为α和β,①对α+β中的前N个点去重后一定不能被k个点shatter,则有B(N−1,k)=α+β≤B(N,k),道理同上。②对α部分,α不能被任意k−1个点shatter,与4个点时同理。\alpha和\beta,①对\alpha+\beta中的前N个点去重后一定不能被k个点shatter,则有B(N-1,k)=\alpha +\beta \leq B(N,k),道理同上。②对\alpha部分,\alpha 不能被任意k-1个点shatter,与4个点时同理。α和β,①对α+β中的前N个点去重后一定不能被k个点shatter,则有B(N−1,k)=α+β≤B(N,k),道理同上。②对α部分,α不能被任意k−1个点shatter,与4个点时同理。
⟹B(N,k)≤B(N−1,k)+B(N−1,k−1)\Longrightarrow B(N,k) \leq B(N-1,k)+B(N-1,k-1)⟹B(N,k)≤B(N−1,k)+B(N−1,k−1)
固定N时,同理可得
⟹B(N,k+1)≤B(N−1,k+1)+B(N−1,k)\Longrightarrow B(N,k+1) \leq B(N-1,k+1)+B(N-1,k)⟹B(N,k+1)≤B(N−1,k+1)+B(N−1,k)
综上,⟹对任意的k&lt;N,有B(N,k)≤B(N−1,k)+B(N−1,k−1)\Longrightarrow 对任意的k&lt;N,有B(N,k) \leq B(N-1,k)+B(N-1,k-1)⟹对任意的k<N,有B(N,k)≤B(N−1,k)+B(N−1,k−1)

现再次应用数学归纳法证明:B(N,k)≤∑i=0k−1(iN)B(N,k) \leq \sum_{i = 0}^{k-1} (_i^N)B(N,k)≤∑i=0k−1​(iN​)
这里应用的是第二数学归纳法,不懂的可以百度下。
当N = 1或k = 1时,结果是显然的。
假设N≤N0时,所有的k&lt;N都成立,当N=N0+1,k&lt;N0时N \leq N_0时,所有的k&lt;N都成立,当N=N_0+1,k&lt;N0时N≤N0​时,所有的k<N都成立,当N=N0​+1,k<N0时
B(N0+1,k)≤B(N0,k)+B(N0,k−1)≤∑i=0k−1(iN0)+∑i=0k−2(iN0)B(N_0+1,k) \leq B(N_0,k)+B(N_0,k-1) \leq \sum_{i = 0}^{k-1} (_i^{N_0})+\sum_{i = 0}^{k-2} (_i^{N_0})B(N0​+1,k)≤B(N0​,k)+B(N0​,k−1)≤∑i=0k−1​(iN0​​)+∑i=0k−2​(iN0​​)
≤(0N0)+∑i=1k−1((iN0)+(i−1N0))+1\leq (_0^{N_0}) + \sum_{i = 1}^{k-1} ((_i^{N_0})+ (_{i-1}^{N_0})) +1≤(0N0​​)+∑i=1k−1​((iN0​​)+(i−1N0​​))+1
=(0N0+1)+∑i=1k−1(iN0+1)=(_0^{N_0+1}) + \sum_{i = 1}^{k-1}(_i^{N_0+1})=(0N0​+1​)+∑i=1k−1​(iN0​+1​)
=∑i=0k−1(iN)= \sum_{i = 0}^{k-1} (_i^N)=∑i=0k−1​(iN​)
同理可证,当N固定时,k = k+1也成立。
综上对∀N,∀k&lt;N,B(N,k)≤∑i=0k−1(iN)成立对\forall N,\forall k&lt;N,B(N,k) \leq \sum_{i = 0}^{k-1} (_i^N)成立对∀N,∀k<N,B(N,k)≤∑i=0k−1​(iN​)成立。
⟹deg(mH)≤N−1\Longrightarrow deg(m_\mathcal H) \leq N-1⟹deg(mH​)≤N−1
即mHm_\mathcal HmH​是多项式级的。

多项式级的有什么好处?①有限,②增长速度相对2N2^N2N慢很多,可以得到足够大的M,保证EinE_{in}Ein​足够小。

⟹\Longrightarrow⟹如果能找到k<N,可以用mHm_\mathcal HmH​来替代M。

那我们能否直接这样替换M呢?答案是显然不行的。因为EinE_{in}Ein​上的假设可能取值是有限个的,但EoutE_{out}Eout​上的假设可能取值是无限的。
最终引出Vapnik-Chervonenkis(VC) bound:
P[∃h∈Hs.t.∣Ein(h)−Eout(h)&gt;ϵ]∣≤4mH(2N)exp(−18ϵ2N)P[\exist h \in \mathcal{H} s.t.|E_{in}(h)-E_{out}(h)&gt;\epsilon]| \leq 4m_{\mathcal H}(2N)exp(-\frac{1}{8} \epsilon^2N)P[∃h∈Hs.t.∣Ein​(h)−Eout​(h)>ϵ]∣≤4mH​(2N)exp(−81​ϵ2N)
证明参考https://tangshusen.me/2018/12/09/vc-dimension/中《2.3.3 VC界 》提到的证明连接。

VC Dimension

VC Dimension:在某假设空间H\mathcal HH能够被shatter最多的inputs的个数,即最大完全正确的分类能力。根据VC bound可知,VC Dimension的个数d等于break point的个数减1。即dvc=k−1d_{vc} = k -1dvc​=k−1,带入VC bound有
P[∃h∈Hs.t.∣Ein(h)−Eout(h)&gt;ϵ]∣≤4(2N)dvcexp(−18ϵ2N)P[\exist h \in \mathcal{H} s.t.|E_{in}(h)-E_{out}(h)&gt;\epsilon]| \leq 4(2N)^{d_{vc}}exp(-\frac{1}{8} \epsilon^2N)P[∃h∈Hs.t.∣Ein​(h)−Eout​(h)>ϵ]∣≤4(2N)dvc​exp(−81​ϵ2N)
VC Dimension 与演算法、数据分布、目标函数都没有关系。至于模型和假设空间有关

通常dvcd_{vc}dvc​约等于假设自由变量的数目。其中对于感知机:dvc=d+1d_{vc} = d+1dvc​=d+1。d为数据的自由度。

VC Dimension的物理意义

根据Hoeffdings不等式,如果∣Eout−Ein∣&gt;ϵ,出现bad&ThickSpace;data的几率不超过δ|E_{out}-E_{in}|&gt;\epsilon,出现bad \;data的几率不超过\delta∣Eout​−Ein​∣>ϵ,出现baddata的几率不超过δ,则P(gooddata)≥1−δ,可求出Eout的置信区间则P(good data) \geq 1-\delta,可求出E_{out}的置信区间则P(gooddata)≥1−δ,可求出Eout​的置信区间
在这里插入图片描述
右边第二项称为模型复杂度,与样本数量N、假设空间H(dvc)、ϵ有关。Eout由Ein\mathcal H(d_{vc})、\epsilon有关。E_{out}由E_{in}H(dvc​)、ϵ有关。Eout​由Ein​和模型复杂度共同决定。
其中,dvc、Eout、Ein之间的关系如下图:随着dvc的增加,模型复杂度一直在增加,Eout先增后减,Ein一直在减小。所以dvc需要选择合适的大小,否则要么泛化能力差,要么拟合度差。d_{vc}、E_{out}、E_{in}之间的关系如下图:随着d_{vc}的增加,模型复杂度一直在增加,E_{out}先增后减,E_{in}一直在减小。所以d_{vc}需要选择合适的大小,否则要么泛化能力差,要么拟合度差。dvc​、Eout​、Ein​之间的关系如下图:随着dvc​的增加,模型复杂度一直在增加,Eout​先增后减,Ein​一直在减小。所以dvc​需要选择合适的大小,否则要么泛化能力差,要么拟合度差。
在这里插入图片描述样本复杂度:
根据VC bound可以反估需要多少个样本。根据公式需要的样本数约为10000dvcd_{vc}dvc​,实际中约只需要10dvcd_{vc}dvc​,说明VC bound很宽松,泛化能力强。造成这一现象的原因主要是:
①使用时霍夫丁不等式是对任意的数据分布、目标函数
②任意的数据集
③dvc相同的任意Hd_{vc}相同的任意\mathcal Hdvc​相同的任意H
④演算法A\mathcal AA可以任意选择g

总结

①天下没有免费的午餐:先举例说明不是所有的事物都可以学习
②引入Hoeffdings不等式和大概可能正确的概念,继而得出结论:当N足够大时,Ein和Eout非常接近E_{in}和E_{out}非常接近Ein​和Eout​非常接近
③引入bad sample概念,举例说明即使当前EinE_{in}Ein​小,实验次数多了后,总会引发bad sample。继而利用级联引出了可学习的两个条件:

  • Ein足够小E_{in}足够小Ein​足够小
  • 样本量N足够大且假设空间H\mathcal HH中的势M有限

④级联的缺点:未考虑假设之间的联系,导致等式右边的概率值偏大,对M的要求更高。引出了需求:我们需要不太大也不太小的M。
⑤引入dichotomy、shatter、增长函数、break point的概念,发现在某些情况下,势M会在某个点开始增加缓慢,然后证明了k<N时,mH=O(N−1)m_{\mathcal H} = O(N-1)mH​=O(N−1)。
⑥用$m_{\mathcal H} $代替M,引出VC Bound,继而引出VC Dimension。
⑦通过VC Dimension,得到了机器学习可行的两个条件:

  • 能从H中选出g,使Ein足够小\mathcal H中选出g,使E_{in}足够小H中选出g,使Ein​足够小
  • 样本量N足够大且dvcd_{vc}dvc​有限

⑧解释VC Dimension的物理意义,得到了:为了得到最好的算法,需要选择合适的M,不能太大也不能太小。

机器学习的基本概念小结(机器学习基石学习小结一) 机器学习基本概念小结 学完林轩田机器学习基石写的一些小结,计划分为三大部分,分三篇来写,基本概念,基本算法,一些细节。(部分图片来源机器学习基石课件) 一、什么是机器学习        简单来说,机器学习就是使用数据来预测目标函数;        粗略的定义, 某种最优化算法利用资料(数据)的特征从假设集中选出一个最接近目标函数(也就是误差最小)的假设作为机器学习的结果,这个结果就 阅读详情

相关推荐

运筹优化(OR)-在机器学习(ML)浪潮中何去何从?

机器学习与运筹优化正走向深度融合:ML擅长预测分析,OR擅长约束优化,二者形成互补。ML可提升OR模型输入质量(如预测-优化框架),但也面临目标错配、不可导性等挑战;OR则能加速ML求解过程。未来趋势是ML与OR协同工作,如ML生成候选解后由OR校正,或在自动驾驶等领域实现感知与规划的有机结合。二者的专业优势(OR的硬约束满足与解释性,ML的数据驱动能力)决定了其不可替代性,将共同推动智能决策发展。

胶带码农的博客 1329

机器学习电脑配置有什么要求?要什么显卡?

机器学习电脑的配置需要足够的计算能力和存储能力,以支持大量的数据处理和运算。在选择电脑配置时,需要根据自己的需求和预算来选择合适的配置。

gp16674213804的博客 1万+

ML:MLOps系列讲解之《设计机器学习驱动的(ML-powered)软件—我们想要解决的业务问题是什么?》解读

ML:MLOps系列讲解之《设计机器学习驱动的(ML-powered)软件—我们想要解决的业务问题是什么?》解读 导读:设计机器学习驱动的软件,这部分致力于任何软件项目中最重要的阶段之一——理解业务问题和需求。 由于这些同样适用于基于 ML 的软件,因此您需要确保在开始设计之前有一个很好的理解。 任何软件项目中最重要的阶段都是理解业务问题并创建需求。基于ML的软件在这里也不例外。最初的步骤包括对业务问题和需求的彻底研究。这些需求被转换成模型目标和模型输出。需要指定可能的错误和启动的最低成功率。继续研究A

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 2817

开始机器学习和深度学习的最低笔记本电脑配置????????????

入门机器学习/深度学习/数据科学的笔记本电脑配置建议 视频作者针对许多订阅者关于入门机器学习/深度学习/数据科学所需的笔记本电脑配置问题,给出了以下建议: 最低配置: 内存 (RAM): 8GB 足够,如果预算有限,8GB 就足够开始学习机器学习和深度学习。 硬盘: 256GB SSD 以及 1GB 外置硬盘足够。 显卡: NVIDIA GTX 1650 或 1660/1660TI 等,即使是 ...

krishnaik06的博客 2821

ML:MLOps系列讲解之《CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型—业务和数据理解→数据工程(数据准备)→ML模型工程→评估ML模型→模型部署→模型监控和维护》解读

​ ML:MLOps系列讲解之《CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型—业务和数据理解→数据工程(数据准备)→ML模型工程→评估ML模型→模型部署→模型监控和维护》解读 目录 MLOps系列讲解之《CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型》解读 6、CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型。 6.1、Business and Data Understanding业务和数据理解 6.2、Data Eng

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 3033

学python最电脑配置有要求么

python对于电脑硬件基本没什么要求,下载python安装程序的时候,注意看下自己电脑属性是64位系统还是32位系统,再下载对应的python安装程序。 单纯学Python的话普通电脑就ok了,机器学习几大基础算法都ok,学深度学习的话台式无脑上1080ti或者泰坦xp,其他配置留下升级空间。笔记本的话要强劲点的,最好带固态硬盘,支持16G内存或以上,带有英伟达1060以上的显卡。 当然,如果有条件,还是推荐mac的,优点不用说! 买什么电脑还要根据自身的实际情况来决定,如果是学生党,建议普通的笔记本就可以,没必要花大价钱来纠结这事;如果上班族,有一定的经济基础,可以选择高端一点的产品。 内

01-机器学习之基础环境搭建(conda、CUDA、pycharm)

本文相关部分命令基于本人使用设备硬件并且安装CUDA 11.8为基础展开。本人为机器学习及人工智能方向小白,仅以记录自己学习过程,如有不足之处,欢迎各位大佬指正。

weixin_43282101的博客 4500

深入解析luckyExcel处理xlsx与xls文件的实战技巧

本文深入解析了使用luckyExcel库在前端处理.xlsx与.xls文件的实战技巧。针对.xlsx文件,可直接调用API转换;对于老旧的.xls格式,则需结合SheetJS进行预处理。文章详细介绍了核心API的使用、两种格式的处理流程、数据提取方法以及性能优化建议,为开发在线Excel编辑应用提供了完整解决方案。

cherry的博客 818

[论文阅读] 人工智能 | 机器学习系统构思新方法:Define-ML 解决传统 ideation 痛点

本文提出了Define-ML框架,其通过**数据源映射、特征到数据源映射和ML映射这三个定制活动**扩展了Lean Inception,旨在将数据和技术约束系统地整合到机器学习产品的早期构思中。研究采用技术转移模型进行了静态(玩具问题)和动态(零售领域实际案例)验证,参与者认为该框架能有效澄清数据问题、对齐机器学习能力与业务目标并促进跨职能协作,尽管部分人指出机器学习特定组件存在学习曲线,但所有参与者都表示有采用意图。

张较瘦 1404

cesium vue2/vue3教程目录导航

以下是本专栏目录导航,送完整项目源码(拒绝单页源码),可以直接运行,全部配置免费视频教程(B站)。

qq_29384639的博客 4318

Allegro172版本DFM功能介绍

Allegro172版本提供了实时DFM检查的功能,让违反要求的地方实时以DRC的形式报出来,让加工不可加工因素在设计的时候同步避免。打开Constraint,选择Manufacturing, 所有DFM相关DRC都在这。把所有下面DRC开关(DFM,DFA,DFT)都选择on,选择OK。这个规则和物理和间距规则等等都没有关系,单独的一个加工规则。这些DRC大部分是正常的,正常的可以去修改规则来消除。等待DRC刷新,板子上会出现很多DRC,类似下图。下面介绍如何调用和产生DFM规则。一直往下点击next。

weixin_54787054的博客 1343

用机器学习来驱动一个iOS应用:如何开始使用Create ML和Core ML

转:https://zhuanlan.zhihu.com/p/90919163 本文中提到的所有资源都可以从这里下载:GitHub repository 机器学习目前是科技行业最热门的话题之一。能够将以前依赖人工操作的任务自动化,为许多创新和令人兴奋的可能性打开了大门。 由于机器学习算法需要相当大的计算能力,过去它们只能在强大的后端实现。但是,随着手持设备嵌入了越来越强大的中央处理器(cpu),在这些设备上实现机器学习开始成为一个可行的选择。智能手机制造商抓住了这个机会。他们开始定期发布工具,使开发人

sharpyl的专栏 791

【Claude】Invalid API key 无效密钥报错已解决

API 拒绝了你提供的 key。最高频的根因是老的/被撤销的 key 藏在某处自动加载的配置文件里,而你对此不知情。→ 检查所有可能注入 key 的来源(.env.envrc、shell 配置、IDE 设置、)→ 清除无效来源 → 用/status验证。参考:Claude Code 官方《错误参考》"身份验证"章节、社区 Invalid API key 排查记录。

博客 7926

使用spark ml pipeline进行机器学习

一、关于spark mlpipeline与机器学习 一个典型的机器学习构建包含若干个过程 1、源数据ETL 2、数据预处理 3、特征选取 4、模型训练与验证 以上四个步骤可以抽象为一个包括多个步骤的流水线式工作,从数据收集开始至输出我们需要的最终结果。因此,对以上多个步骤、进行抽象建模,简化为流水线式工作流程则存在着可行性,对利用spark进行机器学习的用户来说,流水线式机器学习比单个步骤独立建...

hellozhxy的博客 506

【IxNetwork】史上最全IxNetwork测试仪使用精讲(一),图文教程超赞超详细!!!

IXIA使用的是Server-client模式,Server端在测试仪表的主机上,在开机后会随着主机内的操作系统的启动而自动启动,一般情况下不需要人为的手工启动。因此在通常不需要为主机配置专用的显示器和键盘。client端包括两个测试软件: Ixia Explorer和ScriptMate。这两个软件一般安装在测试用计算机上,在仪表自带的主机中也有这两个软件。根据测试项目的不同来选择使用不同的软件。Ixia Explorer主要提供数据流的测试,针对设备的功能进行测试;

风云说通信 2059

自抗扰控制(ADRC)理论与工程实践:8.1 自适应ADRC与参数在线整定

自适应自抗扰控制(AADRC)针对传统固定参数ADRC在动态变化系统中的局限性,提出通过在线调整关键参数(如观测器带宽ω₀、控制器带宽ω_c)以适应对象动态变化。主要方法包括基于稳定性理论的自适应律设计和基于性能指标的优化调节,前者保证闭环稳定但设计复杂,后者通过梯度搜索或模糊规则实现性能优化但缺乏严格稳定性证明。当前挑战在于非线性时变系统的稳定性分析、参数变化速率限制及工程实现的计算负担。AADRC拓展了ADRC在变参数系统(如无人机、软体机器人)中的应用,是迈向自主智能控制的关键技术。

技术工作者 217

21年机器学习必读-模式,预测,动作-一个关于机器学习的故事

本书介绍 这是一本面向机器学习领域所有学生的书。涵盖的材料支持一个学期的机器学习研究生所有知识点。适合各种背景的读者;一些概率、微积分和线性代数的经验就足够了。从概念上来说,本书既是对新事物的旧看法,也是对旧事物的新看法。 从一个角度来看,回到根源,强调模式分类。今天机器学习的实践与20世纪60年代的模式分类惊人地相似,只是最近几十年有一些显著的创新。 bshq:21年机器学习必读书籍-《模式,预测,动作-一个关于机器学习的故事》免费分享 这并不是低估最...

lqfarmer的博客 392

ATT MTU 交换机制:提升 BLE 数据传输效率的关键

在低功耗蓝牙(BLE)技术的面试中,ATT MTU 交换机制始终是高频考点。无论是芯片厂商的固件开发岗,还是物联网设备的协议栈调试岗,面试官都爱通过这个知识点考察候选人对 BLE 数据传输底层逻辑的理解。本文将系统梳理核心考点,结合历年真题详解应答思路,轻松应对这类问题。​

byte轻骑兵的技术小窝 2412

spark ml pipeline构建机器学习任务

一、关于spark ml pipeline与机器学习一个典型的机器学习构建包含若干个过程 1、源数据ETL 2、数据预处理 3、特征选取 4、模型训练与验证 以上四个步骤可以抽象为一个包括多个步骤的流水线式工作,从数据收集开始至输出我们需要的最终结果。因此,对以上多个步骤、进行抽象建模,简化为流水线式工作流程则存在着可行性,对利用spark进行机器学习的用户来说,流水线式机器学习比单个步骤独立建模...

weixin_30634661的博客 238

手把手教你学基于 Linux 的 NPU 固件开发-第 10 讲:可靠性设计(RAS)——让系统坚如磐石错误检测、纠正与上报机制(ECC、Parity)

组件推荐保护机制备注HBM/DDRScrubbing必须开启,定期巡检片上 SRAMECC(权重/激活值),Parity(指令)权衡面积与可靠性计算单元ABFT或DMR(关键路径)防止计算逻辑错误片上网络CRC重传保证数据传输完整性系统软件AER 上报CE 监控自动恢复闭环管理,杜绝 SDC运维策略预测性维护Checkpoint变被动为主动核心心法(信任硬件,但必须验证。在纳米尺度下,错误是必然发生的物理现象。

MHD0815的博客 93

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

物联网边缘计算中的机器学习:applied-ml项目实战指南

在当今数字化时代,物联网(IoT)设备的普及带来了海量数据的产生,而边缘计算作为一种分布式计算范式,将数据处理能力从云端下沉到设备端,极大地提升了实时性和降低了带宽成本。**applied-ml项目**作为一个专注于数据科学与机器学习在生产环境中应用的开源资源库,汇集了众多企业在实际场景中的技术博客和研究论文,为物联网边缘计算中的机器学习实践提供了宝贵的参考。 ## 为什么物联网边缘计算需要机器

gitblog_00453的博客 833

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

ML可行性(2)

本节主题:基于上一节的铺垫,继续深入研究当M无穷大时如何保证fesibilty of ml 1. Learnning中涉及的两个关键问题: 保证 Ein≈EoutEin≈Eout E_{in} \approx E_{out} 保证 Ein≈0Ein≈0 E_{in} \approx 0 第二行很好理解,就是找一个合适的hypothesis h,使的EinEinE_{...

u013931388的专栏 249

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

微软ML Copilot框架释放机器学习能力

摘要:大模型席卷而来,通过大量算法模型训练推理,能根据人类输入指令产生图文,其背后是大量深度神经网络模型在做运算,这一过程称之为机器学习,本文从微软语言大模型出发,详解利用大型语言模型(Large Language Models, LLMs)解决实际机器学习(ML)任务的框架,以及存算一体的存内计算架构,从软硬件优化层面为机器学习提升提供参考。其核心原理是在存储器中实现简单的计算操作,以降低数据传输的功耗和延迟。虽然在大多数情况下,训练和推理阶段是相互独立的,但在增量学习的情况下,它们是耦合在一起的。

m0_58966968的博客 1741

python-机器学习模型-ML 工程制作全流程说明

本文介绍了Python机器学习模型的标准工程化流程,包括数据探索、特征工程、模型选择与验证等关键环节。重点阐述了KFold交叉验证的作用及实现方式,强调其能提高模型评估的稳定性。详细说明了数据划分策略:80%训练集用于Baseline验证和KFold调参,20%独立测试集仅用于最终评估。文章还对比了sklearn与XGBoost/LightGBM等框架的适用场景,指出sklearn更适合Baseline验证而非生产部署。最后通过鸢尾花数据集示例,展示了从数据探索到模型验证的全流程实现代码。整个流程强调模型稳

杨杨杨~~的博客 1475
上一篇: 什么是机器学习
下一篇: 过拟合和欠拟合及他们的可能解决办法
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值