受限制玻尔兹曼机RBM

http://baijiahao.baidu.com/s?id=1599798281463567369&wfr=spider&for=pc
应用在推荐系统上
https://www.jianshu.com/p/2e7ffe06fcdd?tdsourcetag=s_pcqq_aiomsg

关于SVM(支持向量机)、ANN(人工神经网络)、RBM(受限玻尔兹曼机)以及DBN(深度信念网络),它们都面临着不同程度的“维度灾难”问题。 ### 维度灾难概述 **维度灾难**是指随着特征空间维数增加,数据点之间的距离变得越来越相似,在高维空间中难以找到合适的模型来进行有效的分类或回归。这不仅增加了计算成本,还可能导致过拟合现象的发生。 #### 1. **支持向量机 (SVM)** 对于线性不可分的情况通常需要映射到更高维度的空间通过核函数来解决。然而当输入样本本身已经是高纬度时,选择适当的内核变得更加困难,并且训练时间会显著增长。此外,如果特征过多而样本较少,则容易导致过拟合并降低泛化能力。 #### 2. **人工神经网络 (ANN)** 传统浅层的人工神经网路在面对非常高维的数据集如图像识别等领域确实存在挑战,因为权重矩阵规模巨大使得学习过程复杂低效。不过现代深层架构比如卷积神经网络(CNN)能够有效地处理局部模式并且减少参数总量,缓解了这一问题的影响范围。 #### 3. **受限玻尔兹曼机 (RBM)** 作为一种生成式模型,RBM用于无监督预训练阶段可以帮助初始化更深网络中的权值分布从而避免陷入局部极小值;但是它同样受制于高维稀疏表示带来的优化难度加大等问题. #### 4. **深度信念网络 (DBN)** 由多个RBMs堆叠构成可以逐层贪婪地进行非监督训练进而改善整体结构性能并减轻单个层次上面临的维度过大压力;尽管如此最终还是会在某些特定任务场景下遭遇瓶颈。 综上所述: - SVM 和 ANN 在直接应用时不加限制的情况下最容易受到维度灾难影响; - RBM 可以作为辅助工具一定程度上克服该难题但在其他方面仍有限制; - DBN 利用了更复杂的组合策略可以在一定条件下较好应对高维情况但仍不是绝对完美的解决方案。 因此针对不同类型的问题选取合适的技术手段非常重要,并结合降噪、主成分分析等降维技术综合考虑如何规避这个问题带来的不利因素。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值