机器学习中的网络、语言与空间
1. Hopfield网络
Hopfield网络是一种二进制的全递归网络。当从随机激活状态启动时,随着时间推移,其激活状态会逐渐稳定到一个代表解决方案的状态。
1.1 网络特性
- 统计物理分析 :该架构已通过统计物理工具进行了深入分析。在权重对称、无自连接以及异步神经元激活更新的情况下,网络存在一个Lyapunov函数,这意味着网络活动最终会稳定下来。
-
应用场景
- 联想记忆 :权重值根据要存储的模式集计算得出。在检索时,激活要检索模式的一部分,网络会稳定到完整的模式。
- 通用优化器 :将待优化的函数映射到网络的Lyapunov函数中,然后求解权重值。网络随后会稳定到代表解决方案的状态。
1.2 网络扩展与局限性
Hopfield网络的基本架构可以通过多种方式扩展,例如采用连续的神经元激活。然而,它的实际价值有限。作为联想记忆时,其容量在实践中约为0.15N(N为神经元数量);作为优化器时,它常常陷入局部最优而非全局最优。Boltzmann机通过添加隐藏神经元扩展了该架构,在这两项任务中表现更好。不过,Hopfield网络在该领域产生了重大影响,因为为其开发的理论技术也启发了其他架构的理论方法,特别是自组织系统。
2. 假设语言
2.1 定义与背景
机器学习系统使用的假设语言是用于描述其输出的假设(也称为模式或模型)的语言。大多数机器学习算法可视为从一组观察中推导一个或多个假设的过程,输入(观察)和输出(假设)都需要用特定语言描述,分别称为观察语言和假设语言。这些术语主要用于符号学习的上下文中,在归纳逻辑编程领域,假设语言受到了很多关注,系统通常将假设语言的声明性规范作为输入参数之一,这种规范也称为语言偏差。
2.2 假设语言示例
- 决策树和规则集 :决策树代表一个决策过程,通过对实例进行连续测试来确定其目标变量的值。树的每个叶子包含满足从根到该叶子路径上所有条件的实例集,因此树可以轻松写成一组if - then规则。如果目标变量是布尔型,这种格式对应于析取范式。
- 图形模型 :通常指概率模型,其中一组变量的联合分布定义为多个子集上联合分布的乘积,这种分解由图结构定义。图可以是有向的(贝叶斯网络)、无向的(马尔可夫网络)或两者的混合(链图)。在贝叶斯网络中,分解的组成分布是与每个节点相关的条件概率函数;在马尔可夫网络中,是与图中每个团相关的势函数。学习设置可分为给定模型结构学习参数和同时学习结构和参数两种。
- 神经网络 :通常用于表示复杂的非线性函数。可以看作是一个有向图,节点是变量,边表示变量之间的依赖关系。变量通常以非线性方式依赖于有向图中直接前序变量的线性组合。网络的参数是数值边标签,表示父变量在该线性组合中的权重。与图形模型一样,可以学习给定结构的神经网络参数,也可以同时学习结构和参数。
- 基于实例的学习 :在最基本的版本中,训练数据集本身代表假设,假设语言就是观察语言的幂集。许多基于实例的学习器会重新缩放输入空间的维度,包含重新缩放因子的向量可视为假设的一部分。一些从基于实例的学习派生的方法会用原型或连续函数近似实例来构建模型。
- 聚类 :聚类任务假设数据集中存在一定结构,即数据集是来自不同组或簇的元素的混合,每个簇对应一个不同的总体。目标是描述这些簇或总体,并指出哪些数据元素属于哪个簇。一些聚类方法通过枚举数据集中属于每个簇的元素来外延地定义簇;其他方法为簇添加内涵描述,定义实例属于该簇应具备的属性;还有一些方法递归地将簇分组为更大的簇,构建簇层次结构。“混合模型”通常指为每个确定的总体返回概率模型(如具有指定参数的高斯分布)的方法,这些方法通常以概率方式将数据元素分配到总体中。
2.3 一阶逻辑与命题语言
在符号机器学习中,常区分属性值(或命题)语言和关系(或一阶)语言。命题逻辑仅假设命题的存在,这些命题可以为真或假,并可以用通常的逻辑连接词组合成逻辑公式;一阶谓词逻辑假设存在一个对象的宇宙以及可以表达这些对象的某些属性和关系的谓词,通过添加变量和量词,可以描述命题逻辑中无法描述的演绎推理过程。许多机器学习方法使用本质上是命题的语言来描述观察和假设,而在归纳逻辑编程和关系学习领域,使用更强大的语言,其表达能力更接近一阶逻辑。许多上述本质上是命题的表示语言已扩展到一阶逻辑上下文。例如,if - then规则在一阶逻辑中有直接对应的子句形式,命题规则对应于仅引用一个对象的子句,而一些规则在一阶逻辑中有无法转换为命题逻辑且保留推理能力的形式。许多其他表示语言也已升级到关系或一阶逻辑上下文。
以下是一个简单的mermaid流程图,展示假设语言的不同类型:
graph LR
A[假设语言] --> B[决策树和规则集]
A --> C[图形模型]
A --> D[神经网络]
A --> E[基于实例的学习]
A --> F[聚类]
A --> G[一阶逻辑与命题语言]
3. 假设空间
3.1 定义与背景
机器学习系统使用的假设空间是该系统可能返回的所有假设的集合,通常由假设语言定义,可能结合语言偏差。许多机器学习算法依赖某种搜索过程,在给定一组观察和所有可能假设的空间中,寻找最适合数据(或相对于其他质量标准最优)的假设。
3.2 理论描述
对于给定的学习问题,用O表示所有可能观察的集合(有时也称为实例空间),用H表示假设空间。大多数学习器可以抽象地描述为一个函数T: 2^O -> H,它接受一组观察(训练集)S⊆O作为输入,并输出一个假设h∈H。在实践中,观察和假设分别由观察语言L_O和假设语言L_H的元素表示,语言元素与其所代表的内容之间的连接由函数I_O: L_O -> O和I_H: L_H -> H定义,这种映射通常但不总是双射。机器学习系统实际上实现的是一个函数T’: 2^L_O -> L_H,T和T’的关系为T = I(T’)。
3.3 示例说明
- 监督学习 :观察通常是对(x, y),其中x是实例,y是其标签,假设是将X映射到Y的函数。O = X × Y,H⊆Y^X。L_O通常选择为使得I(L_O) = O,而在许多情况下,I(L_H)是Y^X的严格子集,这反映了学习器的语言偏差,可分为隐式语言偏差和显式语言偏差。
- 决策树和规则集学习器 :使用不同的语言(L_DT和L_RS)来表示它们学习的函数,但语言偏差基本相同。例如,当X = B^n且Y = B时,I(L_DT) = I(L_RS) = Y^X,两者都可以表示任何从B^n到B的布尔函数。但在实践中,决策树学习器可能会对学习的树施加约束,实际使用的假设语言是所有决策树语言的子集。
以下是一个表格,总结不同学习器的假设语言和空间特点:
| 学习器类型 | 假设语言 | 语言偏差 | 假设空间特点 |
| ---- | ---- | ---- | ---- |
| 决策树学习器 | L_DT | 可施加约束,如每个叶子至少包含两个训练集实例 | 实际假设语言可能是所有决策树语言的子集 |
| 规则集学习器 | L_RS | 与决策树学习器基本相同 | 可表示任何布尔函数(特定情况下) |
| 监督学习 | L_H | 有隐式和显式语言偏差 | I(L_H)可能是Y^X的严格子集 |
3.4 假设空间的影响因素
假设空间的大小和结构受到多种因素的影响,主要包括假设语言和语言偏差。
-
假设语言
:不同的假设语言具有不同的表达能力,从而决定了假设空间的范围。例如,命题语言和一阶逻辑语言的表达能力不同,一阶逻辑语言能够表达更复杂的关系和推理,其对应的假设空间也更广泛。
-
语言偏差
:用户可以通过指定语言偏差来限制假设空间。语言偏差定义了假设语言的一个子集,相应地也定义了假设空间的一个子集。在归纳逻辑编程领域,对语言偏差的研究较为深入,用户可以通过特定的语言来定义这种偏差。
3.5 假设空间的实际应用考虑
在实际应用中,选择合适的假设空间至关重要。
-
表达能力与复杂度的平衡
:如果假设空间过小,可能无法表达出数据中的复杂模式,导致学习器的性能不佳;如果假设空间过大,学习器可能会陷入过拟合,即对训练数据拟合得很好,但对新数据的泛化能力较差。
-
搜索效率
:假设空间的大小会影响学习算法的搜索效率。较大的假设空间意味着更多的可能假设需要搜索,这会增加学习的时间和计算成本。因此,需要在保证表达能力的前提下,尽量缩小假设空间,提高搜索效率。
以下是一个mermaid流程图,展示假设空间的影响因素和实际应用考虑:
graph LR
A[假设空间] --> B[假设语言]
A --> C[语言偏差]
B --> D[表达能力]
C --> D
D --> E[表达能力与复杂度平衡]
D --> F[搜索效率]
4. 不同概念之间的联系
4.1 假设语言与假设空间的联系
假设语言是描述假设的工具,而假设空间是由假设语言所能描述的所有假设构成的集合。假设语言的选择直接决定了假设空间的范围和结构。例如,使用决策树语言作为假设语言,那么假设空间就是所有可能的决策树的集合。语言偏差则进一步限制了假设空间,使得学习器只能在假设语言的一个子集中搜索假设。
4.2 与机器学习算法的联系
机器学习算法的核心任务是在假设空间中搜索最适合数据的假设。不同的机器学习算法对假设空间的搜索方式不同。例如,基于梯度下降的算法在连续的假设空间中进行搜索,而基于搜索树的算法在离散的假设空间中进行搜索。假设语言和假设空间的特性会影响机器学习算法的性能和效率。如果假设空间过大或结构复杂,可能会导致算法收敛速度慢或陷入局部最优。
4.3 与数据的联系
观察语言用于描述输入的数据,而假设语言和假设空间则用于描述学习器输出的假设。数据的特点和分布会影响假设空间的选择。例如,如果数据具有复杂的非线性关系,可能需要选择具有较强表达能力的假设语言和较大的假设空间;如果数据的关系较为简单,选择较小的假设空间可以提高学习效率。
以下是一个表格,总结不同概念之间的联系:
| 概念关系 | 具体联系 |
| ---- | ---- |
| 假设语言与假设空间 | 假设语言决定假设空间的范围和结构,语言偏差限制假设空间 |
| 与机器学习算法 | 算法在假设空间中搜索假设,假设空间特性影响算法性能和效率 |
| 与数据 | 数据特点影响假设空间选择,观察语言描述数据,假设语言描述假设 |
综上所述,Hopfield网络、假设语言和假设空间在机器学习中都扮演着重要的角色。Hopfield网络为解决特定问题提供了一种有效的模型;假设语言和假设空间则为机器学习算法的设计和实现提供了基础,它们之间相互关联,共同影响着机器学习的性能和效果。在实际应用中,需要根据具体的问题和数据特点,合理选择和设计这些概念,以达到最佳的学习效果。
370



被折叠的 条评论
为什么被折叠?



