41、智能领域的符号与概念解析-优快云博客

本文链接：https://blog.youkuaiyun.com/oo7890/article/details/155756716

智能领域的符号与概念解析

1. 符号列表

在智能领域的研究中，存在着一系列特定的符号，它们代表着不同的含义和概念。以下是一些常见符号及其简要定义：
| 符号 | 定义 |
| — | — |
| (A_k) | 第 (k) 个子模型的振幅 |
| (AI) | 人工智能 |
| (AIC) | 赤池信息准则 |
| (A - L, A - LL) | 亚里士多德相似度 |
| (AR) | 自回归模型或信号 |
| (ARMA) | 自回归滑动平均模型或信号 |
| (ART) | 自适应共振理论 |
| (AZ - LL) | 模糊自适应相似度 |
| ([A, B]) | 换位子，(AB - BA) |
| (B) | Bhattacharyya 距离 |
| (C) | 协方差矩阵 |
| (C_h) | 第 (h) 个概率密度函数（(h) 子模型）的协方差 |
| (C^{-1}) | 矩阵 (C) 的逆 |
| (C_{hn}) | 量子振幅 |
| (CAS) | 复杂自适应系统 |
| (CR) | 克拉默 - 拉奥（理论） |
| (CRB) | 克拉默 - 拉奥界 |
| (D) | 空间（或数据向量）的维数 |
| (D = x - M) | 向量与其均值的差 |
| (d(x, y)) | 向量 (x) 和 (y) 之间的距离 |
| (\det C) | 矩阵 (C) 的行列式 |
| (\frac{d}{dx}) | 关于 (x) 的导数 |
| (\frac{\partial}{\partial S_k}) | 关于 (S_k) 的偏导数 |
| (\delta_{hh’}) | 狄拉克函数 |
| (E) | 熵 |
| (E{\cdot}) | 期望 |
| (E{\cdot|h}) | 条件期望 |
| (E{x}) | (x) 的期望值，均值 |
| (E{x_n|k}) | 给定（类别或假设）(k) 时 (x) 的条件期望值 |
| (EM) | 期望最大化算法 |
| (ENN) | 爱因斯坦神经网络 |
| (\epsilon) | 光子能量 |
| (f(k|n)) | 模糊隶属函数 |
| (F(\omega)) | （爱因斯坦）频谱模型 |
| (\omega) | 单个光子的物理状态数 |
| (G, G(x|M, C)) | 高斯密度 |
| (GT) | 哥德尔 - 图灵理论 |
| (GQMF) | 吉布斯量子建模场系统 |
| (\Omega) | 相空间体积（量子态的总数） |
| (\Omega_{U,0}) | 宇宙中的状态总数（对于非相互作用的智能系统 (IS) 和世界 (W)） |
| (\Omega_{W|X}) | 给定数据 (X) 时 (W) 中的状态数 |
| (h, H_k, k) | 假设（或模型，类别）编号 |
| (H) | 假设的总数（也是假设的集合） |
| (H) | 哈密顿量 |
| (H) | 哈密顿密度 |
| (HQMF) | 哈密顿量子建模场系统 |
| (|h\rangle) | 内部量子建模场（QMF）量子态 |
| (\bar{h}) | 普朗克常数 |
| (I) | 互信息 |
| (IS) | 智能系统 |
| (k) | (k) 因子 |
| (k) | 玻尔兹曼常数 |
| (\xi(k|n)) | 清晰隶属函数 |
| (\Pi) | 数据在类别（模型）之间的划分（分割，关联） |
| (L) | 似然 |
| (LL) | 对数似然 |
| (L(\Pi)) | 条件似然，条件为分割 (\Pi) |
| (l(n|k)) | 数据 (n) 与模型 (k) 之间的条件相似度度量 |
| (ll(n|k)) | 条件相似度度量的对数 |
| (l(k|\Pi)) | 条件为分割 (\Pi) 时 (k) 模型的相似度 |
| (L(\Pi)) | 条件为分割 (\Pi) 时的总相似度 |
| (LTM) | 长期记忆 |
| (|\lambda\rangle) | (X) 算子的本征态 |
| (\lambda) | 该算子的本征值 |
| (\lambda) | 拉格朗日乘数 |
| (m) | 子模型索引 |
| (M) | 子模型的总数 |
| (M_k) | 第 (k) 个模型 |
| (M_{ih}) | 上述向量的分量，(i = 1, \cdots, D) |
| (M_h(S_h, n)) | (X(n)) 的第 (h) 个模型（均值） |
| (M_{;a}^{ih}) | 导数，(\frac{\partial M_{ih}}{\partial S_a^h}) |
| (\hat{M}) | 估计的均值；“帽子” 表示与模型参数的真实值不同的估计量 |
| (M) | 测量 ((M_h \cdot N_h)) 值的量子算子 |
| (ME) | 最大熵估计原理 |
| (MF) | 建模场 |
| (MFT) | 建模场理论 |
| (MHT) | 多假设检验算法 |
| (ML) | 最大似然估计原理 |
| (MLANS) | 最大似然自适应神经网络系统 |
| (n) | 观测编号 |
| (N) | 观测的总数（也是 (n) 值的集合） |
| (N_h) | 分类到假设 (h) 的平均观测数（对应于 (h) 假设的 (N) 的子集） |
| (n \in k) | （数据）元素 (n) 属于类别 (k) |
| (NP) | 参数的数量 |
| (|n\rangle) | 外部世界量子态 |
| (NRT) | 丘脑网状核 |
| ({N_1| \cdots |N_H}) | 集合 ({N}) 的划分 |
| (OC) | 操作曲线 |
| (\omega) | 频率 |
| (\omega_k) | 第 (k) 个子模型的平均频率 |
| (P_l) | 泄漏概率 |
| (P_d) | 检测概率 |
| (P_{fa}) | 虚警概率 |
| (P(x)) | 事件 (x) 的概率 |
| (P(x|y)) | 给定 (y) 时 (x) 的条件概率 |
| (P(h|n)) | 后验概率 |
| (pdf) | 概率密度函数 |
| (pdf(x|y)) | 给定 (y) 时 (x) 的条件概率密度函数 |
| (\prod_n f(n)) | (f(n)) 关于 (x) 的乘积 |
| (\Psi(t)) | 宇宙的量子态 |
| (QMF) | 量子建模场 |
| (r) | 相关系数 |
| (r(h)) | 假设 (h) 的先验概率 |
| (R_k, V_k) | 目标位置和速度 |
| (\rho) | 密度矩阵或算子 |
| (S_h) | 第 (h) 个子模型的参数 |
| (S_a^h) | 上述向量的分量，(a = 1, \cdots, A) |
| (S(\omega)) | 频谱 |
| (STM) | 短期记忆 |
| (\sigma) | 标准差 |
| (\sigma_k) | 第 (k) 个子模型的标准差 |
| (\sum_x f(x)) | (f(x)) 关于 (x) 的和 |
| (t) | 时间 |
| (t_n) | 观测 (n) 的时间 |
| (T) | 温度 |
| (Tr) | 矩阵或算子的迹 |
| (U) | 宇宙 |
| (W) | 世界 |
| (\bar{x}) | (x) 的平均值 |
| (X(n)) | 第 (n) 个观测向量 |
| (x, y) | 变量 |
| (\mathbf{x}, \mathbf{C}) | 粗体表示向量和矩阵 |
| (\mathbf{x}^T, \mathbf{C}^T) | 转置向量和矩阵 |
| (|x(n)\rangle) | 外部模式 (X(n)) 的内部哈密顿量子建模场（HQMF）编码 |
| (X) | 作用于内部量子建模场（QMF）状态的观测算子 |
| (Z - LL) | 扎德（模糊）相似度 |
| (\langle\cdots\rangle) | 平均值，通常用概率加权 |

2. 概念定义

2.1 神经网络相关概念

Adalines ：由 Widrow 在 1959 年创建的人工神经网络，使用简单的内部模型。
Adaptive resonance theory (ART) ：由 Carpenter 和 Grossberg 在 1987 年开发的神经网络，将感知描述为传入和传出信号之间的共振，即来自外部感官细胞接收外部刺激的信号与来自内部先验模型生成的信号之间的共振。它是神经网络两个不同层次之间自适应鲁棒反馈连接结构的理论原则，其中一个层次在认知上比另一个层次 “更高”。
Backpropagation ：结合了分类边界的非参数结构和梯度学习的神经网络概念。它通过记住过去经验中分类空间中分隔类或概念的边界，实现了唯名论智力概念的数学实现。作为一种非参数技术，它面临组合复杂性问题。
Perceptrons ：由 Rosenblatt 在 1958 年创建的人工神经网络，不使用先验知识。

2.2 哲学相关概念

A priori ：先验知识指的是在经验之前的心智内容。经典哲学家认为先验是超越的，先于任何经验。然而，随着对心智先验内容发展的认识不断增加，如基因进化、胚胎发育、幼儿期发展、持续学习和适应，这种观点的实用性越来越低。在智能研究中，先验应根据上下文来理解，适当时，先验包括在最新经验之前的所有心智内容。
Apriority vs. adaptivity of mind ：这是一个贯穿千年的主要哲学问题，以各种名称进行辩论，包括唯物主义与唯心主义、现实主义与唯名论、内在性与超越性、本质与存在方面、行为主义与心理主义、内部表征与巴甫洛夫反射、参数与非参数估计、传入与传出信号、并行与串行处理、连接主义与符号主义、学习与编程、涌现与分析描述、神经与符号、自上而下与自下而上处理、连接主义与逻辑。
Aristotelian Forms ：亚里士多德的心智理论基于形式。形式与柏拉图的理念不同，它们是支持学习的动态实体。形式结合了先验性和适应性。先验形式作为潜在存在，在与物质世界相互作用的过程中成为概念，这个过程构成了学习。
Aristotelian logic ：逻辑是正确推理和思想有效性标准的科学。亚里士多德逻辑处理绝对永恒的真理，其基石是 “排中律”：每个命题要么为真，要么不为真（排除其他任何情况）。它是大多数数学和智能算法的基础，但基于亚里士多德逻辑的算法的计算困难可以追溯到亚里士多德理论中的原始矛盾。
Nominalism ：由犬儒学派哲学创始人安提斯泰尼创立的哲学。唯名论认为观念只是类或相似经验事实集合的名称（nomina）。14 世纪的奥卡姆是最著名的唯名论者之一。尽管大多数伟大的科学家都是现实主义者（如牛顿、爱因斯坦），但唯名论在科学方法中起着重要作用，因为它强调知识的经验起源。
Realism ：由柏拉图和亚里士多德学派创立的哲学。根据柏拉图的观点，理念（Eide 或 Ideas）在它们自己的世界中真实存在。我们思考的能力基于这样一个原则，即心智的概念或抽象观念通过与理念世界的神秘联系先验地为我们所知。现实主义假定了心智的先验性。

2.3 智能算法相关概念

Association ：许多智能算法中的重要步骤，包括建立数据子集与类（子模型、代理、对象、轨迹、过程、信号源、类型、模式等）之间的关系。也称为分割、划分、聚类、分组、分类。
Bayesian decision theory ：基于概率论解决假设选择问题的数学方法。由贝叶斯在 1763 年开发，它是第一种在不确定性面前将先验知识与数据相结合的数学技术。一组假设代表先验知识，决策是后验做出的，即在当前数据可用之后。贝叶斯理论不能解释学习，但它代表了亚里士多德形式理论的一个方面：先验形式（假设）与物质（数据）的相遇。在某些条件下，贝叶斯理论可以导致最优决策（例如，在纸牌游戏中下注）。
Maximum information (MI) ：通过最大化数据与模型之间的互信息来从数据中估计模型参数的方法，适用于近似模型。
Maximum likelihood (ML) ：通过最大化似然函数从数据中估计模型参数的方法。当模型准确时，最大似然法具有重要的理论优势。
Multiple hypothesis testing (MHT) ：同时进行关联和参数估计的数学方法，结合了先验性和适应性，但会遭受组合复杂性问题。
Nearest neighbor concept ：一种非参数计算学习概念，新事件或对象被分类到与过去经验中最近（最相似）事件相同的类别或范畴。它是唯名论智力概念的最简单数学实现，根据该概念，观念和概念在从经验中学习的过程中作为相似对象类的名称出现（而不是来自先验知识）。它是一个直接且高度直观的概念，是大量算法和神经网络的基础，但会导致学习所需的过去经验数量的组合爆炸。

2.4 其他概念

Beautiful ：美是一种感知到的目的性（我们的内部表征与外部世界的关系），与任何特定的 “功利性” 目标无关。在建模场理论（MFT）中，相似度度量就是这种能力的体现。一个对象被称为美的程度取决于其目的性以纯粹形式被感知，并与其先验性质相关联。美的本质与对主体的兴趣有关，而不是对对象的兴趣：即我们从这种表征中在自己内心所获得的东西。美与获取更多知识和改善内部模型与自然之间的和谐目的相契合，是进化、适应和生存的一种机制。与其他生存机制一样，也存在伪装、伪造和反伪造的机制。美通过判断力的审美方面被感知，它与我们表征的 “纯粹” 目的性相关，这种目的性与对象可用于的任何特定目的分开，仅包括知识本身。MFT 为美的数学描述提供了基础：相似度度量在数据和模型之间建立情感关系，并激活适应行动，以改善模型与自然之间的和谐。
Consciousness ：对内在心理事实的意识或感知，是一种主观的感觉、情感或思想体验。意识引导意志，导致更好的适应。在复杂情况下，各种本能可能会遇到矛盾，意识可以通过抑制某些过程并将力量分配给其他过程来解决本能的僵局。通过区分替代方案，意识可以将心理功能导向一个目标。意识是一个复杂的分化现象，大致可分为以下几个层次：未分化的意识、集体意识和个体意识。集体意识和个体意识都具有多种意识模式或类型，在最高层次上包括感觉、情感、思考和直觉。内部模型的有意识部分更具分化性、适应性，更容易受到意志和理性的影响，也更容易进行未来的分化和适应。
Creativity ：创造以前不存在的东西的能力（在集体或个人的心理中）。它具有多个层次：较低层次包括基于先验模型的适应性和学习；较高层次包括扩展先验模型，以及感知美和崇高。在智能研究中，创造力主要指的是较高层次。创造力与现有先验模型的模糊性有关，因为没有模糊性就没有学习。它与无意识相关，无意识是模糊性的永恒来源。它也与个体意识相关，因为个体性需要从集体模型中创造出个体模型。创造力的本质在历史上朝着增加有意识元素的方向变化，并且由于其与自由意志的关系而具有神秘的色彩。
Cyberaesthetics ：未来的智力情感科学。它是心智物理理论的一个方面，将为包括美和崇高在内的高级情感提供数学描述。它基于康德 - 建模场理论（Kant - MFT），该理论将心智的基本智力过程数学描述为一个动态符号，即输入信号、概念、情感和行动的漩涡。它将揭示美作为一种能够超越特定目标进行适应和学习的复杂智能系统的属性。

下面是一个简单的概念关系流程图：

graph LR
    A[先验知识] --> B[智能算法]
    B --> C[分类与识别]
    C --> D[意识与创造力]
    E[哲学概念] --> B
    E --> F[美的感知]
    F --> D

通过对这些符号和概念的理解，我们可以更好地探索智能领域的相关研究，包括神经网络、哲学思考以及智能算法的设计和应用等方面。这些知识为我们构建更复杂、更智能的系统提供了基础。

3. 更多概念解析

3.1 心理学相关概念

Personality types ：由荣格确定，由意识的主导模式和态度决定。荣格确定了四种意识模式：思维、感觉、情感和直觉，以及两种态度：内向和外向。例如，内向类型的思考者更关注自己的内部思想，倾向于强调先验的内部知识；而外向类型的思考者则倾向于强调从经验中学习。
Psychic functions, or modes of consciousness ：荣格确定的四种主要功能为思维、情感（情绪）、直觉和感觉。思维和情感是理性的，更容易被意识所触及，也更容易达到高度分化的状态；直觉和感觉是非理性的，较难被意识和分化。

3.2 物理与数学相关概念

Cramer–Rao bounds (CRB) ：学习的基本数学界限，根据所需学习模型参数的数据量，以真实模型结构和参数的函数形式建立了最小学习要求。例如，在估计模型参数时，CRB 可以帮助我们确定需要多少数据才能达到一定的精度。
Factor analysis ：用于多维空间中统计相关性分析的数学技术。它对围绕均值的随机偏差进行建模，均值由单个多维确定性现象定义。该技术由 Spearman 在 1910 年和 Thurstone 在 1947 年开发。

3.3 符号学相关概念

Semiotics ：研究符号、象征及其解释的科学，其创始人包括 Peirce（1935 - 66）和 Morris（1971）。它包含三个方面：
- Semantics ：在符号学中，指符号载体与其所指对象之间的关系。在建模场理论（MFT）中，由判断力或相似度度量来描述，即关联输入数据和模型。
- Pragmatics ：指符号载体与其解释者之间的关系。在 MFT 中，由理性的适应行动来描述，如修改模型、向其他代理发送消息等。
- Syntactics ：指符号载体之间的关系。在 MFT 中，由支配理解力的逻辑来描述，即内部模型之间的关系。

3.4 系统架构相关概念

Hierarchical architecture ：多级智能系统的一种组织方式，每一级处理从较低级别接收的数据，并将结果报告给较高级别。严格的层次结构没有反馈或垂直循环（各级之间）。根据心理和神经数据，心智和大脑并非严格的层次结构，而是将多个具有显著独立性的模块与某些模块内的 “软” 层次结构相结合。
Heterarchical architecture ：智能系统的一种组织方式，将多个具有显著独立性的模块与某些模块内的 “软” 层次结构相结合。

4. 智能系统中的关键方法

4.1 估计方法

方法	描述	适用情况
Maximum information (MI)	通过最大化数据与模型之间的互信息来估计模型参数	适用于近似模型
Maximum likelihood (ML)	通过最大化似然函数来估计模型参数	当模型准确时具有理论优势
EM algorithm	期望最大化算法，用于在存在隐变量的情况下进行参数估计	处理不完整数据或具有隐变量的模型

4.2 决策方法

Bayesian decision theory ：基于概率论解决假设选择问题的数学方法。它将先验知识与数据相结合，在不确定性面前做出后验决策。在某些条件下，可导致最优决策，如在纸牌游戏中下注。
Likelihood ratio test ：根据似然比进行假设选择的方法。

4.3 学习方法

Gradient learning ：一种计算学习概念。通过沿性能度量的梯度修改算法参数，逐步提高算法性能，也称为 “爬山法”。可用于基于模型和非参数技术，如反向传播神经网络。
Genetic algorithms ：类似于基因进化的数学学习技术，旨在克服组合爆炸问题。

下面是一个智能系统处理流程的流程图：

graph LR
    A[数据输入] --> B[模型匹配]
    B --> C{相似度判断}
    C -- 高相似度 --> D[输出结果]
    C -- 低相似度 --> E[模型调整]
    E --> B

5. 智能领域的挑战与解决方案

5.1 组合复杂性问题

组合复杂性是智能算法中普遍存在的问题。一方面，智能需要足够灵活，以处理多个基本概念、观念和计划的各种组合，从而在复杂情况下找到合适的解决方案；另一方面，评估或学习这些组合会导致组合爆炸，即使是中等复杂度的问题，组合数量也可能超过宇宙中的粒子数量。与先验性相关的算法面临逻辑复杂性，与适应性相关的算法面临训练复杂性，试图将两者结合则会导致计算的组合复杂性。这个问题也被称为 “维度诅咒”（Bellman），在智能研究中可追溯到亚里士多德逻辑，可通过基于自适应模型的模糊逻辑来解决。

5.2 学习的局限性

学习受到基本数学界限的限制，如 Cramer - Rao 界限（CRB）。这些界限根据所需学习模型参数的数据量，以真实模型结构和参数的函数形式建立了最小学习要求。此外，学习还受到先验知识和数据质量的影响。

5.3 解决方案

Fuzzy logic ：由 Zadeh 创建的模糊逻辑处理日常生活中的相对真理。它为建模场理论（MFT）提供了基础，该理论将适应性与先验性相结合。模糊逻辑克服了基于亚里士多德逻辑的算法的计算困难，因为它允许概念部分匹配数据，从而为学习提供了基础。
Modeling field theory (MFT) ：一种将先验知识与学习和模糊逻辑相结合的数学理论。它是一组动态方程，最大化 AZ - 相似度。MFT 为亚里士多德形式、康德的心智理论和符号形成的动态过程提供了数学描述，结合了先验性和适应性，解决了组合复杂性的难题。

通过对智能领域中这些符号、概念、方法和挑战的深入理解，我们可以更好地设计和开发智能系统，推动智能科学的发展。无论是在神经网络的构建、哲学思考的探索，还是在实际智能算法的应用中，这些知识都具有重要的指导意义。