93、自然语言处理中的搜索与最大熵模型

自然语言处理中的搜索与最大熵模型

1. 执行期间的搜索

在执行过程中引入搜索机制是一种重要的策略。给定当前状态,智能体进行前向搜索,寻找能产生最佳中间奖励和最终状态值组合的动作序列。这种搜索主要分为两大类:确定性搜索和随机搜索。

1.1 确定性搜索

确定性搜索,如 LAO*(Hansen 和 Zilberstein 1998),利用马尔可夫决策过程(MDP)提供的模型在状态空间中进行扩展。它依据模型的确定性规则,系统地探索状态空间,以找到最优的动作序列。

1.2 随机搜索

随机搜索,也称为蒙特卡罗方法,如 Kocsis 和 Szepesvári(2006)提出的基于多臂老虎机的蒙特卡罗规划。这种方法从模型中采样轨迹,并利用从这些样本中收集的统计信息来选择策略。它不依赖于精确的模型,而是通过大量的随机采样来估计最优策略。

下面用 mermaid 流程图展示搜索类型的分类:

graph LR
    A[搜索] --> B[确定性搜索]
    A --> C[随机搜索]
    B --> D[LAO*]
    C --> E[蒙特卡罗方法]

2. 马尔可夫相关概念

2.1 马尔可夫网络

马尔可夫网络,也称为马尔可夫网或马尔可夫随机场,是一种用于表示多元概率分布的无向图模型。它通过图的结构来表示变量之间的依赖关系,为处理复杂的概率分布提供了一种有效的方式。

2.2 马尔可夫过程

马尔可夫过程是一种随机过程,其未来状态的条件概率分布仅取决于当前状态,而与过去的所有状态无关。具有这种性质的过程被称为马尔可夫性。最著名的马尔可夫过程是马尔可夫链,它是具有转移概率的离散时间状态序列。马尔可夫链以安德烈·马尔可夫(1865 - 1922)命名,他为随机过程的概念引入了几个重要的新观念。布朗运动也是一个近似的马尔可夫过程。

2.3 马尔可夫决策规则

在马尔可夫决策过程中,决策规则 $d_t$ 根据给定决策时刻的历史和任何可能的状态来确定采取的动作。它可以是确定性的,即对于每个状态 $s \in S$ 和给定的历史 $h_t$,以概率 1 选择 $A(s)$ 中的单个成员;也可以是随机的,即根据概率 $q_{d_t}(h_t)(a)$ 随机选择 $A(s)$ 中的成员。如果决策规则仅通过当前状态 $s_t$ 依赖于历史 $h_t$,则称其为马尔可夫决策规则,即 $d_t(h_t) = d_t(s_t)$。

3. 最大熵模型在自然语言处理中的应用

3.1 最大熵模型概述

最大熵是一种优化框架,其目标是在与观察到的证据一致的模型集合中找到使熵最大化的概率模型。信息论中的熵是衡量概率模型不确定性的一种方式,熵越高,概率分布的不确定性越大。选择最大熵模型的理由是,任何其他模型都可能假设了未观察到的证据。

在大多数自然语言处理问题中,观察到的证据通常表现为感兴趣的预测和感兴趣的语言上下文之间的共现计数。这些计数来自大量的语言标注示例,即语料库。例如,在一个大语料库中,单词“that”与限定词标签(DET)的共现频率就是一个观察到的证据。如果一个概率模型计算出的共现计数估计值与语料库中观察到的计数一致,则称该模型与观察到的证据一致。最大熵框架的目标是找到一个与共现计数一致,但在其他方面具有最大不确定性的模型,它提供了一种将多个证据组合成单个概率模型的方法。通常需要一个迭代的参数估计过程来找到最大熵概率模型。

3.2 学习系统结构

典型的自然语言处理应用的目标是在自由出现的文本上自动生成具有语言动机的类别或结构。在基于统计的方法中,使用条件概率模型 $p$ 来生成这些类别是很方便的,其中 $p(a|b)$ 是在给定感兴趣的语言上下文 $b$(例如一个单词)的情况下,看到感兴趣的预测 $a$(例如一个词性标签)的概率。

这里讨论的最大熵框架遵循自然语言处理的机器学习方法,假设存在一个大型的语言标注示例语料库。这个标注语料库用于创建训练集,进而用于估计概率模型 $p$。

3.3 证据表示

最大熵模型的证据来自训练集。训练集是由标注数据生成的(预测,语言上下文)对的列表。但在实践中,我们并不记录整个语言上下文,而是使用具有语言动机的布尔值问题将整个语言上下文简化为一个问题标识符向量。因此,每个训练样本看起来像:
| 预测 | 问题向量 |
| ---- | ---- |
| $a$ | $q_1 \cdots q_n$ |

其中 $a$ 是预测,$q_1 \cdots q_n$ 是对应于该训练样本的语言上下文回答为真的问题向量。这些问题必须由实验者提前设计,并且专门针对标注数据和问题空间。

在这个框架中,任何证据都用一个特征来表示。特征将预测 $a$ 与语言上下文 $b$ 的某个方面相关联,通过某个问题来捕获:
[
f_j(a, b) =
\begin{cases}
1, & \text{如果 } a = x \text{ 且 } q(b) = \text{true} \
0, & \text{否则}
\end{cases}
]

3.4 证据组合

最大熵框架提供了一种将所有特征组合成概率模型的方法。在条件最大熵公式(Berger 等人,1996)中,期望的模型 $p^ $ 由以下条件给出:
[
P = { p | E_p f_j = E_{\hat{P}} f_j, j = 1 \cdots k }
]
[
H(p) = - \sum_{a,b} \hat{P}(b) p(a|b) \log p(a|b)
]
[
p^
= \arg \max_{p \in P} H(p)
]

其中 $H(p)$ 是 $p$ 的条件熵,$\hat{P}(b)$ 是训练集中语言上下文 $b$ 的观察概率,$P$ 是与观察到的数据一致的模型集合。如果一个模型 $p$ 的特征期望 $E_p f_j$ 等于观察到的特征期望 $E_{\hat{P}} f_j$,对于所有 $j = 1 \cdots k$ 个特征,则称该模型是一致的。

$E_{\hat{P}} f_j$ 可以解释为训练样本中 $f_j$ 的观察计数,通过训练样本大小进行归一化。两者的定义如下:
[
E_p f_j = \sum_{a,b} \hat{P}(b) p(a|b) f_j(a, b)
]
[
E_{\hat{P}} f_j = \sum_{a,b} \hat{P}(a, b) f_j(a, b)
]

根据最大熵框架,最优模型 $p^ $ 是满足特征约束的模型中最不确定的模型。可以证明,最优模型的形式必须是对数线性的:
[
p^
(a|b) = \frac{1}{Z(b)} \prod_{j = 1 \cdots k} \alpha_j^{f_j(a,b)}
]
[
Z(b) = \sum_{a’} \prod_{j = 1 \cdots k} \alpha_j^{f_j(a’,b)}
]

这里 $Z(b)$ 是一个归一化因子,且 $\alpha_j > 0$。每个模型参数 $\alpha_j$ 可以看作是其对应特征 $f_j$ 的“强度”;条件概率是活动特征的特征权重的归一化乘积。

3.5 与最大似然估计的关系

这里描述的最大熵框架在更常用的最大似然估计技术下有另一种解释。
[
Q = { p | p(a|b) = \frac{1}{Z(b)} \prod_{j = 1 \cdots k} \alpha_j^{f_j(a,b)} }
]
[
L(p) = \sum_{a,b} \hat{P}(a, b) \log p(a|b)
]
[
q^* = \arg \max_{p \in Q} L(p)
]

其中 $Q$ 是形式为 (2) 的模型集合,$\hat{P}(a, b)$ 是预测 $a$ 与语言上下文 $b$ 一起出现的观察概率,$L(p)$ 是训练集的对数似然,$q^ $ 是最大似然模型。可以证明 $p^ = q^*$,即对于形式为 (2) 的模型,最大似然估计与在特征计数约束下的最大熵估计给出相同的答案。两种方法的区别在于,最大似然方法假设了模型的形式,而最大熵方法假设了特征期望的约束,并推导出模型的形式。

3.6 参数估计

广义迭代缩放(GIS)算法(Darroch 和 Ratcliff 1972)是估计这种模型参数的最简单方法。迭代更新如下:
[
\alpha_j^{(0)} = 1
]
[
\alpha_j^{(n)} = \alpha_j^{(n - 1)} \left( \frac{E_{\hat{P}} f_j}{E_p f_j} \right)^{\frac{1}{C}}
]

GIS 需要使用一个“校正”特征 $g$ 和常数 $C > 0$,定义为对于训练集中的任何 $(a, b)$ 对,$g(a, b) = C - \sum_{j = 1 \cdots k} f_j(a, b)$。通常,校正特征 $g$ 必须与 $k$ 个原始特征一起在模型中进行训练,尽管 Curran 和 Clark(2003)表明,即使没有校正特征,GIS 也能收敛。达到收敛所需的迭代次数取决于数据的某些方面,如训练样本大小和特征集大小,通常需要针对具体问题进行调整。

其他参数估计算法包括改进的迭代缩放(Berger 等人,1996)算法和顺序条件 GIS(Goodman 2002)算法。这里列出的算法并不完整,许多其他数值算法也可以应用于最大熵参数估计。

在训练集中很少出现的特征,尤其是只出现一次的特征,通常很难评估其可靠性。当从低频特征计数训练参数时,最大熵模型以及许多其他统计学习技术都有“过拟合”训练数据的倾向。在这种情况下,训练数据上的性能看起来很高,但在预期的测试数据上的性能通常会下降。平滑或正则化技术旨在缓解统计模型的这个问题,一些针对最大熵模型的平滑技术在 Chen 和 Rosenfeld(1999)中进行了综述。

3.7 应用

最大熵框架已被用作自然语言处理中许多问题的通用机器学习工具包。与其他通用机器学习技术一样,最大熵框架的核心在不同的问题空间中是不变的。然而,有些信息是特定于每个问题空间的:
- 预测 :模型的预测空间。
- 问题 :模型的问题空间。
- 特征选择 :任何可能的(问题,预测)对都可以用作特征。在复杂模型中,只有所有可能特征的一小部分用于模型。特征选择策略指定如何选择这个子集。

对于给定的应用,提供上述三个方面的信息就足以完全指定一个最大熵概率模型。

3.8 词性标注

词性标注是计算语言学中的一个著名任务,其目标是消除给定句子中所有单词的词性歧义。例如,在以下著名的例子中,计算机很难消除“flies”这个词的词性歧义:
- “Fruit flies like a banana.” 中 “flies” 是名词。
- “Time flies like an arrow.” 中 “flies” 是动词。

在机器学习方法中,使用语言上下文中标签和单词的共现统计信息来创建词性标签的预测模型。

3.8.1 模型规格

对于词性标注,目标是一个最大熵模型 $p$,它将给出在第 $i$ 个位置看到标签的概率,给定第 $i$ 个单词的语言上下文、周围的单词以及先前预测的标签,写作 $p(t_i|t_{i - 1} \cdots t_1, w_1 \cdots w_n)$。意图是从左到右逐个单词地使用该模型。

词性标注的最大熵模型(Ratnaparkhi 1996)指定如下:
- 预测 :宾州树库的 45 个词性标签。
- 问题 :
- 以下是问题和问题模式。问题模式有一个占位符变量(例如 $X, Y$),通过扫描标注语料库中模式匹配的示例来实例化。设 $i$ 表示句子中当前单词的位置,$w_i$ 和 $t_i$ 分别表示第 $i$ 个位置的单词和标签。
- $w_i = X$ 吗?
- $w_{i - 1} = X$ 吗?
- $w_{i - 2} = X$ 吗?
- $w_{i + 1} = X$ 吗?
- $w_{i + 2} = X$ 吗?
- $t_{i - 1} = X$ 吗?
- $t_{i - 1}t_{i - 2} = X, Y$ 吗?
- 对于在训练集中出现少于 5 次的单词:
- 前 $K$($K \leq 4$)个字符是 $X_1 \cdots X_K$ 吗?
- 后 $K$($K \leq 4$)个字符是 $X_1 \cdots X_K$ 吗?
- 当前单词包含数字吗?
- 当前单词包含连字符吗?
- 当前单词包含大写字符吗?
- 特征选择 :任何在训练数据中计数少于 10 的特征都被丢弃。

虽然每个概率决策的特征理论上可以考虑整个语言上下文,但实际上它们只考虑当前单词周围的一小部分单词窗口和左侧的一小部分标签窗口。因此,每个决策实际上做出了类似于马尔可夫的假设:
[
p(t_i|t_{i - 1} \cdots t_1, w_1 \cdots w_n) = p(t_i|t_{i - 1}t_{i - 2}w_{i - 2}w_{i - 1}w_iw_{i + 1}w_{i + 2})
]
[
= \frac{\prod_{j = 1 \cdots k} \alpha_j^{f_j(t_i, t_{i - 1}t_{i - 2}w_{i - 2}w_{i - 1}w_iw_{i + 1}w_{i + 2})}}{Z(t_{i - 1}t_{i - 2}w_{i - 2}w_{i - 1}w_iw_{i + 1}w_{i + 2})}
]

方程 (4) 是词性标注的最大熵模型。给定某个上下文 $t_{i - 1}t_{i - 2}w_{i - 2}w_{i - 1}w_iw_{i + 1}w_{i + 2}$ 的预测 $t_i$ 的每个条件概率是该(预测,上下文)对的活动特征的乘积。

3.8.2 训练数据

训练集是通过将问题应用于训练集中的每个单词来创建的。例如,当扫描句子 “Time flies like an arrow” 中的单词 “flies” 时,训练示例如下:
| 预测 | 问题向量 |
| ---- | ---- |
| verb | $w_i = flies; w_{i - 1} = Time; w_{i - 2} = bd ; w_{i + 1} = like; w_{i + 2} = an; t_{i - 1} = noun; t_{i - 1}t_{i - 2} = noun, bd $ |

这里 “ bd ” 是一个特殊的边界符号。这个例子中的标签已经简化,宾州树库中的实际标签比名词和动词更细致。

使用数十万的训练样本创建候选特征。训练数据中出现的任何可能的(预测,问题)对都是候选特征。特征选择策略是从候选集中消除不可靠或有噪声的特征的一种方法。对于这里描述的词性模型,使用一个简单的频率阈值来实现特征选择。

给定一个选定的特征集,然后使用 GIS 算法来找到相应 $\alpha_j$ 参数的最优值。对于这个应用,大约 50 次 GIS 迭代就足以实现收敛。

3.8.3 搜索最佳序列

到目前为止描述的概率模型将在给定包括和围绕当前单词的语言上下文的情况下,产生一个标签分布。在实践中,我们需要对整个句子进行标注,这意味着模型必须产生一个标签序列。标注通常从左到右进行,这样每个决策都有先前预测标签的左上下文。一个 $n$ 个单词的句子的最佳标签序列的概率分解如下:
[
p(t_1 \cdots t_n|w_1 \cdots w_n) = \prod_{i = 1 \cdots n} p(t_i|t_{i - 1} \cdots t_1, w_1 \cdots w_n)
]

期望的标签序列是具有最高条件序列概率的序列:
[
t_1^ \cdots t_n^ = \arg \max_{t_1 \cdots t_n} p(t_1 \cdots t_n|w_1 \cdots w_n)
]

通常使用一种称为维特比算法的动态规划过程来找到最高概率序列。

3.9 其他自然语言处理应用

其他自然语言处理应用也使用最大熵模型来预测各种语言结构。Ratnaparkhi(1999)中的统计解析器使用单独的最大熵模型进行词性、组块和解析结构预测。Borthwick(1999)中的系统使用最大熵模型进行命名实体检测,而 Ittycheriah 等人(2001)中的系统将其用作答案类型预测和命名实体检测的子组件。通常,这些应用不需要改变核心框架,而是需要修改预测、问题和特征选择的含义以适应应用的预期任务。

下面用 mermaid 流程图展示词性标注的流程:

graph LR
    A[输入句子] --> B[创建训练集]
    B --> C[生成候选特征]
    C --> D[特征选择]
    D --> E[GIS 算法估计参数]
    E --> F[生成概率模型]
    F --> G[维特比算法搜索最佳序列]
    G --> H[输出标签序列]

4. 未来方向

4.1 条件随机场(CRFs)

条件随机场(Lafferty 等人,2001)是最大熵模型的一种替代方法,用于解决标签偏差问题。标签偏差影响一次预测一个元素的序列模型,在这种模型中,给定状态(或在词性标注的情况下是单词)的特征相互竞争,但不与序列中任何其他状态的特征竞争。相比之下,CRF 模型直接产生整个序列的概率分布,因此允许特征在整个序列中进行全局竞争。CRF 的参数估计与用于最大熵模型的广义迭代缩放算法相关。例如,Sha 和 Pereira(2003)将 CRF 应用于名词短语组块。

4.2 多层神经网络方法

Collobert 等人(2011)提出了一种多层神经网络方法,用于包括词性标注在内的多个序列标注任务。这种方法避免了特定任务的特征工程,如“模型规格”部分中的问题,而是使用神经网络训练算法来发现单词和标签上下文的内部表示。它还使用大量的未标注数据来增强单词的内部表示。

综上所述,最大熵模型在自然语言处理中具有广泛的应用,并且不断有新的方法和技术涌现,为自然语言处理的发展提供了更多的可能性。未来,随着技术的不断进步,我们有望看到更高效、更准确的自然语言处理模型和方法。

5. 最大熵模型与其他模型的对比

5.1 最大熵模型与马尔可夫模型

  • 原理差异 :马尔可夫模型强调状态转移的概率,其未来状态仅依赖于当前状态。例如马尔可夫链,通过固定的转移概率矩阵来描述状态之间的转换。而最大熵模型侧重于在满足观察到的证据约束下,找到具有最大不确定性的概率模型。它并不预先设定状态转移的固定模式,而是通过特征和参数来综合考虑各种因素。
  • 应用场景差异 :马尔可夫模型常用于具有明显状态转移特征的场景,如语音识别中的语音状态转换、金融市场中的价格走势预测等。最大熵模型则更适用于自然语言处理中需要综合考虑多种语言特征和上下文信息的任务,如词性标注、命名实体识别等。

5.2 最大熵模型与条件随机场(CRFs)

  • 标签偏差问题处理 :最大熵模型在处理序列标注任务时,可能会受到标签偏差的影响。因为它通常是逐个元素进行预测,特征在单个状态下竞争,忽略了序列中其他状态的特征影响。而 CRFs 直接对整个序列的概率分布进行建模,允许特征在整个序列中全局竞争,有效解决了标签偏差问题。
  • 参数估计复杂度 :最大熵模型常用的参数估计算法如 GIS 算法,在处理大规模数据和复杂特征时,收敛速度可能较慢,且需要调整一些参数如校正特征和常数。CRFs 的参数估计与 GIS 算法相关,但由于其全局建模的特点,在某些情况下可能需要更复杂的优化算法来求解。

5.3 最大熵模型与多层神经网络方法

  • 特征工程需求 :最大熵模型需要人工设计特征和问题,进行特征工程。例如在词性标注中,需要设计一系列关于单词、上下文和标签的问题。而多层神经网络方法可以自动学习特征,避免了复杂的特征工程。它通过神经网络的训练算法,从大量数据中发现单词和标签上下文的内部表示。
  • 数据依赖程度 :最大熵模型在训练时依赖于标注好的训练数据,数据的质量和数量对模型性能有重要影响。多层神经网络方法虽然也需要数据进行训练,但它可以利用大量的未标注数据来增强内部表示,对数据的利用更加充分。

下面用表格总结最大熵模型与其他模型的对比:
| 模型对比 | 最大熵模型 | 马尔可夫模型 | 条件随机场(CRFs) | 多层神经网络方法 |
| ---- | ---- | ---- | ---- | ---- |
| 原理侧重点 | 满足证据约束下的最大不确定性 | 状态转移概率 | 全局序列概率分布 | 自动学习特征表示 |
| 应用场景 | 自然语言处理综合任务 | 状态转移明显场景 | 序列标注任务 | 序列标注等多种任务 |
| 标签偏差处理 | 可能受影响 | - | 有效解决 | - |
| 特征工程需求 | 高,需人工设计 | - | - | 低,自动学习 |
| 数据依赖程度 | 依赖标注数据 | - | - | 可利用未标注数据 |

6. 最大熵模型的优化策略

6.1 特征选择优化

  • 频率阈值筛选 :如在词性标注中,将训练数据中计数少于 10 的特征丢弃。这种方法简单直接,可以去除一些出现频率低、可能不可靠的特征,减少模型的复杂度。
  • 信息增益筛选 :计算每个特征的信息增益,选择信息增益高的特征。信息增益反映了特征对分类的贡献程度,通过选择信息增益高的特征,可以提高模型的分类性能。

6.2 参数估计优化

  • 改进的迭代缩放算法 :除了常用的 GIS 算法,还可以使用改进的迭代缩放算法,如 Berger 等人提出的算法。这些算法在收敛速度和稳定性上可能优于 GIS 算法,能够更快地找到最优参数。
  • 并行计算 :对于大规模数据和复杂特征的情况,可以采用并行计算的方法来加速参数估计过程。将数据和计算任务分配到多个处理器或计算节点上同时进行计算,提高计算效率。

6.3 平滑与正则化

  • 拉普拉斯平滑 :在处理低频特征时,拉普拉斯平滑可以为每个特征的计数加上一个小的常数,避免零概率问题,提高模型的泛化能力。
  • L1 和 L2 正则化 :在参数估计过程中加入 L1 或 L2 正则化项,约束参数的大小,防止模型过拟合。L1 正则化可以使部分参数为零,实现特征选择的效果;L2 正则化可以使参数更加平滑。

下面用 mermaid 流程图展示最大熵模型的优化流程:

graph LR
    A[原始数据] --> B[特征选择优化]
    B --> C[参数估计优化]
    C --> D[平滑与正则化]
    D --> E[优化后的最大熵模型]

7. 最大熵模型的实际应用案例分析

7.1 智能客服中的意图识别

  • 问题描述 :智能客服系统需要准确识别用户的意图,以便提供相应的服务。用户的问题可能具有多样性和模糊性,需要综合考虑多种语言特征和上下文信息。
  • 最大熵模型应用 :
    • 预测 :将用户的意图类别作为预测空间,如咨询产品信息、投诉服务问题、申请退款等。
    • 问题 :设计一系列关于用户问题的问题,如问题中是否包含特定关键词、问题的长度、问题的语气等。
    • 特征选择 :通过频率阈值或信息增益等方法,选择与意图识别相关的特征。
    • 训练与优化 :使用大量的用户历史对话数据进行训练,采用优化策略如改进的迭代缩放算法和拉普拉斯平滑,提高模型的准确性和泛化能力。

7.2 新闻分类中的主题识别

  • 问题描述 :新闻媒体需要对大量的新闻文章进行分类,以便用户能够快速找到感兴趣的新闻。新闻文章的主题可能涉及政治、经济、科技、娱乐等多个领域,需要准确识别文章的主题。
  • 最大熵模型应用 :
    • 预测 :将新闻的主题类别作为预测空间,如政治新闻、经济新闻、科技新闻等。
    • 问题 :设计关于新闻文章的问题,如文章中出现的高频词汇、文章的来源、文章的长度等。
    • 特征选择 :筛选出与主题识别相关的特征,去除噪声特征。
    • 训练与评估 :使用标注好的新闻数据集进行训练,通过交叉验证等方法评估模型的性能,并根据评估结果进行参数调整和优化。

8. 总结与展望

8.1 总结

最大熵模型作为一种强大的机器学习工具,在自然语言处理领域具有广泛的应用。它通过将多个证据组合成单个概率模型,在满足观察到的证据约束下,找到具有最大不确定性的模型。在词性标注、命名实体识别、意图识别等任务中取得了良好的效果。然而,最大熵模型也存在一些局限性,如可能受到标签偏差影响、需要人工进行特征工程等。

8.2 展望

  • 模型融合 :将最大熵模型与其他模型如 CRFs、多层神经网络方法进行融合,充分发挥各自的优势,提高模型的性能。例如,可以将最大熵模型的特征与神经网络的自动学习能力相结合,实现更准确的自然语言处理任务。
  • 跨领域应用拓展 :除了自然语言处理领域,最大熵模型可以尝试应用于其他领域,如生物信息学、金融分析等。通过调整特征和问题的设计,使其适应不同领域的特点和需求。
  • 自适应学习与在线学习 :研究最大熵模型的自适应学习和在线学习方法,使其能够在不断变化的数据环境中实时更新模型参数,提高模型的适应性和灵活性。

随着技术的不断发展和研究的深入,最大熵模型有望在更多领域发挥重要作用,为解决复杂的实际问题提供有效的解决方案。

相关推荐

【信息科学与工程学】【产品体系】第十二篇 制造业生产加工05 控制算法 ——飞行(1)

航空航天控制的高级主题,包括先进飞行控制、航天器高级控制、无人机集群、航空发动机控制和飞行管理。

weixin_49199313的博客 1911

【信息科学与工程学】计算机科学与自动化——第三十五篇 调度理论和调度算法01——资源调度算法

算法逻辑

weixin_49199313的博客 689

32、现代自然语言处理中概念与关系提取方法及飞行员注意力任务模型研究

本文探讨了现代自然语言处理中概念与关系提取的方法,并结合航空领域分析了飞行员注意力任务模型的构建与应用。研究涵盖了频率特征、机器学习、模式匹配、统计方法和神经网络等多种技术,同时以CoNLL-2003和SemEval-2010 Task 8为基准评估了多种模型的性能。此外,文章还讨论了飞行员注意力任务模型在飞行训练、安全管理及任务规划中的应用与意义,强调了其对提升飞行安全性和优化飞行员工作负荷的重要性。

ujm567890的博客 51

【信息科学与工程学】【数据科学】第一百八十八篇 线性/非线性泛函分析01

​ 普通数值函数 f:R→R​泛函⬇️最规矩的孩子:线性泛函(面积、加权求和)⬇️大多数自然界的现象:非线性泛函(曲线的能量、弧长)⬇️最光滑好算的:连续/可微泛函(可用欧拉-拉格朗日方程求极值的)⬇️刺头:不连续/奇异泛函(狄拉克 Delta,阶跃)弧长泛函​ — 变分法/几何最速降线泛函(时间泛函)​ — 变分法/经典力学动能-势能差(作用量)泛函​ — 拉格朗日力学Dirichlet能量泛函​ — PDE/位势论/调和函数线性积分泛函(Lebesgue空间上的有界线性泛函)

weixin_49199313的博客 200

【信息科学与工程学】计算机科学与自动化——第六十六篇 算子篇 第一章 通用算子01 多模态数据(图形/图像/文本/语音)中推断人类内在状态、策略、动机和利益的算法算子知识库

编号领域算法/方法算子名称算子的数学方程式/表达复杂度 (示例)关联知识11量子场论正则量子化产生/湮灭算符对易关系: [â_p, â†_q] = δ⁽³⁾(p​ - q)应用于态空间,计算复杂度取决于截断福克空间,粒子数表象,二次量子化12统计力学蒙特卡洛模拟马尔可夫链转移算子T(s → s‘) :满足细致平衡条件 π(s)T(s→s’)=π(s‘)T(s’→s)收敛到平衡分布需 ~O(τ), τ为相关时间细致平衡,Metropolis-Hastings准则,重要性采样13电磁学边界元法单层势/双层势算子

weixin_49199313的博客 311

【信息科学与工程学】【数据科学】第十八篇 数值分析 系列二 数值算法设计01

编号类型领域问题问题的数学分析及数值分析算法逐步推理思考的数学表达式参数列表及参数的边界范围及条件及常数关联知识1数值积分数值逼近计算定积分 I=∫ab​f(x)dx的近似值。数学分析:将积分区间等分,利用插值多项式近似被积函数,构造机械求积公式。数值分析:Newton-Cotes公式是等距节点的插值型求积公式。高阶公式(n≥8)因Cotes系数有正负,数值不稳定。偶阶公式(如Simpson)具有n+1次代数精度。为提高精度,常采用复化求积法(将区间细分后应用低阶公式)。

weixin_49199313的博客 161

VMware ubuntu虚拟机(或Centos7)与主机共享文件夹

系统环境 Windows 10 Vmware Workstation 15 Pro Ubuntu 20.04.1 LTS centos7 1.Ubuntu配置共享文件 1.1安装VMware-tools 更新最新VMware-tools组件 编辑->首选项->更新->立即下载所有组件 安装VMware-tools 虚拟机->安装VMware-tools 安装后ubuntu会加载一个虚拟光驱,解压文件,在解压的文件目录下执行以下命令进行安装 sudo vmware-instal

weixin_38924500的博客 2160

RAGFlow系列(06):从0.20.0版本升级到最新版的完整指南

本文提供了从RAGFlow 0.20.0版本升级到最新版的完整指南。升级前务必进行数据、配置和状态的三层备份,尤其是智能体配置因版本间存在不兼容风险。指南详细说明了如何优雅停止服务、拉取新代码、检查并调整配置文件(如端口、环境变量),以及最终部署验证的步骤,确保升级过程平滑安全。

weixin_29243279的博客 466

利用Arcgis发布wmts服务

使用发布 GIS 服务连接连接到 ArcGIS Server 站点后,可以将各种 GIS 资源(如地图文档、数据库以及服务定义)发布到服务器上。此外,还可以添加、删除、启动和停止服务。使用管理 GIS 服务器连接到 ArcGIS Server 站点后,可以编辑各种服务器属性,例如配置存储位置、集群配置、参与到该站点中的计算机列表以及管理站点的数据存储。通过使用 GIS 服务连接建立连接后,可以查看并使用发布到该站点的服务。但不能编辑服务器或服务属性、发布服务,也不能添加、删除、启动、停止或暂停服务。

ghgfsasxda的博客 2396

MFC IP Address Control 使用详解:从基础到高级应用

本文详细介绍了MFC中IPAddressControl控件的使用方法,包括基础创建、属性配置、样式自定义和高级功能实现。主要内容涵盖:控件初始化、默认IP设置、外观修改、派生类创建、消息处理、批量管理以及常见问题解决方案。通过示例代码展示了如何验证IP范围、优化性能和处理键盘输入等实用技巧,为开发网络应用程序提供了专业指导。文章还给出了多个备选标题,适合不同层次开发者参考使用。

专注现代C++实战,从核心语法到高性能编程,助力开发者深入掌握系统级编程精髓。 161

PCIE2.0/PCIE3.0/PCIE4.0/PCIE5.0接口的带宽、速率计算

一、PCIE接口速率: 二、PCIE相关概念: 传输速率为每秒传输量GT/s,而不是每秒位数Gbps,因为传输量包括不提供额外吞吐量的开销位; 比如 PCIe 1.x和PCIe 2.x使用8b / 10b编码方案,导致占用了20% (= 2/10)的原始信道带宽。 GT/s —— Giga transation per second (千兆传输/秒),即每一秒内传输的次数。重点在于描述物理层通信协议的速率属性,可以不和链路宽度等关联。 Gbps —— Giga Bits Per Second

技术联盟 1万+

DBT关键切片重建算法

DBT通过有限角度(通常15°~50°)扫描,获取一系列低剂量投影图,重建出三维断层图像。传统FBP在稀疏角度下会产生严重的“伪影拖尾”和层间干扰。临床诊断中,放射科医生往往只关注几层关键切片(即病灶所在层),其余层仅作参考。

AI的内部世界的博客 89

【Windows Server 2019】活动目录 (Active Directory) ——将计算机加入域和脱离域

博文介绍了如何将计算机加入AD域和脱离AD域,包括加入域,验证客户机加入到域后的信息,使用域账户用户在客户机上登录,使用本地账户用户在计算机上登录,脱离域。

VMware, Windows, Linux, Cisco, Container, Kubernetes, Kali 6170

Ardupilot chibios主函数学习(1)

目录 文章目录目录摘要第一部分chibios主函数**(1)主回调函数入口****(2)主回调函数入口****(3)主回调函数入口****(4)主回调函数入口**1.函数hal.scheduler->init()分析 摘要 本节主要记录自己学习Ardupilot的 chibios代码过程,欢迎批评指正。 第一部分chibios主函数 (1)主回调函数入口 AP_HAL_MAIN_...

陌城烟雨 4243

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

上一篇: 14、基于牛鼻纹图像模式的个体牛识别技术
下一篇: 94、机器学习中的理论、算法与医学应用
pluto
博客等级 码龄25年 46粉丝 1562原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值