机器学习与统计推导：核心问题解析

1、已知将p(tµ|yµ)写为(2π)⁻¹ ∫ dkµ exp[ikµ(tµ - yµ) - 1/2k²µ/β] ，首先引入一个额外的傅里叶变换来表示高斯噪声分布，先对yµ进行积分，再对kµ进行积分，求tµ分布的高斯形式。

通过引入额外的傅里叶变换表示高斯噪声分布，依次对yµ和kµ进行积分可得到tµ分布的高斯形式。

2、我们再次考虑具有并行动力学的无噪声递归网络：对于所有的 i，有 σi(t + 1) = sgn(∑j Jijσj(t))。其中，p 个正交向量 ξµ = (ξµ1, …, ξµN) ∈{−1, 1}N（µ = 1, …, p）需要被存储和检索（p 为有限值）。现在我们根据赫布规则来存储这些模式，但使用不同的（正的）嵌入强度 wµ：Jij = 1/N ∑µ = 1p wµξµi ξµj。给出关于初始重叠 {mµ(0)} 的一个条件，该条件足以保证 σ(1) = ξλ。通过证明对于接近这些模式的一组状态上述条件能够满足，来表明当 N →∞ 时，所有的模式向量 ξµ 都是定点吸引子。描述具有不等嵌入强度对 p 个存储模式的吸引域的影响。

可根据赫布规则和相关动力学方程推导初始重叠条件，对于 $ N \to \infty $ 情况可通过分析极限状态证明定点吸引子，不等嵌入强度对吸引域的影响可从不同强度对吸引能力的作用方面考虑。

3、这里通过写作tµ(w ·ξµ +w0) ≥1−ηµ来允许违反间隔约束。ηµ ≥0是松弛变量，用于衡量约束被违反的程度。为防止出现大的违反情况，在目标函数w²/2中添加一项C∑µ ηµ。系数C决定了对间隔约束的违反（以及如果ηµ > 1时产生的误分类）的惩罚力度；当C →∞时，可恢复硬支持向量机分类。此问题的拉格朗日函数为L = 1/2w² + C∑µ ηµ −∑µ λµ[tµ(w · ξµ + w0) −1 + ηµ] −∑µ βµηµ。原始变量为w、w0和{ηµ}，而拉格朗日乘子为λµ和βµ，后者用于强制约束ηµ ≥0。推导此软支持向量机优化问题的Wolfe对偶问题。会发现对偶目标与硬支持向量机的对偶目标相同，但约束条件现在变为λµ ≥0、βµ ≥0、λµ−C+βµ = 0（对所有的µ）以及∑µ λµtµ = 0。从约束条件中