DuHz的博客

本笔记将更详尽地介绍似然函数（Likelihood Function）和费舍尔信息矩阵（Fisher Information Matrix）。在统计建模中，我们常常设想：在实际应用中，我们先观测到一些样本数据，再去推断（估计）分布背后的参数 θ\thetaθ。给定一个观测值 xxx，如果知道参数 θ\thetaθ，则 p(x∣θ)p(x \mid \theta)p(x∣θ) 表示的是“X=xX = xX=x 出现的概率密度或概率质量”。然而，当我们真正拿到数据 xxx 后，我们往往对 θ\thetaθ 不

在参数统计模型中，我们往往有一个参数θ\thetaθ（可以是标量，也可以是向量），以及观测到的数据xx1x2xnxx1​x2​xn​。假设给定θ\thetaθ下，每个xix_ixi​的条件概率密度函数 (pdf) 或概率质量函数 (pmf) 为pxi∣θi12npxi​∣θi12n如果数据x1x2xnx1​x2​xn​独立同分布 (i.i.d.), 则其联合分布为px∣θpx。

在数据分析与统计建模中，度量两个随机变量之间的依赖关系是一项非常重要的任务。我们最常用的方法是相关性（Correlation），如皮尔逊相关系数（Pearson correlation coefficient），可以定量衡量变量之间的线性关系。然而，当变量间存在非线性乃至更复杂的依赖结构时，相关系数往往力不从心。此时，互信息（Mutual Information, MI）可以提供更通用的度量。本文通过相当多的数学公式，配合通俗解释，带你从多个角度理解相关性和互信息这两种重要概念。

互信息是一个信息论中的概念，它度量了两个随机变量XXX和YYY之间的共享信息量。换句话说，互信息衡量了通过知道一个变量的信息能减少另一个变量的不确定性。对于两个完全独立的变量，互信息为零；而对于完全相关的变量，互信息达到最大。

排列熵（Permutation Entropy, PE）是一种基于时间序列中各点值的排列模式的熵度量方法。它通过观察时间序列中数值的排序，而不是数值本身来度量信号的复杂度。排列熵是衡量信号序列中信息随机性的一种方式，能够反映信号的动态行为特性。

让我们从基本概念开始：设M∈Rm×nM∈Rm×n为一个m×nm \times nm×n的实矩阵。其秩（rank）rankMmax⁡k存在k个线性无关的行向量或列向量= \max \{ k : \text{存在 $k$ 个线性无关的行向量或列向量} \}.rankMmaxk存在k个线性无关的行向量或列向量通俗地说，秩可以理解为矩阵真实的“维度”或“复杂度”。当rankMr≪min⁡mnrankMr≪。

假设有一个NNN维向量xx1x2⋮xN∈RNx​x1​x2​⋮xN​​​∈RN如果仅有K≪NK \ll NK≪N个分量为非零，则称x\mathbf{x}x是KKK-稀疏 (K-sparse)。在实际应用中，很多信号本身并不一定在时域/空域就稀疏，但往往在某个变换域（如傅里叶变换、小波变换、离散余弦变换等）下可以逼近稀疏。例如，令ΨΨ为某个N×NN\times NN×N的可逆(或正交)变换矩阵，令αα为x。

SNRPsignalPnoiseSNRPnoise​Psignal​​PsignalPsignal​：信号功率PnoisePnoise​：噪声功率当SNR≫1SNR≫1时，系统受到的噪声影响较小；反之噪声可能淹没信号。提高SNR是一个系统性工程，需要硬件与软件、前端与后端协同优化。从硬件的选型、滤波、屏蔽、布局，到软件的采样率、编码、滤波、均衡、匹配检测等各个环节，都有助于削弱噪声、增强信号。减少噪声源头。

在现代的数字信号处理中，我们需要将模拟信号（如电压、电流等）转换为数字信号(一系列离散取值)。这个从连续到离散的转换由模数转换器 (ADC) 完成，量化 (Quantization)便是ADC里不可或缺的步骤。量化会不可避免地产生“量化噪声”，它本质上是信号在离散表示时和“真实”幅度之间的误差。尽管量化噪声有时很小，但对于高精度应用、雷达、医疗成像、通信系统等场景，了解并合理控制量化噪声是至关重要的。量化噪声是将连续幅度映射为离散幅度引起的舍入/截断误差；

DCT后，大部分信号的能量会集中在前几个低频系数上，这为后续的“压缩”或“滤波”提供了良好的基础——只要把高频分量进行“粗量化”或干脆“截断”就能大幅减小数据量。根据变换公式中对信号边界条件、下标（索引）定义的不同，DCT有8种变体：DCT-I、DCT-II、DCT-III、DCT-IV、DCT-V、DCT-VI、DCT-VII、DCT-VIII。这里主要讨论最常用的DCT-II（与它的逆变换DCT-III），在JPEG、MP3等主流标准中都是对DCT-II做各种改进或变形（如MDCT）来实现高效压缩。

奇异值分解（SVD）是一个强大的矩阵分解工具，广泛应用于数据降维、图像压缩、机器学习等领域。然而，对于大规模数据或高维矩阵，计算和存储的开销非常大，因此提出了多种简化版的 SVD 方法。这些简化版方法在保证解的精度的同时，能够显著减少计算量和内存占用。本文将详细介绍几种简化版 SVD 方法，包括经济型 SVD、随机化 SVD、增量 SVD、分块 SVD 和偏最小二乘法（PLS），并通过数学公式详细解释这些方法。

直线拟合（线性回归）是统计学和机器学习中常用的一种方法，它通过找到一条直线来最小化数据点与拟合直线之间的误差。在实际应用中，最小二乘法通常用于线性回归的求解。奇异值分解（SVD）常常与最小二乘法结合使用，尤其在处理病态问题或高维数据时能够提供更稳定的解。本文将详细讲解使用进行直线拟合的原理、数学推导、步骤等，并附有相关的代码和简要解读。

在信号处理领域，相关滤波（Correlation Filtering）和匹配滤波（Matched Filtering）是两种常用的滤波技术，它们在信号检测和识别中起到重要作用。虽然这两种方法在某些情况下表现相似，但它们在理论基础、实现方式及应用场景上存在一定的差异。本文将详细探讨相关滤波与匹配滤波的定义、数学原理、应用场景及性能，并通过代码示例加以说明，帮助读者全面理解两者的区别与联系。相关滤波是一种基于信号相关性的滤波方法，其主要目的是通过计算输入信号与已知模板之间的相关系数，来检测和定位目标信号的存在。

匹配滤波（Matched Filtering）是一种在噪声环境中检测已知信号的有效方法。它通过将接收到的信号与已知信号模板进行卷积，最大化信噪比，从而提高信号检测的准确性。这种技术广泛应用于雷达、通信、生物医学信号处理等领域，特别是在需要从噪声中提取微弱信号的场景中表现尤为出色。

相关滤波（Correlation Filtering）是一种基于相关性的信号处理技术，用于检测和识别已知模式或信号在复杂背景中的存在。通过计算输入信号与已知模板之间的相关性，相关滤波器能够突出目标信号的特征，同时抑制噪声和其他干扰。这种方法广泛应用于雷达信号处理、图像识别、通信系统以及生物医学信号分析等领域。

贝叶斯估计作为一种基于贝叶斯定理的参数估计方法，通过结合先验知识和观测数据，提供了系统而全面的参数估计手段。其核心优势在于能够融合先验信息、全面描述估计不确定性以及适应各种复杂模型。然而，贝叶斯估计也面临着先验选择主观性和计算复杂性等挑战。随着计算能力的提升和数值方法的发展，贝叶斯估计在统计学、机器学习、工程等领域的应用前景愈加广阔。通过深入理解贝叶斯估计的基本原理、数学基础和具体实现方法，能够更好地应用这一强大的统计工具，解决实际问题中的参数估计和不确定性分析。

单联结有一个比较著名的问题——可能出现“链化现象”（chaining phenomenon），如果数据中有些分布延伸得很长，而且局部距离都比较小，就很容易把不同区域的点像拉链一样全部连在一起形成一个大簇，哪怕它们在整体上并没有那么“团结”。由于一个簇通常包含多个样本，簇与簇之间可能存在多对点需要比较，于是我们需要在“所有点对之间的距离”里找一个合适的综合度量，这也就引出了“单联结”“全联结”“平均联结”等概念。我们关心的是：在“找出距离最小的两簇”时，“簇间的距离”究竟如何定义。

多项式回归（Polynomial Regression）是回归分析中一种用于拟合非线性关系的扩展方法。它通过引入自变量的多项式项，将线性回归模型扩展为能够捕捉数据中复杂曲线趋势的模型，从而提高预测精度。线性回归模型yβ0β1xϵyβ0​β1​xϵ多项式回归模型（2次多项式）yβ0β1xβ2x2ϵyβ0​β1​xβ2​x2ϵ通过增加更多的多项式项，可以拟合更复杂的曲线。

Theil-Sen是一种**稳健（robust）**的线性回归拟合方法，常用于在存在异常值（outliers）的情况下进行线性拟合。与传统的最小二乘法相比，Theil-Sen能够更好地抵御异常值对结果的强烈影响，并在许多实际应用场景（如地质、气象、经济计量等）都得到广泛使用。Theil-Sen方法也称作Theil-Sen估计（Theil-Sen estimator）计算所有点对之间的斜率：给定一组二维数据点xiyi(x_i, y_i)xi​yi​i12Ni12N。

高斯混合模型是一种生成式模型，假设数据是由多个高斯分布（即成分）混合生成的。每个高斯分布代表数据中的一个子群体或类别，而整个模型则通过多个高斯分布的加权和来描述整个数据集的分布。GMM不仅适用于聚类分析，还可用于密度估计、异常检测、图像分割等多种任务。高斯混合模型的核心思想是：假设数据集中的每个数据点都是由某个高斯分布生成的，而具体是哪个高斯分布生成的则是一个隐藏的随机变量。通过估计这些高斯分布的参数及其权重，可以对数据进行建模和分析。

支持向量回归（SVR）是支持向量机（SVM）在回归分析中的应用。与传统的回归方法不同，SVR不仅关注预测值与实际值之间的误差，还致力于在高维空间中寻找一个能够容忍一定误差范围内的最优超平面。SVR具有良好的泛化能力，能够有效处理高维数据和非线性关系，广泛应用于金融预测、工程建模、生物医学等多个领域。支持向量回归（，简称SVR主要优势强大的泛化能力：通过最大化间隔，SVR能够有效避免过拟合，具有良好的泛化性能，适用于高维和复杂的数据集。处理高维和非线性数据。

（Robust Statistics）关注的是当假设略有偏离或有少量异常值时，统计估计仍保持“稳定”或“可接受”的性能。稳健回归想要实现的目标是：在估计回归参数时，对“大残差”或“异常值”做出相对更弱的响应，也就是“降低”这些离群点对整体拟合的影响，从而使得模型对于少量异常值更加不敏感。，它的平方就会对总体目标造成巨大贡献，从而在优化过程中“牵着”模型参数走，导致对少数异常点的过度拟合，损害整体模型的预测与解释能力。它用某个更“稳健”的损失函数。它“截断”了过大的残差，避免了它们对最终参数的强影响。

在回归分析中，多重共线性 (Multicollinearity)和过拟合 (Overfitting)是较常见的挑战。最小二乘法 (Ordinary Least Squares, OLS) 容易在这两个问题面前出现不稳定的系数估计或对新数据预测不佳。岭回归 (Ridge Regression)是在 OLS 基础上引入了 L2 正则化的一种改进模型，通过在损失函数中加入系数向量的二范数惩罚项，实现对系数的收缩和对多重共线性的有效缓解。本质上，它对高方差、病态问题具有强大的稳定作用。

均方误差（Mean Squared Error, MSE）是回归分析中常用的评估指标，用于衡量预测值与真实值之间的差异。MSE越小，模型的预测性能越好。平均绝对误差（Mean Absolute Error, MAE）是另一种评估回归模型预测性能的指标，表示预测值与真实值之间绝对差值的平均水平。决定系数（R² Score）用于衡量回归模型对数据的拟合程度。R²的值介于0和1之间，值越接近1，模型的解释力越强。MSE计算了预测值与真实值之间差值的平方的平均值。通过平方，MSE对较大的误差给予更高的惩罚，这使得M

在数据分析、统计学或机器学习中，我们常常需要判断某些数据点是否“异常”，或者距离平均水平过远。三倍标准差 (3-sigma) 规则就是其中最常用、最直观的方法之一；而z-score（标准分数）则是统一衡量数据相对于平均值偏离程度的一个重要指标。本文将通过通俗易懂的方式来介绍它们的定义、数学原理以及如何应用在实际场景中。对于呈正态分布（或近似正态分布）的数据，大约有99.7%的数据会落在平均值（μ\muμ）的上下三倍标准差（σ\sigmaσ）范围内，也就是μ±3σμ±3σ之间。

在数据分析与统计学领域中，异常值（outlier）是指与数据总体特征明显不一致的数据点。若不进行合理处理，异常值往往会导致错误的统计推断或误导性的模型结果。IOR方法通常也被称为“基于四分位距 (IQR) 的异常值检测方法”，它相对于使用均值和标准差的三倍标准差方法更稳健，对极端异常值的敏感度较低。在了解IOR方法之前，先要理解四分位距 (Interquartile Range, IQR)的概念。Q1Q_1Q1​：第 25% 分位数（又称第一四分位数）。Q2Q_2Q2​。