【状态估计】观测信号(包括异常值)的状态估计方法附Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页:Matlab科研工作室

🍊个人信条:格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

状态估计在现代控制系统、信号处理以及人工智能领域中扮演着核心角色。它旨在利用包含噪声和不确定性的观测数据,对系统内部的未知状态进行最优推断。然而,实际应用中,观测信号往往不仅包含随机噪声,还可能受到“异常值”(Outliers)的严重干扰。异常值通常指那些显著偏离正常数据模式的观测,它们可能源于传感器故障、数据传输错误、环境突变等,若不加以有效处理,将严重劣化状态估计的性能,甚至导致系统崩溃。本文将深入探讨在观测信号中包含异常值的情况下,各种状态估计方法的原理、特点、优缺点及其适用场景,旨在为实际工程问题提供理论指导和实践参考。

1. 引言

在许多工程和科学领域,准确地获取系统内部状态信息至关重要。例如,在自动驾驶中,需要估计车辆的精确位置、速度和姿态;在航空航天中,需要对飞行器的轨迹和姿态进行实时估计;在工业控制中,需要监测和预测设备的关键运行参数。这些状态信息往往无法直接测量,只能通过间接的、受噪声污染的观测数据来推断。状态估计理论应运而生,其核心思想是利用数学模型和统计方法,从不完整、不精确的观测中提取出最有价值的状态信息。

早期的状态估计算法,如卡尔曼滤波器(Kalman Filter),在处理高斯噪声线性系统方面取得了巨大成功。然而,卡尔曼滤波器的最优性严重依赖于噪声的高斯分布假设。当观测数据中出现异常值时,这些假设被打破,卡尔曼滤波器往往会将异常值误认为是正常噪声的极端表现,从而导致估计结果发生严重偏移,甚至发散。因此,研究和开发能够有效处理异常值的状态估计算法,成为当前该领域面临的一项重要挑战。

本文将首先回顾经典状态估计方法在异常值存在时的局限性,然后重点介绍几种针对异常值的鲁棒状态估计算法,包括基于M估计的鲁棒卡尔曼滤波器、基于最小二乘的鲁棒方法、以及基于假设检验和自适应滤波的方法。最后,本文将对这些方法进行总结和展望,指出未来的研究方向。

图片

对于非线性系统,扩展卡尔曼滤波器(EKF)和无迹卡尔曼滤波器(UKF)是卡尔曼滤波器的推广。EKF通过局部线性化处理非线性,而UKF则采用无迹变换来近似非线性函数的均值和协方差。然而,这些非线性卡尔曼滤波器同样继承了经典卡尔曼滤波器对高斯噪声的依赖性,在异常值存在时,其性能也会受到严重影响。

3. 鲁棒状态估计方法

为了克服异常值对状态估计的负面影响,研究人员提出了多种鲁棒状态估计方法。这些方法的核心思想是降低或削弱异常值在估计过程中的影响力。

3.1 基于M估计的鲁棒卡尔曼滤波器

M估计(M-estimation)是鲁棒统计学中的一种重要方法,通过最小化一个特定的损失函数而不是传统的平方误差来降低异常值的影响。将M估计的思想引入卡尔曼滤波器,可以构建鲁棒卡尔曼滤波器。

经典的卡尔曼滤波器最小化的是观测残差的平方和,等价于采用二次损失函数。而鲁棒卡尔曼滤波器则采用非二次的损失函数,如Huber损失函数、Tukey双平方函数等。这些损失函数在残差较小时与二次损失函数相似,但在残差较大时(即可能出现异常值时),其增长速度会减缓,甚至趋于平坦,从而有效地抑制了异常值对估计结果的影响。

图片

3.2 基于最小二乘的鲁棒方法

除了M估计,还有一些基于最小二乘思想的鲁棒方法,例如迭代重加权最小二乘(Iteratively Reweighted Least Squares, IRLS)。IRLS通过迭代地调整观测数据的权重,使得异常值被赋予较小的权重,从而降低其对最小二乘估计的影响。

在每次迭代中,IRLS首先根据当前的估计残差计算每个观测的权重。通常,残差大的观测会被赋予小的权重。然后,利用这些权重进行加权最小二乘估计,得到新的状态估计值。重复这个过程直到收敛。

优点:

  • 概念直观,易于理解和实现。

  • 可以与现有的最小二乘优化算法结合。

缺点:

  • 收敛性不能完全保证,可能陷入局部最优。

  • 权重的选择对算法性能有较大影响。

3.3 基于假设检验和自适应滤波的方法

这类方法的核心思想是首先检测出观测数据中的异常值,然后对检测出的异常值进行处理(例如,直接丢弃、替换为预测值、或者调整其权重),最后再进行状态估计。

3.3.1 异常值检测方法:

  • 基于残差的方法:

     通过分析观测残差的大小来判断是否存在异常值。如果残差超过某个预设阈值,则认为该观测为异常值。阈值的设定可以基于统计学原理,如3σσ准则。

  • 基于统计检验的方法:

     例如Chauvenet准则、Grubbs准则等,这些方法基于假设检验的原理来判断观测值是否属于异常值。

  • 基于学习的方法:

     结合机器学习技术,如孤立森林(Isolation Forest)、局部异常因子(Local Outlier Factor, LOF)等,对观测数据进行异常值检测。

3.3.2 异常值处理策略:

  • 丢弃(Rejection):

     检测到异常值后,直接将其从观测数据集中移除,不参与状态估计。这种方法简单直接,但可能损失有效信息。

  • 替换(Replacement):

     将异常值替换为某个估计值,例如利用前一时刻的预测值,或者使用插值方法进行替换。

  • 权重调整:

     降低异常值的权重,使其对状态估计的影响减小。这与M估计和IRLS的思想有相似之处。

3.3.3 自适应卡尔曼滤波器:
自适应卡尔曼滤波器通过实时估计或调整噪声的统计特性,从而提高在噪声特性未知或时变情况下的估计性能。当异常值出现时,可以导致观测噪声的统计特性发生变化。自适应卡尔曼滤波器可以检测这种变化,并相应地调整观测噪声协方差矩阵,从而降低异常值的影响。例如,可以通过设置一个门限,当观测残差超过门限时,动态增大观测噪声协方差矩阵的对角线元素,从而降低该观测对估计的影响。

优点:

  • 能够明确识别并处理异常值。

  • 结合了异常值检测和状态估计两个阶段,逻辑清晰。

  • 自适应滤波可以应对噪声特性变化。

缺点:

  • 异常值检测的准确性对整体性能至关重要,误判或漏判都会影响估计结果。

  • 阈值的设定需要经验或先验知识,且可能难以适应复杂多变的实际情况。

  • 处理异常值的策略选择会影响估计的鲁棒性和准确性。

3.4 粒子滤波器(Particle Filter)

粒子滤波器是一类基于蒙特卡洛(Monte Carlo)方法的非线性、非高斯状态估计算法。它通过一组随机采样的“粒子”来近似表示系统状态的后验概率密度函数,并利用重要性采样和重采样机制来更新粒子的权重和分布。

在处理异常值方面,粒子滤波器具有天然的鲁棒性。当异常值出现时,其对应的似然函数值会非常小,导致那些与异常值不符的粒子的权重迅速下降,而与正常数据模式相符的粒子则保持较高的权重。通过重采样过程,那些权重较低的粒子会被淘汰,而权重较高的粒子则会被复制,从而使得粒子集能够更准确地逼近真实状态的分布,不受异常值的显著干扰。

优点:

  • 能够处理任意非线性、非高斯系统。

  • 对异常值具有较好的鲁棒性,无需显式建模异常值。

  • 适用于多模态后验概率分布。

缺点:

  • 计算复杂度高,尤其是在高维状态空间中。

  • 存在粒子退化和样本贫化问题,需要有效的重采样策略。

  • 初始粒子集的选择对性能有影响。

4. 挑战与未来研究方向

尽管鲁棒状态估计方法已经取得了显著进展,但该领域仍然面临一些挑战,并存在广阔的研究空间:

  • 复杂异常值模式:

     现实世界中的异常值可能并非简单的脉冲噪声,而是具有更复杂的模式,例如传感器漂移、数据周期性丢失等。如何有效地建模和处理这些复杂异常值模式是一个重要方向。

  • 多源异构数据融合:

     现代系统通常融合来自多种不同传感器的异构数据。在多源数据中,如何识别和处理异常值,并有效地进行数据融合,是一个具有挑战性的问题。

  • 在线学习与自适应:

     异常值的特性可能随时间变化,传统的固定参数鲁棒估计器可能无法适应。开发能够在线学习异常值模型并自适应调整估计策略的方法具有重要意义。

  • 深度学习与状态估计:

     随着深度学习技术的发展,将其应用于状态估计领域,尤其是在非线性建模、异常值检测和特征提取方面,展现出巨大的潜力。例如,可以利用深度神经网络学习异常值的特征表示,或者构建端到端的鲁棒状态估计器。

  • 理论分析与性能保证:

     对于复杂的鲁棒状态估计算法,其理论分析和性能保证仍然是一个难题。如何提供更严格的收敛性、稳定性和鲁棒性证明,对于算法的实际应用至关重要。

  • 实时性与计算效率:

     许多实际应用对状态估计的实时性要求很高。如何在保证鲁棒性的前提下,降低算法的计算复杂度,提高运行效率,是一个持续的研究方向。

5. 结论

观测信号中包含异常值是状态估计领域普遍存在且亟待解决的问题。异常值会严重劣化传统状态估计方法的性能。本文详细介绍了在观测信号存在异常值的情况下,多种鲁棒状态估计方法的原理、特点、优缺点及其适用场景。从基于M估计的鲁棒卡尔曼滤波器、基于最小二乘的鲁棒方法,到基于假设检验和自适应滤波的方法,再到粒子滤波器,这些方法各有侧重,为处理异常值提供了丰富的工具。

未来的研究将更加关注复杂异常值模式的处理、多源异构数据融合、在线学习与自适应能力、深度学习技术的结合、严格的理论分析以及实时性与计算效率的提升。随着这些研究的深入,状态估计技术将能够更好地应对复杂多变的实际环境,为各种智能化系统的稳定运行和高效决策提供坚实的基础。

⛳️ 运行结果

图片

图片

图片

图片

🔗 参考文献

[1] 周念成,谭桂华,赵渊,等.一种计及参数误差的电网谐波状态估计方法[J].重庆大学学报, 2009, 32(2):146-150.DOI:10.11835/j.issn.1000-582x.2009.02.006.

[2] 张振.基于电池荷电状态估计的观测器设计方法研究[D].哈尔滨工业大学,2015.DOI:10.7666/d.D755401.

[3] 褚端峰,吴超仲,胡钊政,等.基于双线性观测器的汽车侧倾状态估计[J].中国公路学报, 2016, 29(1):7.DOI:CNKI:SUN:ZGGL.0.2016-01-018.

📣 部分代码

🎈 部分理论引用网络文献,若有侵权联系博主删除

 👇 关注我领取海量matlab电子书和数学建模资料 

🏆团队擅长辅导定制多种科研领域MATLAB仿真,助力科研梦:

🌈 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化、背包问题、 风电场布局、时隙分配优化、 最佳分布式发电单元分配、多阶段管道维修、 工厂-中心-需求点三级选址问题、 应急生活物质配送中心选址、 基站选址、 道路灯柱布置、 枢纽节点部署、 输电线路台风监测装置、 集装箱调度、 机组优化、 投资优化组合、云服务器组合优化、 天线线性阵列分布优化、CVRP问题、VRPPD问题、多中心VRP问题、多层网络的VRP问题、多中心多车型的VRP问题、 动态VRP问题、双层车辆路径规划(2E-VRP)、充电车辆路径规划(EVRP)、油电混合车辆路径规划、混合流水车间问题、 订单拆分调度问题、 公交车的调度排班优化问题、航班摆渡车辆调度问题、选址路径规划问题、港口调度、港口岸桥调度、停机位分配、机场航班调度、泄漏源定位
🌈 机器学习和深度学习时序、回归、分类、聚类和降维

2.1 bp时序、回归预测和分类

2.2 ENS声神经网络时序、回归预测和分类

2.3 SVM/CNN-SVM/LSSVM/RVM支持向量机系列时序、回归预测和分类

2.4 CNN|TCN|GCN卷积神经网络系列时序、回归预测和分类

2.5 ELM/KELM/RELM/DELM极限学习机系列时序、回归预测和分类
2.6 GRU/Bi-GRU/CNN-GRU/CNN-BiGRU门控神经网络时序、回归预测和分类

2.7 ELMAN递归神经网络时序、回归\预测和分类

2.8 LSTM/BiLSTM/CNN-LSTM/CNN-BiLSTM/长短记忆神经网络系列时序、回归预测和分类

2.9 RBF径向基神经网络时序、回归预测和分类

2.10 DBN深度置信网络时序、回归预测和分类
2.11 FNN模糊神经网络时序、回归预测
2.12 RF随机森林时序、回归预测和分类
2.13 BLS宽度学习时序、回归预测和分类
2.14 PNN脉冲神经网络分类
2.15 模糊小波神经网络预测和分类
2.16 时序、回归预测和分类
2.17 时序、回归预测预测和分类
2.18 XGBOOST集成学习时序、回归预测预测和分类
2.19 Transform各类组合时序、回归预测预测和分类
方向涵盖风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、用电量预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断
🌈图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知
🌈 路径规划方面
旅行商问题(TSP)、车辆路径问题(VRP、MVRP、CVRP、VRPTW等)、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、 充电车辆路径规划(EVRP)、 双层车辆路径规划(2E-VRP)、 油电混合车辆路径规划、 船舶航迹规划、 全路径规划规划、 仓储巡逻
🌈 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配、无人机安全通信轨迹在线优化、车辆协同无人机路径规划
🌈 通信方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化、水声通信、通信上传下载分配
🌈 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化、心电信号、DOA估计、编码译码、变分模态分解、管道泄漏、滤波器、数字信号处理+传输+分析+去噪、数字信号调制、误码率、信号估计、DTMF、信号检测
🌈电力系统方面
微电网优化、无功优化、配电网重构、储能配置、有序充电、MPPT优化、家庭用电
🌈 元胞自动机方面
交通流 人群疏散 病毒扩散 晶体生长 金属腐蚀
🌈 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合、SOC估计、阵列优化、NLOS识别
🌈 车间调度
零等待流水车间调度问题NWFSP 、 置换流水车间调度问题PFSP、 混合流水车间调度问题HFSP 、零空闲流水车间调度问题NIFSP、分布式置换流水车间调度问题 DPFSP、阻塞流水车间调度问题BFSP

👇

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值