车手只需要车和手，压力来自轮胎

机器学习之Borderline-SMOTE算法介绍及Python实现，内附源代码鸭！~

你一定要知道的预测评价指标MSE、RMSE、MAE、MAPE、SMAPE！！！

批次处理过程——Multi-way PCA！~

????作者简介：大家好，我是车神哥，府学路18号的车神????????个人主页：应无所住而生其心的博客_府学路18号车神_优快云博客????点赞➕评论➕收藏 == 养成习惯（一键三连）????⚡希望大家多多支持????~一起加油 ????专栏《Fault Diagnosis》其他专栏：《LeetCode天梯》《Neural Network》《Python》《Algorithm》数据降维方法及Python实现前言大纲线性数据降维主元分析（PCA）偏最小二乘法（PLS）独立成分

又到周一了，今天和车神哥一起来提升自己的Python编程和面试能力吧，刷天梯~以下为我的天梯积分规则：每日至少一题：一题积分+10分 若多做了一题，则当日积分+20分（+10+10）若做了三道以上，则从第三题开始算+20分（如：做了三道题则积分-10+10+20=40；做了四道题则积分–10+10+20+20=60）初始分为100分若差一天没做题，则扣积分-10分（周六、周日除外注：休息）坚持！！！初级算法刷题目录数组题干给定一个数组，将数组中的元素向右移动 k 个位置，

今天1024程序员节，车神哥再次在这里恭祝各位节日快乐，发量惊人，财务自由，从不加班！！！~今天在学校监考校招（赚点零花钱，低保和劳务一月没发了，哎），继续刷题吧！~今天再和车神哥一起来提升自己的Python编程和面试能力吧，刷天梯~以下为我的天梯积分规则：每日至少一题：一题积分+10分 若多做了一题，则当日积分+20分（+10+10）若做了三道以上，则从第三题开始算+20分（如：做了三道题则积分-10+10+20=40；做了四道题则积分–10+10+20+20=60）初始分为100分.

今天1024程序员节，车神哥在这里恭祝各位节日快乐，发量惊人，财务自由，从不加班！！！~今天依旧和车神哥一起来提升自己的Python编程和面试能力吧，刷天梯~以下为我的天梯积分规则：每日至少一题：一题积分+10分 若多做了一题，则当日积分+20分（+10+10）若做了三道以上，则从第三题开始算+20分（如：做了三道题则积分-10+10+20=40；做了四道题则积分–10+10+20+20=60）初始分为100分若差一天没做题，则扣积分-10分（周六、周日除外注：休息）坚持！！！初.

以下为我的天梯积分规则：每日至少一题：一题积分+10分 若多做了一题，则当日积分+20分（+10+10）若做了三道以上，则从第三题开始算+20分（如：做了三道题则积分-10+10+20=40；做了四道题则积分–10+10+20+20=60）初始分为100分若差一天没做题，则扣积分-10分（周六、周日除外注：休息）坚持！！！初级算法刷题目录数组题干给定一个数组 prices ，其中 prices[i] 是一支给定股票第 i 天的价格。设计一个算法来计算你所能获取的最大利润。你

从今天开始和车神哥一起来提升自己的Python编程和面试能力吧，刷天梯~以下为我的天梯积分规则：每日至少一题：一题积分+10分 若多做了一题，则当日积分+20分（+10+10）若做了三道以上，则从第三题开始算+20分（如：做了三道题则积分-10+10+20=40；做了四道题则积分–10+10+20+20=60）初始分为100分若差一天没做题，则扣积分-10分（周六、周日除外注：休息）坚持！！！初级算法刷题目录数组题干给定一个数组 prices ，其中 prices[i] 是

从今天开始和车神哥一起来提升自己的Python编程和面试能力吧，刷天梯~以下为我的天梯积分规则：每日至少一题：一题积分+10分若多做了一题，则当日积分+20分（+10+10）若做了三道以上，则从第三题开始算+20分（如：做了三道题则积分-10+10+20；做了四道题则积分-10+10+20+20）初始分为100分若差一天没做题，则扣积分-10分（周六、周日除外注：休息）坚持！！！初级算法刷题目录数组今天先从最简单的开始，今后每天至少一道题。题干给你一个有序数组 nums

还有两天就国庆了，小伙伴们是不是已经按捺不住内心的小鸡冻了呀！！！有没有人和车神哥一起敲代码，科研报国！！！（虽然菜鸡一个，但是心还是有的）最近测试了一个关于SFA（之前博客写过的）算法，现在在做实际项目应用，说实话，实际与理论确实有很大的偏差，需要做到很多次的调试与核验，emmmmmmm，最终应用效果咱们另做打算。项目背景具体算法咱们就不多说了，可以在这里看看。简要说下项目背景，这个项目当然是国家自然。。。。。。。。噼里啪啦噼里啪啦的一大堆，哈哈哈哈，没有没有，就一个很简单的模型测试实验，不.

最近研究二次判别分析（Quadratic Discriminant Analysis，QDA），发现运用到了交替方向乘数法（ADMM），就很迷。（关键是太菜）很多博主都是直接翻译或者搬运的，搜罗且了解了很多相关知识，那就来个大总结及其一些自己的想法吧！（内力有限，仅供学习交流）确实很难，理论性很强，没有虚的，阅读完内容需要有“勇气”！ ADMM背景咱们先来了解了解，ADMM到底是个什么东西？交替方向乘数法（Alternating Direction Method

⚡终于！！！⚡终于又有时间学习Deep Learning了⚡！30天ML计划，一起加油！！！https://blog.youkuaiyun.com/weixin_44333889/category_11271153.html《专栏》在训练NN的时候，有哪些Optimizers可以优化更快的找到global Minima？下面我们来看下有哪些方法可以优化求解。Background在训练神经网路的时候，最开始我们是用的Gradient Descent（梯度下降法，GD）来求解，但是会出现很多问题，面临大量.

❤九月❤份了，车神哥又回归了校园❉冬天❉还会远吗♪推荐一首最近很⚡喜欢⚡的歌♪❀No Fear In My Heart -朴树❀ 由于最近在写一篇相关的论文，就说说其中遇到的一些问题吧~Minisom之前做过一个对minisom的第三方开源库的介绍，可以点击看这里。对相应的代码添加了注释：导入各种库吧# 导入库from sklearn.model_selection import train_test_splitfrom s.

搜罗了很多正则化的解释，发现在不同的地方有着不同的含义却又有着相似的味道。下面，来细品！机器学习机器学习中，如果参数过多，模型过于复杂，容易造成过拟合（overfit）。即模型在训练样本数据上表现的很好，但在实际测试样本上表现的较差，不具备良好的泛化能力。为了避免过拟合，最常用的一种方法是使用正则化，例如 L1 和 L2 正则化。但是，正则化项是如何得来的？其背后的数学原理是什么？L1 正则化和 L2 正则化之间有何区别？本文将给出直观的解释。...

⚡最近很烦⚡有一阵子没更新了，感觉整个暑假被忽悠了，六月份找Boss指明了一个Direction，然后整个暑假都在忙于补充Proposal相关的Knowledge，但是，被忽悠局局长Boss给忽悠了（谁人能明白其中的难受），干工科的master怎么可能不依靠数据，本来就知道拿不到数据，还跟着让指哪儿打哪儿,最终项目还是拿不到，唉~，Project always Project（Boss），一心就只有Project，这还让等到Sep去Proposal，调研的都白费了，谁爱去Proposal谁去。终究或许还.

事情是这样的，就是某天在本菜日常"飙车"回宿舍的途中，想着曾经有个项目在对数据进行预处理的时候，用过一个操作，本来就已经对数据进行了标准化处理，然而在甲方（注意这里是万恶之源）对我算法代码的阅读时提出了，没有进行归一化处理的疑惑，顿时间，我想了想，好像是这么一回事哈，一个转身像超人一样消失在甲方面前，回去加了两行代码（归一化处理），跑完发现，咦~~好像真的效果提高了不少诶。故引发了我对下面的内容的思考，并想多说两句，望各位看官批评指点！！！（上面不算，不能计时哈o(╥﹏╥)o）其实有很多博主已经做了对标

在故障诊断中，我们常常会面对大量的且维数很高的数组，通过我们需要先对数据集进行划分及预处理，而预处理阶段极为重要的一步就是对数据进行降维特征提取，通过某种数学变换将原始高维空间转变成一个低维的子空间。然鹅，我们常用到的基本就只有两个，一个是主成分分析（PCA），另一个则是今天所要介绍的Fisher判别分析（Fisher Discriminant Analysis，FDA）。主成分分析的基本思想：设法将原来众多具有一定相关性（比如P个指标，即主成分），重新组合成一组新的互相无关的综合指标来代替原来的指标

过程监控中会用到很多中方法，如主成分分析（PCA）、慢特征分析（SFA）、概率MVA方法或独立成分分析（ICA）等为主流算法。其中PCA主要多用于降维及特征提取，且只对正太分布（高斯分布）数据样本有效；SFA被用来学习过程监控的时间相关表示，SFA不仅可以通过监测稳态分布来检测与运行条件的偏差，还可以根据时间分布来识别过程的动态异常，多用于分类分析；概率MVA方法，多以解决动力学、时变、非线性等问题。今天要介绍的是独立成分分析（ICA），由浅入深，细细道来。此外文末还附有ICA可实现的代码哟~不要错过

❤坚持读Paper，坚持做笔记，坚持学习❤！！！To Be No.1哈哈哈哈创作不易，过路能❤关注、收藏、点个赞❤三连就最好不过了最近学习机器学习，项目也有用到分类，用到了Softmax函数。相信很多小伙伴都会用到。简单说来，Softmax⟶\longrightarrow⟶归一化指数函数。为什么说是指数函数呢？下面来看一下当我们在做回归的时候 左边是我们的估计值和输出，右边使我们的回归模型 当我们需要做分类的时候，左边的估计值.

数据驱动过程监控或统计过程监控（SPM）将多元统计和机器学习方法应用于工业过程操作和生产结果的故障检测和诊断，复杂工业过程监控及诊断主要有一下几个步骤：（i）故障检测；(ii）故障识别或诊断；(iii）无故障估计值和无故障估计值；和（iv）产品质量监控。数据驱动过程监控中的许多基础和高级问题，包括故障检测、识别、重构和诊断。故障重构有可以理解为故障识别的一部分，今天介绍一下故障重构。异常过程操作条件的特点是意外的变化，这些变化偏离了根据正常数据建立的模型。PCS中捕获的数据相关性决定了变量之间的通常关系

随着对数据驱动的工业检测与诊断方法的逐步深入，过程监测的多元统计需要总结的东西越来越多，那么今天来整理一下。内容较多，理论较复杂，建议细品，你品！最好推一遍~It’s time to conclude PLS！！！PCA和偏最小二乘（PLS）是从数据中描述正常情况的首选方法。天气热，冰凉一下吧~ 偏最小二乘法（PLS）基本原理偏最小二乘多用于寻求两个矩阵（X和Y）的基本关系，也就是一种在这两个向量空间中对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到X空间的

最近研究的故障检测新的方法，发现一个基于故障重构的贡献方法，准确的说是一种基于沿变量方向重建故障检测指标的贡献分析新方法。在检测到导致故障检测指标超出控制极限的故障情况后，沿每个变量方向使故障检测指标最小化的重构量被定义为该变量的基于重构的贡献（RBC）。Reconstruction Based Contribution（RBC）RBC方法在几个方面优于传统的贡献图。结果表明，即使在传感器故障的情况下（将其作为简单故障进行了讨论），传统的贡献图也不能保证故障传感器具有最大的贡献，无论故障大小如何。

读Paper读的头炸（原因：太菜），坚持每天简单通俗总结一下！ 故障检测是多变量过程监控的第一步。通常，SPE（或Q-统计量）和霍特林的T2指数分别用于监测RS和PCS的正常变异性。应注意的是，PCA或PLS建模不要求数据为高斯分布。高斯假设仅用于推导故障检测指数的适当控制限值。此外，在推导控制限值时，不需要样本的时间独立性，因为仅指定I类错误来控制假警报率。当涉及II类错误时，监测测量的时间独立性是必要的，即未检测到的故障率。当测量值假设为高斯分布时，通常适合使用马氏

纯理论推导，建议慢食！！！ 建议推一遍公式，挺好的。主成分分析(PCA Model, PM)PCA是一种统计方法，广泛应用于工程和科学应用中，与傅里叶分析相比，尤其适用于质量监测。设x∈Rm\boldsymbol{x} \in \mathfrak{R}^{m}x∈Rm表示mmm个传感器矢量的样本测量值。假设每个传感器有NNN个样本，数据矩阵X=[x1x2⋯xN]T∈RN×m\mathbf{X}=\left[\begin{array}{llll}\boldsymbol{

上次说到典型相关分析，在故障诊断邻域用及，下面来实操。这里是几个数据集下载及相关文档的Link：MATLAB代码：http://depts.washington.edu/control/LARRY/TE/download.html#Basic_TE_Code卡玛拉姆/田纳西-伊士曼-prof Braatz——GitHub：https://github.com/camaramm/tennessee-eastman-profBraatz标准的正常和故障数据集来自 Washington大学网站：http:

随着对CCA的深入研究，是时候对CCA进行一下总结了。本菜鸡主要研究方向为故障诊断，故会带着从应用角度进行理解。 典型相关分析基本原理从字面意义上理解CCA，我们可以知道，简单说来就是对不同变量之间做相关分析。较为专业的说就是，一种度量两组变量之间相关程度的多元统计方法。关于相似性度量距离问题，在这里有一篇Blog可以参考参考。首先，从基本的入手。当我们需要对两个变量X，YX，YX，Y进行相关关系分析时，则常常会用到相关系数来反映。学过概率统计的小伙伴应该都知道的

通过Matlab示例来解释偏最小二乘的原理此示例显示如何在matlab中应用偏最小二乘回归（PLSR）和主成分回归（PCR），并讨论这两种方法的有效性。当存在大量预测变量时，PLSR和PCR都是对因变量建模的方法，并且这些预测变量高度相关或甚至共线性。两种方法都将新的预测变量（称为成分）构建为原始预测变量的线性组合，但它们以不同的方式构造这些成分。PCR创建成分来解释预测变量中观察到的变异性，而根本不考虑因变量。另一方面，PLSR确实将因变量考虑在内，因此通常会导致模型能够使用更少的成分来适应因变量。

Distance ClassificationDistance欧氏距离(Euclidean Distance)闵可夫斯基距离（Minkowski distance）曼哈顿距离(Manhattan distance)切比雪夫距离 ( Chebyshev distance )标准化欧氏距离(Standardized Euclidean distance )马氏距离(Mahalanobis Distance)ReferenceDistance由于最近在做故障诊断相关研究，不断学习各种算法，发现在很多算法里面都

Learning Rate机器学习尝试Train的第一个数据集Mnist，大部分都会从此入手。当你的Loss在逐渐减小的时候，Gradient却不一定减小怎样做才能将gradient descent（下面用gd代替）做的更好？需要一个更好版本的gd？在之前做gd的时候，所有的参数都是设同样的Lr，这肯定是不够的。Lr应该为每一个参数客制化客制化的Lr（Learning Rate）Learning Rate（以下用Lr代替）将决定Update参数时的步伐有多大。Lr设置的太大，显然步伐很

Elman神经网络近期开题，阅读到了一篇文章关于故障诊断的，其中用到了Elman神经网络，具体是结合EMD、PCA-SOM的Elman的性能评估/预测故障诊断，对Elman神经网络有点陌生，网上资源也讲的特别杂，来做个汇总Introduction吧！介绍Elman神经网络 是 J. L. Elman于1990年首先针对语音处理问题而提出来的，是一种典型的局部回归网络( global feed forward local recurrent)。Elman网络可以看作是一个具有局部记忆单元和局部反馈连接的

基于经验模式分解的特征提取近期看的算法就是EMD的，发现很多Paper用的地方还挺多的，在特征提取方面，来做个以轴承振动信号的故障诊断EMD特征提取的学习总结。建议可以先看文章后半部分基础归类在看前半部分特征提取。EMD方法是从一个简单的假设发展而来，即任何信号都是由不同的简单固有振型组成的。每个线性或非线性模式都有相同数目的极值和过零。在连续的零交点之间只有一个极值。每个模式都应该独立于其他模式。这样，每个信号就可以分解为若干个IMF（intrinsic mode functions，固有模态函数）

Gradient Descent(梯度下降) + Momentum(动量)上次 这里 介绍了Gradient Descent寻找最优解的过程学习到发现还有一个算法就是加上Momentum(动量，就是上一次Gradient Descent后的步长值)来作为下一次更新位置的参数，这样来寻找局部最优解Local Minima的话，会比单独使用梯度下降法来求解效果更好。Movement：最后一步的移动目前是最小的梯度...

Gradient Descent最近在搞Deep Leaning，数学不好的我学的头大啊。边学习边做笔记简单粗暴，图文并茂First从初始参数起始点 θ0θ_0θ0​开始Second计算一下Gradient g0g^0g0然后，向着Gradient的反方向去Update（更新）参数其中，θ1=θ0−ηg0\boldsymbol{\theta}^{\mathbf{1}}=\boldsymbol{\theta}^{\mathbf{0}}-\eta \boldsymbol{

慢特征分析(Slow Feature Analysis，SFA)内容较多且枯燥，建议耐心理解，放上冰冰降降温。点击： 这里有相应的SFA算法的程序　可供参考。1 Introduction慢特征分析(Slow Feature Analysis，SFA)，一种无监督降维方法，被用来学习过程监控的时间相关表示。SFA不仅可以通过监测稳态分布来检测与运行条件的偏差，还可以根据时间分布来识别过程的动态异常。时变信号的不变特征有助于分析和分类。慢特征分析(SFA)是一种从矢量输入信号中学习不变或缓慢变化特征

典型相关性分析(CCA)最近研究CCA相关的算法，从头原理入手推荐以下两位大佬的Blog，希望对你有所帮助。刘建平Pinard网名为JerryLead的大佬第一位大佬的Blog：第二位大佬的Blog：ღ( ´･ᴗ･` )❤『小楼一夜听春雨，深巷明朝卖杏花。』...