ningyanggege的博客

周期性检测算法-dtw

rrcf算法的原理

Pearson correlation coefficient 与Cosine Similarity根本不是同一个维度

一、迁移学习： 1、从字面意义上理解是知识转移的学习方法，指一种学习方法；类比机器学习、深度学习等等概念； 2、把已训练好的模型参数迁移到新的模型来帮助新模型训练二、微调： 1、从字面意义上理解是小小的调整；指的是一种实现技术或者工具 2、对训练好的模型的参数进行小小的调整；三、迁移学习与微调的关系 在迁移学习过程中，直接拿来在新场景中使用，一般是不会有很好的效果，或者说要取得更优的效果，是需要作一些适配或者改变，而微调是实现迁移学习中的一种工具； 适配或者调整的

一、问题起源：在Lightgbm中如何使用自定义函数呢，文档搜索中找到了feval，但不知道如何使用？二、解决方案：1、官方文档解释：注意事项：1、自定义的损失函数接受两个参数；第一个是模型预测值，第二个是数据集数据类型，传入验证数据集；2、返回值有三个：eval_name(字符串，随意起名), eval_result, is_higher_better(bool类型)1、自定义损失函数def rmse(y_true, y_pred): return np.sqrt(mean_squa

时间序列交叉验证

GroupKFold，KFold，StratifiedKFold

1、EllipticEnvelope：the main result is that the empirical covariance estimate, as a non-robust one, is highly influenced by the heterogeneous structure of the observations. Although the robust covariance estimate is able to focus on the main mode of the dat

import numpy as npfrom sklearn.neighbors import LocalOutlierFactorX = [[-1.1], [0.2], [101.1], [0.3]]clf = LocalOutlierFactor(n_neighbors=2)print(clf.fit_predict(X))print(clf.negative_outlier_factor_)# 1为inliers，-1为outliers该算法的一个重点应用：Novelty de.

关于Transductive和Inductive，维基百科上有一段简洁扼要的定义：Transduction is reasoning from obeserved, specific (training) cases to specific (test) cases. In contrast, induction is reasoning from obeserved training cases to gerneral rules, which are then applied to the ...

先来看定义，一目了然：结论：交叉熵是相对熵的一种特殊情况，即p(x)分布是已知的，因而导致公式的后半部分为常数项。

加速的方法：基于输入单词计算编辑距离在1到2左右，生成一个候选集，然后再去词典中查找是否出现。

正态分布（德语：Normalverteilung；英语：normal distribution）又名高斯分布（德语：Gauß-Verteilung；英语：Gaussian distribution, 以德国数学家卡尔·弗里德里希·高斯的姓冠名）。想必这个大名鼎鼎的分布，跟高斯这个名字一样，如雷贯耳，只要稍有数学常识，都应该不陌生吧，即便你已经记不太清楚它的密度函数具体长什么样子了，没关系，密度...

问题起源：在pipeline转换时，突然出现one_hot向量输出维度为第2维为1。通过多次验证，发现第2维都是2而非1？问题在哪里呢，最后发现第2维为2和第2维为1是输入不同导致的？case1:y = np.array([1,0,1,1]).reshape(-1,1)json_pritimive = "sklearn.preprocessing.OneHotEncoder"obj ...

原始数据：datasets.data[0:2]array([[1.799e+01, 1.038e+01, 1.228e+02, 1.001e+03, 1.184e-01, 2.776e-01, 3.001e-01, 1.471e-01, 2.419e-01, 7.871e-02, 1.095e+00, 9.053e-01, 8.589e+00, 1.5...

kernal pca：一种用核映射的方式将特征从低维映射到高维；可以类比支持向量机；然后再选择主成分；是一种非线性的传统的pca或者svd是线性的处理方式谷歌解释结果如下：...

svd有左奇异矩阵与右奇异矩阵，左奇异矩阵对行数进行压缩，右奇异矩阵对列数进行压缩（即降维）svd有一个优点，可以不用求出协方差矩阵也能求出右奇异矩阵，也就是说可以不用做特征值分解就能实现降维（减少计算量）...

个人理解：主成分分析本质是一种线性变换，但这种线性变换具有一定的指向性，要求变换后的坐标系为正交坐标系，因为原数据可能是任何一种坐标系，那么就会每列之间不相关，即特征之间的相关性消失了；而且要求第一列的方差最大，降序排列；如果最后几个变量的方差极小，用极值思维，如果方差为0，即该列数据所有值完全一样， 那么该数据的价值为0，所以可以删除，降低复杂性与计算量；那么再放宽点想，如果最后几列方差很小的话...

我们已经知道，普通的logistic回归只能针对二分类(Binary Classification)问题，要想实现多个类别的分类，我们必须要改进logistic回归，让其适应多分类问题。关于这种改进，有两种方式可以做到。第一种方式是直接根据每个类别，都建立一个二分类器，带有这个类别的样本标记为1，带有其他类别的样本标记为0。假如我们有个类别，最后我们就得到了个针对不同标记的普通的logistic分...

虚数i这个概念大家在高中就接触过，但那时我们只知道它是-1 的平方根，可是它真正的意义是什么呢?这里有一条数轴，在数轴上有一个红色的线段，它的长度是1。当它乘以 3 的时候，它的长度发生了变化，变成了蓝色的线段，而当它乘以-1 的时候，就变成了绿色的线段，或者说线段在数轴上围绕原点旋转了 180 度。我们知道乘-1 其实就是乘了两次 i 使线段旋转了 180 度，那么乘一次 i 呢——答案很简单—...

本文首先介绍了从傅里叶变换到小波变换的发展史，然后着重强调了小波变换的两种作用——时频分析和多分辨率分析，最后讲了一下吉布斯效应等相关知识。FT（傅里叶变换），通过将信号分解成正余弦函数（把三角函数当做函数空间的基），将时域信号转化为频域信号。缺点是只适用于平稳性信号，在频域图上不能获得对应频率的时间信息。 由上图可以看到，对于频域成分相同的信号，即使信号在时域上的分布不一样，FF...

从深度学习书中记录：统计学习理论提供了量化模型容量的不同方法。在这些方法中，最有名的是Vapnik-Chervonenkis维度，简称VC维。个人理解：这句话表明VC维用来衡量模型的容量，或者说是power，即模型的拟合能力；以VC 维度量二元分类器的容量，VC维定义为该分类器能够分类的训练样本的最大数目。假设存在m个不同的x点的训练集，分类器可以任意地标记该m个不同的x点，VC维被定义为m的最大...

1、当训练的代码是clf = SVC(probability=False)，那么predict_proba函数不可用的；提示如下：AttributeError: predict_proba is not available when  probability=False；参数解释：probability 布尔类型，可选，默认为False 决定是否启用概率估计。需要在训练fit()模型时加上这个参数...

从这句话可以看出，x轴代表频率，由低到高，sin(wt)中的w为频率值；而y轴为振幅；任何一个时域图像均可看成是由无数个连续的正弦波组合而成；而振幅的值可决定某个频率的正弦波的影响力；如果为0，就完全消失；如果被拆解成一个sinwt，说明其他频率的正弦波的振幅为0；...

有两个重点：第一、logistic回归本质上仍是一种线性回归；第二、该函数的输出默认值是分类为1的概率；如果输出值大于0.5，即分类结果为1一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用logistic回归。     logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最...

莱昂哈德·欧拉是18世纪最伟大的数学家之一，也是人类历史上最杰出的数学家之一。作为一个多产的数学家，欧拉贡献不可估量，他提出了许多对现代数学不可或缺的概念。在欧拉的一生中，它出版了885份关于关于数学和其他学科的论文和书籍。即使是后来失明了，他仍然笔耕不辍。欧拉在失明之后还打趣地说:"现在我就更不会分心了。" 以勤奋著称的欧拉，用他那惊人的记忆和心算能力弥补了视力的丧失。在欧拉一生丰硕的成果中...

1、Haar小波        Haar，一般音译为“哈尔”。        Haar函数是小波分析中最早用到的一个具有紧支撑的正交小波函数，也是最简单的一个小波函数，它是支撑域在t∈[0,1]范围内的单个矩形波。        Haar小波在时域上是不连续的，所以作为基本小波性能不是特别好。 2、Daubechies(dbN)小波(紧支集正交小波)        Daub...

小波分解，每一层分解的结果是上次分解得到的低频信号再分解成低频和高频两个部分。如此进过N层分解后源信号X被分解为：X = D1 + D2 + ... + DN + AN 其中D1,D2,...,DN分别为第一层、第二层到等N层分解得到的高频信号，AN为第N层分解得到的低频信号。个人理解：D代表高频信号，A代表低频信号；每一层都是将低频信号分解成高频信号与低频信号；第一层：X=D1+A1...

主成分分析也是寻找一种相互正交化的基；每个成分的背后都有一个向量，而这些向量彼此正交；这里的成分只是每个向量的尺度；级数我将他理解为维度；一维，二维，三维等 如果将级数理解成空间的维度，比如第一级是x,第二级是y，第三级是z，越往后级数越高；图片中XYZ正验证了我的猜想；...

Approximation:（初次看到这个单词不知道啥意思，英文翻译为最接近的；）低频AC：Approximation coefficients; 低频系数Detail:高频DC:Detail Coefficients高频系数低频：是用描述长期趋势；如同长期均线一般；A为父波，低频；D为母波，高频分解多层，低频只有一部分，其他全是高频部分； 原始...

个人理解：和傅里叶的区别在于基函数的不同，原来是正弦波，现在是衰减的小波；原以为这种小波没有周期，其实也是有周期的，只是波形不一样了，但这种小波数学上难以表达；从更高角度来看这个问题，是将一个运动分解成不同频率的小波，而这小波由正弦波函数变换过来的，一种根据时间而变换的，即每个时间的正弦波不一样...

个人理解：将原始信号进行小波分解，等到不同频率的系数，一个低频，多个高频；然后基于低频和高频系数重建小波；再设置阈值过滤掉一些小波；然后再将所有的波进行相加，得到最终的信号；这里的重点是分解出来的多个波进行叠加，得到新的信号，如果没有过滤一些波，新的信号会和原来完全一样，过滤了一些高频的波，就会和原来不一样的；个人理解：可以想象下fft变换，一个同期函数可以拆解成不同频率的函数，最终是由这...

这是《小波变换和motion信号处理》系列的第二篇，深入小波。第一篇我进行了基础知识的铺垫，第三篇主要讲解应用。在上一篇中讲到，每个小波变换都会有一个mother wavelet，我们称之为母小波，同时还有一个father wavelet，就是scaling function。而该小波的basis函数其实就是对这个母小波和父小波缩放和平移形成的。缩放倍数都是2的级数，平移的大小和当前其缩放的程...

#coding=utf-8import pywtimport matplotlib.pyplot as pltimport numpy as npts = [2, 56, 3, 22, 3, 4, 56, 7, 8, 9, 44, 23, 1, 4, 6, 2](ca, cd) = pywt.dwt(ts,'haar')print(ca)origin_ts=pywt.idwt(ca...

两点之间最中间的平面具有的特征：1、距离平方和最大化（想象空间中有两个点，人类归纳出来的，牛牛牛，这一论断是错误的，参考该文的后面部分），而且唯一确定，即反过来也能推断为最中间的平面；功能：可以通过平方和最大化来寻找该平面，在数据众多时，计算机就可以自动搜索到，然后确定平面的参数；距离和最大化可以反推出正中间的这个平面吗？不可以的，满足距离和最大化的平面是无数的，只要满足-平面垂直两点的向...

svm学了又忘，想来形象的理解一下；首先从字面上来看，支持向量机，为什么取名叫支持向量机呢？核心在于支持向量，向量是啥，就是一个线（高维就是平面）而已，为什么要这条线呢，因为要根据这条线来确定唯一的平面；那么这条线如何确定，那肯定要找到两点，这两点如何确定，类别A中出一个点，类别B中出一个点，求出两点之间的距离，搜索出最短距离的两点；然后求出该两点正中间的平面；其实可以想象成一条河左边是全是红点，...

MAP:mean average precision; 中文翻译：平均平均精确度，存在多组数据，每组数据需要存在多个precision；对固定的学习器，默认分类阈值为0.5，固定的验证集precision：预测为真正例的数量/预测为正例的数量通过调节阈值，将验证样本预测为正例的数量从0到全部，这样就得到了多个precision；这就是一组数据； 多个验证集就会有多组数据，即存在...