颹蕭蕭

http://home.ustc.edu.cn/~libo7/

堆叠宽度学习系统BLS + stacking

将递归最小二乘法（RLS）用于储备池的输出权重在线更新

文章目录Sequential k-Means ClusteringSequential Leader ClusteringSequential k-Means Clusteringhttps://www.cs.princeton.edu/courses/archive/fall08/cos436/Duda/C/sk_means.htm或者Sequential Leader Clustering

import numpy as npclass OnlineKMeans: """ Online K Means Algorithm """ def __init__(self, num_features: int, num_clusters: int, lr: tuple = None): """ :param num_features: The d

文章目录问题描述符号约定Atiya-Parlos 算法回顾计算细节参考文献问题描述考虑模型循环网络模型：x(k+1)=(1−Δt)x(k)+ΔtWf[x(k)](1)x(k+1) = (1-\Delta t)x(k) + \Delta t Wf[x(k)] \tag1{}x(k+1)=(1−Δt)x(k)+ΔtWf[x(k)](1)其中 x(k)∈RNx(k) \in R^Nx(k)∈RN表示网络节点在激活前的状态，W∈RN×NW\in R^{N\times N}W∈RN×N表示网络结点之间.

New Results on Recurrent Network Training:Unifying the Algorithms and AcceleratingConvergence

参见基本框架：https://goodgoodstudy.blog.youkuaiyun.com/article/details/109245095问题描述考虑模型循环网络模型：x(k)=f[Wx(k−1)](1)x(k) = f[Wx(k-1)] \tag1{}x(k)=f[Wx(k−1)](1)其中 x(k)∈RNx(k) \in R^Nx(k)∈RN表示网络节点状态，W∈RN×NW\in R^{N\times N}W∈RN×N表示网络结点之间相互连接的权重，网络的输出节点为 {xi(k)∣i∈O}.

参见基本框架：https://goodgoodstudy.blog.youkuaiyun.com/article/details/109245095问题描述考虑模型循环网络模型：x(k)=f[Wx(k−1)](1)x(k) = f[Wx(k-1)] \tag1{}x(k)=f[Wx(k−1)](1)其中 x(k)∈RNx(k) \in R^Nx(k)∈RN表示网络节点状态，W∈RN×NW\in R^{N\times N}W∈RN×N表示网络结点之间相互连接的权重，网络的输出节点为 {xi(k)∣i∈O}.

文章目录问题描述符号约定主要推导问题描述考虑模型循环网络模型：x(k)=f[Wx(k−1)](1)x(k) = f[Wx(k-1)] \tag1{}x(k)=f[Wx(k−1)](1)其中 x(k)∈RNx(k) \in R^Nx(k)∈RN表示网络节点状态，W∈RN×NW\in R^{N\times N}W∈RN×N表示网络结点之间相互连接的权重，网络的输出节点为 {xi(k)∣i∈O}\{x_i(k)| i\in O\}{xi​(k)∣i∈O}，OOO为所有输出（或称“观测”）单元的下标集

下载数据集from torchvision.datasets import mnist train_set = mnist.MNIST('./data', train=True, download=True) # 若未找到数据集 则自动下载test_set = mnist.MNIST('./data', train=False, download=True)

"""A minimalistic Echo State Networks demo with Mackey-Glass (delay 17) data in "plain" scientific Python.by Mantas Lukosevicius 2012http://minds.jacobs-university.de/mantas---Modified by Xavier Hinaut: 19 November 2015.http://www.xavierhinaut.com

文章目录预备知识IP问题描述梯度下降法计算梯度随机梯度下降参考文献预备知识概率分布的变换，fy(y)∂y=fx(x)∂xf_y(y) \partial y = f_x(x) \partial xfy​(y)∂y=fx​(x)∂x或者fy(y)=fx(x)∂x∂y(1)f_y(y) = f_x(x)\frac{\partial x}{\partial y} \tag{1}fy​(y)=fx​(x)∂y∂x​(1)参考证明DL散度，衡量两个分布之间的差异DL(p1∥p2)=∫p1(y

隐朴素贝叶斯模型（HNB）

逻辑斯蒂回归y=g(Wx+b)其中g为sigmoid函数，即值域在 [0,1] 之间的S形函数

原文作者：过一点画一条直线（知乎ID）知乎专栏：数据化风控原文链接：https://zhuanlan.zhihu.com/p/95797653KS统计量是信用评分和其他很多学科中常见的统计量，在金融风控领域中，常用于衡量模型对正负样本的区分度。通常来说，值越大，模型区分正负样本的能力越强，一般0.3以上，说明模型的效果比较好（申请评分卡）。其定义如下：KS=max{TPR−FPR}KS = max\{TPR - FPR\}KS=max{TPR−FPR}与ROC曲线相似，ROC是以FPR作.

文章目录混淆矩阵（Confusion Matrix）准确率（Accuracy）精确率（Precision）召回率（Recall）F1 scoreROC曲线AUCPR曲线混淆矩阵（Confusion Matrix）混淆矩阵是监督学习中的一种可视化工具，主要用于比较分类结果和实例的真实信息。矩阵中的每一行代表实例的预测类别，每一列代表实例的真实类别。需要注意：混淆矩阵不是对称矩阵哦！二分类的混淆矩阵真正(True Positive , TP)：被模型预测为正的正样本假正(False Pos

2020 年会议线上召开，会议网站也和以往大不相同官网本身就提供了文章的主题分类检索与下载尽管如此，还是希望能够制作一份方便本地查找的目录，毕竟访问外网有点卡下载 json 文件通过网站页面源码分析，发现所有数据都在这份 icml_paper.json 文件中，把它下载下来：https://icml.cc/static/virtual/data/icml_papers.json你要是直接打开的话，就是这个样子，当然我们接下来就用 python 的 json 包来解析它！解析 json 文

33 大主题各类主题占比最多的是学习理论

文章目录论文地址BibTex主要内容实验对象网络结构论文地址PNAS: https://www.pnas.org/content/117/1/52BibTex@article {Qi52, author = {Qi, Di and Majda, Andrew J.}, title = {Using machine learning to predict extreme events in complex systems}, volume = {117}, number = {1}, pa

字典学习之K-SVD算法，python 实现

文章目录1.定义：2.聚类评估方法介绍（一）内部评估Davies-Bouldin index(戴维森堡丁指数，简称DB或DBI)Duun index(邓恩指数，简称DVI)Silhouette index（轮廓指数，简称SI）参考1.定义：聚类有效性指标（Cluster Validity Index，CVI）：用于度量聚类的效果。详细介绍wiki：http://www.turingfinance.com/clustering-countries-real-gdp-growth-part2/#quali

文章目录论文地址bibtex代码地址主要内容网络的距离度量图编辑距离DeltaConThe quantum spectral Jensen-Shannon divergence其余四种频域距离论文地址https://www.nature.com/articles/s41598-018-37534-2bibtex@article{DBLP:journals/corr/abs-1803-04755, author = {Naoki Masuda and Pette

r∈RN,u∈Rd,A∈RN×N,Win∈RN×d,f(⋅)=tanh(⋅)r\in R^N, u \in R^d, A\in R^{N\times N}, W_{in} \in R^{N\times d}, f (\cdot)= tanh(\cdot)r∈RN,u∈Rd,A∈RN×N,Win​∈RN×d,f(⋅)=tanh(⋅)rt=(1−α)rt−1+αf(Art−1+Winut)vt=...

假设原本数据集是如下的 csv 格式，行代表时间，列数代表变量数。用它来构造机器学习的数据集，也就是有监督标签的样本。import torchimport torch.utils.dataimport osimport numpy as npimport pandas as pdclass MTSDataset(torch.utils.data.Dataset): """Multi-variate Time-Series Dataset for *.txt file R

考虑状态转移方程和观测方程均为非线性的状态空间模型：xt=f(xt−1)+vtyt=g(xt)+etx_t = f(x_{t-1}) + v_t \\y_t = g(x_t) + e_txt​=f(xt−1​)+vt​yt​=g(xt​)+et​其等价于只有状态转移方程为非线性的形式：zt=h(zt−1)+wtyt=γt+etz_t = h(z_{t-1}) + w_t \\y_t = \gamma_t + e_tzt​=h(zt−1​)+wt​yt​=γt​+et​其中 zt=[xt

文章目录线性高斯时间序列模型基于高斯过程的非线性自回归模型状态转移函数基于高斯过程的状态空间模型观测函数基于高斯过程的状态空间模型状态转移函数和观测函数都基于高斯过程的状态空间模型状态转移函数基于高斯过程的非1阶马尔科夫状态空间模型隐变量基于高斯过程的高斯隐变量模型线性高斯时间序列模型基于高斯过程的非线性自回归模型状态转移函数基于高斯过程的状态空间模型观测函数基于高斯过程的状态空间模型状态转移函数和观测函数都基于高斯过程的状态空间模型状态转移函数基于高斯过程的非1阶马尔科夫状态空间模型

文章目录DFG 相关论文《Dynamic Factor Graphs for Time Series Modeling》《DYNAMIC FACTOR GRAPHS –A NEW WIND POWER FORECASTING APPROACH》其它拓展DFG 原理模型结构模型推断模型训练pytorch 实现importutilsdatasetmodulesDFG modelload datatrainresultDFG 相关论文《Dynamic Factor Graphs for Time Series

前文介绍了，对随机变量做函数变换 Y=f(X)Y = f(X)Y=f(X) 后的概率密度函数 (PDF) 之间的变化：PY(y)=PX(f−1(y))∣df−1(y)dy∣=PX(x)∣dxdy∣P_Y(y) = P_X(f^{-1}(y))\left|\frac{df^{-1}(y)}{dy}\right| = P_X(x) \left|\frac{dx}{dy}\right|PY​(y)...

最小绝对偏差 (Least Absolute Deviations, LAD) 与最小二乘法（假设误差服从高斯分布）类似：当假设线性回归的误差服从拉普拉斯分布时，最小绝对偏差回归是对参数的最大似然估计。问题描述min⁡x∣∣Wx−y∣∣1\min_{x} \quad || Wx-y||_1xmin​∣∣Wx−y∣∣1​等价于min⁡νs.t.ν=∣∣Wx−y∣∣1\begin{arr...

L1L_1L1​ 正则项与 Laplace 分布如果参数的先验分布为拉普拉斯分布：P(θi)=λπexp⁡(−λθi2)P(\theta_i) = \frac{\lambda}{\sqrt{\pi}} \exp(-\lambda \theta_i^2)P(θi​)=π​λ​exp(−λθi2​)等价于：min⁡θ∑i∣∣f(xi)−yi∣∣2+λ∑j∣θj∣\min_\theta \...

用 pytorch 实现 径向基函数神经网络

先验概率，后验概率，似然函数，边际似然

《An introduction to Topological Data Analysis: fundamental and practical aspects for data scientists》

文章目录问题背景推荐算法：交替最小二乘推荐算法矩阵分解模型交替最小二乘法问题背景音乐推荐系统 Audioscrobbler 提供了一个公开的数据集，该数据集记录了听众播放过哪些艺术家的歌曲。last.fm 公司使用这些音乐播放记录构建了一个强大的音乐推荐引擎。这个推荐引擎系统覆盖了数百万的用户。Audioscrobbler 数据集只记录了播放数据，如“Bob 播放了一首 Prince 的歌曲...

自己造轮子，实现各种梯度下降优化器！

FCM，Fuzzy C-Means，模糊C平均

高斯混合模型，期望极大算法，python实战 ！！！

交替更新原变量和对偶变量，更新对偶变量时采用梯度上升法

把约束问题转化成无约束问题