颹蕭蕭

BERT-NER 转化成 onnx 模型

bert 模型 转 onnx

使用自编码器学习汉字的形状特征，轻松找出形近字数据保存从 numpy 数组生成 Dataset & DataLoader取一个批次画图

丢完代码就跑

文章目录论文地址BibTex主要内容实验对象网络结构论文地址PNAS: https://www.pnas.org/content/117/1/52BibTex@article {Qi52, author = {Qi, Di and Majda, Andrew J.}, title = {Using machine learning to predict extreme events in complex systems}, volume = {117}, number = {1}, pa

单变量的分位点损失多变量的分位点损失结果可视化模型import torchimport torch.nn as nnimport torch.nn.functional as Fclass Model(nn.Module): def __init__(self, n_val, window, hidRNN, quantiles = [0.5]): super(Model, self).__init__() self.use_cuda = True

文章目录数据预处理piplineevaluationmodel数据预处理import numpy as npfrom toolz.curried import *@currydef clean_nan(dataset, how='any'): return dataset.dropna(how=how)@currydef lagger(dataset, n_lags, price_columns): df = reduce( lambda df, la

文章目录论文地址模型结构图注意力机制季节内的注意力季节间的注意力分位点回归论文地址https://dl.acm.org/doi/10.1145/3292500.3330662模型结构图使用注意力机制的时间序列多步预测模型：对离散输入做 Embeding对历史数据用单向 LSTM 提取特征，每一个历史时刻对应一个隐状态，图中的下面部分对未来的输入用双向的 Bi-LSTM 提取特征，图中的上面部分用注意力机制建立未来时刻特征和历史时刻特征的联系，图中的中间部分注意力机制从图中可以看出，

代码：https://github.com/rajatsen91/deepglo文章主要有三点创新：Leveled-Init TCN， 对 TCN 的改进，使用 LeveledInit 方法初始化 TCN 权重，使得 TCN 更好地处理不同尺度的时间序列；TCN-MF，用 TCN 来对多变量时间序列预测的矩阵分解法做正则化DeepGLO，把矩阵分解法 MF 得到的 包含全局信息的因子序列及其预测值 作为局部序列预测时的协变量。LeveledInit TCN从如下代码中可以看出对 TCN 权.

文章目录数据datasetoptimizermodeltrain数据df.to_csv('traffic1.txt', header=None, index=None)df数据为每小时记录一次的交通流量数据，每周有几天出现早高峰。datasetimport torchimport numpy as np;from torch.autograd import Variabledef normal_std(x): return x.std() * np.sqrt((len(x

文章目录代码论文LSTNet部分参数解释model代码https://github.com/laiguokun/LSTNet论文Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks.LSTNet部分参数解释参数默认值解释model(str)‘LSTNet’hidCNN(int)100number of CNN hidden unitshidRNN(int)

文章目录参考代码初始化梯度截断下调学习率参考代码https://github.com/laiguokun/LSTNet初始化import mathimport torch.optim as optimclass Optim(object): def _makeOptimizer(self): if self.method == 'sgd': self.optimizer = optim.SGD(self.params, lr=self.lr)

本文来对 DSANet 从源码的角度做自定向下的分析：总体结构3 个支路：全局自注意力模块、局部自注意力模块、线性自回归模块。参数含义参数含义window (int)the length of the input window sizen_multiv (int)num of univariate time seriesn_kernels (int)the num of channelsw_kernel (int)the default is 1，初始.

文章目录DFG 相关论文《Dynamic Factor Graphs for Time Series Modeling》《DYNAMIC FACTOR GRAPHS –A NEW WIND POWER FORECASTING APPROACH》其它拓展DFG 原理模型结构模型推断模型训练pytorch 实现importutilsdatasetmodulesDFG modelload datatrainresultDFG 相关论文《Dynamic Factor Graphs for Time Series

文章目录论文及代码模型代码model测试序列训练预测加点噪声pytorch 实现论文及代码原始论文：代码：https://github.com/trokas/neural_decomposition模型将时间序列分解成周期项和非周期项 g(t)g(t)g(t)：x(t)=∑k=1N(ak⋅sin⁡(wkt+ϕk))+g(t).x(t) = \sum _{k = 1}^{N}{( a_{k} \cdot \sin ( w_{k} t + \phi _{k} )) } + g(t).x(t)

时空神经网络（STNN）对时空数据进行预测，以及序列之间的关系挖掘。

Geoffrey Hinton， Yoshua Bengio， Yann LeCun

切比雪夫

《DeepWalk: Online Learning of Social Representations》

pytorch 迁移学习 猫狗大战 kaggle

unsqueeze

原因：没有安装 CUDA,CUDANN， 或者没有配好环境变量

原因：系统环境中没有 cuda，cudann

梯度下降算法：Hessian 矩阵 与 学习率 的关系

三层神经网络的 BP 公式

Numpy 实现神经网络 梯度下降

将大数据集保存成多个 TFRecord 碎片

将数据集转化成 tfrecord， 读取 tfrecord，生成批量数据

貌似在当前 tensorflow 版本中没有定义外积操作dim = 6template1 = np.zeros([dim,dim*dim])for i in range(dim): for j in range(dim): template1[i,dim*i+j] = 1log_info(template1)''' dim = 4[[1. 1. 1. 1. ...

tensorflow 在 checkpoint 中记录 global_step

机器学习，生成批量数据，batch

x_train, y_train = np.array(x_train),np.array(y_train) index = [i for i in range(len(y_train))] np.random.shuffle(index) x_train = x_train[index] y_train = y_train[index]

import torchimport torchvisionimport torchvision.transforms as transformsdevice = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")# Assuming that we are on a CUDA machine, this sho...

本地 python 服务器

#coding:utf-8import numpy as np #定义激活函数和他们的导数 def tanh(x): return np.tanh(x) def tanh_deriv(x): return 1.0 - np.tanh(x)**2 def logistic(x): return 1/(1 + np.exp(-x...

import gymimport multiprocessingimport threadingimport numpy as npimport osimport shutilimport matplotlib.pyplot as pltimport tensorflow as tf# number of worker agentsno_of_workers = multipr...

一个可用的 A3C，有待研究from: https://github.com/stefanbo92/A3C-Continuousimport gymimport multiprocessingimport threadingimport numpy as npimport osimport shutilimport matplotlib.pyplot as pltimport t...