u012254599的博客

相关系数是一个介于-1和1之间的值，表示两个变量之间的关联程度。相关系数为正表示两个变量呈正相关关系，即当一个变量增加时，另一个变量也增加；相关系数为负表示两个变量呈负相关关系，即当一个变量增加时，另一个变量减少；相关系数接近于0表示两个变量之间没有线性关系。

目录1.什么是线性回归2.线性回归思路3.几种回归模型评估3.1均方误差：mse = mean_squared_error(y真实值,y预测值)3.2均方根误差：rmse = (mean_squared_error(y真实值,y预测值))**0.53.3平均绝对值误差：mae = mean_absolute_error(y真实值,y预测值)3.4r2打分：r2 = r2_score(y真实值,y预测值) 或者r2=lr.score(x真实值,y真实值)4.单(一)元线性回归5.多元线性回归 两

（Linear Regression）是一种非常简单、用处非常广泛、含义也非常容易理解的一类经典的算法，非常合适作为机器学习的入门算法。线性回归就是出一个线性组合关系的函数。要找一条直线，并且让这条直线尽可能地拟合所有数据点。即：试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

本文对RNN、LSTM、BiLSTM的内部结构和输入输出做了透彻的剖析，目标是能够解答LSTM和BiLSTM的任何疑问。RNN：循环神经网络LSTM：长短期记忆网络BiLSTM：双向长短期记忆网络重要的先验知识本质上单个RNN cell是在多个时间步上展开的形式，也可以理解为RNN是神经网络在时序上的权重共享（CNN相当于空间上的权重共享）LSTM也都是一样。

时间序列一般是指对某种事物发展变化过程进行观测并按照一定频率采集得出的一组随机变量。时间序列预测的任务就是从众多数据中挖掘出其蕴含的核心规律并且依据已知的因素对未来的数据做出准确的估计。由于大量物联网数据采集设备的接入、多维数据的爆炸增长和对预测精度的要求愈发苛刻，导致经典的参数模型以及传统机器学习算法难以满足预测任务的高效率和高精度需求。

对于输出门，有两个分支，一个是直接变成下一层的隐藏变量，一个是表示这一层的输出。效果比原作者的效果要好一点，因为占位符我更改成了 -1，这样就不会影响到标签了。第一个遗忘门得到的结果是不是全都属于0-1的数，相当于不同的权重。只表示最后一层的输出，所以output[-1]==hc的。#随机初试化隐藏变量和记忆细胞变量。文章知识点与官方知识档案匹配，可进一步学习相关知识。其实每一层的输出，都直接拼接在一起了，而。word就直接与word。idx的键值对调换就行了。根据自己的电脑配置更改，最后祝大家学有所成！

本文对RNN、LSTM、BiLSTM的内部结构和输入输出做了透彻的剖析，目标是能够解答LSTM和BiLSTM的任何疑问。RNN：循环神经网络LSTM：长短期记忆网络BiLSTM：双向长短期记忆网络重要的先验知识本质上单个RNN cell是在多个时间步上展开的形式，也可以理解为RNN是神经网络在时序上的权重共享（CNN相当于空间上的权重共享）LSTM也都是一样。

然而它为什么叫遗忘门呢，下面是我自己的看法，前面也说了,σ的输出在0到1之间，这个输出 f_t逐位与C_{t-1}的元素相乘，我们可以发现，当f_t的某一位的值为0的时候，这C_{t-1}对应那一位的信息就被干掉了，而值为(0, 1)，对应位的信息就保留了一部分，只有值为1的时候，对应的信息才会完整的保留。说实话，这个图确实很清晰明了（对于懂的人来说），一些很“显然”的问题就被忽略了，但是对于刚入门的人来说，一些基础的问题却要搞很久才能弄明白，我在原作者讲的很清楚的情况下再补充新手需要的内容。

假设数据维度是317天的数据，滑动窗口为120天预测未来20天数据，num_train = 221 ， num_test = 63 ，num_vali = 33 ， border1s = [0, 101, 134] ，border2s = [221, 254, 317]，这可以设置为s，t，h，d，b，w，m（s：秒，t：分钟，h：小时，d：每天，b：工作日，w：每周，m：每月）。这可以设置为M、S、MS（M：多变量预测多变量，S：单变量预测单变量，MS：多变量预报单变量）否则将是获得一个标准化的预测。

Informer是2021年时序领域的best论文，仔细阅读文章和代码会发现这篇文章的思路、论点和代码框架写的是真的好，让人看着赏心悦目，此后的时序预测算法也大多是在Informer的基础上进行的，包括输入输出的格式、特征编码的方式等。

根据数据绘制结果，可以发现数据呈现较快的增长趋势，范围跨度也比较大，为便于训练，我们将训练数据进行归一化处理，归一化的方法是min/max方法，该方法归一化后的数据值域为[-1, 1]。进行时间序列预测，那么我们首先需要明确输入LSTM的时间序列的步长，由于我们输出的是多个年份的数据、且数据以月为单位，所以可以很自然想到使用12作为我们输入时间序列长度。可以发现预测的值在总体的趋势上与实际类似，但是在预测数值还存在一定的差距，这里只是为了说明如何使用LSTM进行单变量进行预测，所以不过分追求精度。

TensorFlow 2.0 基于LSTM多变量_共享单车使用量预测: https://www.bilibili.com/video/BV1y5411K7NRfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import MinMaxScalerfrom sklearn.metrics import r2_scoreimport tensorflow as tffrom tensorflow.k

那么Informer是做什么的呢？主要针对长序列预测（Long Sequence Time-series Forecasting, LSTF）目前Transformre具有较强的捕获长距离依赖的能力，但传统的Transformer依然存在以下不足，因此Informer做出了一些改进。上面的三个改进猛地一看可能让人摸不着头脑没关系我们接着往下看论文中提出的EncoderStack 其实是由多个Encoder 和蒸馏层组合而成的那么我们来详细解释一下上面的这张图。

这篇文章是来自AAAI的best paper，目前已经开源在github，这里博主记录一下自己的学习过程。项目使用pytorch开发，按照readme要求的环境即可，环境没有问题的话基本不需要改动即可完美调试，博主开始时pytorch版本太低，所以导致了很多问题，当然这个调试修改的过程也并非是毫无用处，它可以让我们对项目的理解更加深刻。

股票市场是金融市场中不可或缺的组成部分。准确预测股票趋势对于投资者和市场参与者具有重要意义，因为它们可以指导投资决策、优化投资组合以及降低金融风险。而且可以提升国家国际地位以及金融风险控制能力，还可以促进股票市场发展以及资源优化利用。与此同时，股票趋势预测算法作为时间序列预测领域的重要分支，在其它时序预测分支上也具备通用性。而量化交易就是利用数学模型和计算机技术来进行投资交易决策的一类方法，旨在增加投资回报率。随着信息技术和数据处理能力的不断提升，量化交易在金融市场中的真实应用越来越广泛。本论文介绍了量化交

深度学习方法是一种利用神经网络模型进行高级模式识别和自动特征提取的机器学习方法，近年来在时序预测领域取得了很好的成果。常用的深度学习模型包括循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）、注意力机制（Attention）和混合模型（Mix ）等，与机器学习需要经过复杂的特征工程相比，这些模型通常只需要经数据预处理、网络结构设计和超参数调整等，即可端到端输出时序预测结果。

分类问题的评价指标是准确率，回归算法的评价指标是MSE,RMSE，MAE.测试数据集中的点，距离模型的平均距离越小，该模型越精确。使用平均距离，而不是所有测试样本的距离和，因为受样本数量影响。