weixin_41168869的博客

转载于知乎（比如不同的人读同一个词的音频序列）。，得到最大可能的相似度。DTW采用了动态规划DP（dynamic programming）的方法来进行时间规整的计算，可以说，。下面测试程序显示了 6组时间序列 的DTW结果，左上和右下的两组相似度较高，其DTW计算的距离（Warping Distance）也确实比较小。以下内容绝大部分来自。

在分类问题中，模型输出的是每个类别的概率，交叉熵损失函数用于衡量模型预测的概率分布与真实标签的差异。它的思想是在训练分类器时，让所有正确分类的样本离分类超平面的距离最远，并且所有错误分类的样本都被正确分类。Hinge损失函数的值在正确分类的样本处为0，而在错误分类的样本处等于预测值和真实值的差距。MSE是回归问题中最常见的损失函数之一。它的思想是，计算真实标签的概率分布与模型预测的概率分布之间的差异。这些损失函数都是在机器学习和深度学习中常见的重要损失函数，它们能够帮助我们评估模型的性能并优化模型的参数。

【代码】M5-competition第一名代码解析学习-3-1. Final ensemble.py。

【代码】M5-competition第一名代码解析学习-2-2. nonrecursive_store_cat_PREDICT.py。

【代码】M5-competition第一名代码解析学习-2-3. nonrecursive_store_dept_PREDICT.py。

【代码】M5-competition第一名代码解析学习-1-3. recursive_store_dept_PREDICT.py。

【代码】M5-competition第一名代码解析学习-2-1. nonrecursive_store_PREDICT.py。

【代码】M5-competition第一名代码解析学习-1-2. recursive_store_cat_PREDICT.py。

【代码】M5-competition第一名代码解析学习-1-1. recursive_store_PREDICT.py。

【代码】M5-competition第一名代码解析学习-2-3. nonrecursive_store_dept_TRAIN.py。

【代码】M5-competition第一名代码解析学习-2-2. nonrecursive_store_cat_TRAIN.py。

【代码】M5-competition第一名代码解析学习-2-1. nonrecursive_store_TRAIN.py。

【代码】M5-competition第一名代码解析学习-1-3. recursive_store_dept_TRAIN.py。

【代码】M5-competition第一名代码解析学习-1-2. recursive_store_cat_TRAIN.py。

【代码】M5-competition第一名代码解析学习-1-1. recursive_store_TRAIN.py。

具体来说，使用了Pandas中的groupby方法，将数据表按照’store_id’和’item_id’进行分组，然后对每个分组内的’sell_price’列进行了shift(1)操作，即将每个分组内的’sell_price’列整体向下移动一位，再用整个’sell_price’列除以移动后的结果，生成’price_momentum’新列。np.iinfo(np.int8).min表示获取np.int8数据类型的最小值，np.iinfo(np.int8).max表示获取np.int8数据类型的最大值。

home blogTRANSFORMERS FROM SCRATCH18 Aug 2019 code on github video lecture 18 Aug 2019 代码在 github 视频讲座Transformers are a very exciting family of machine learning architectures. Many good tutorials exist (e.g. [1, 2]) but in the last few years, tran

更具体地说，残差连接将前一层的输出直接添加到当前层的输出中，从而提供了一种绕过非线性变换的路径。在传统的神经网络中，每个层的输出都是通过对前一层输出的非线性变换得到的。这种情况下，网络的性能可能会受到影响，同时也会出现梯度消失或梯度爆炸的问题。总之，残差连接是一种用于解决深度神经网络中梯度消失和梯度爆炸问题的技术，它可以通过添加跨层连接来提供一种绕过非线性变换的路径，从而帮助网络更好地学习和收敛。如果当前层的输入和输出的维度不同，可以使用一个全连接层来将输入的维度映射到输出的维度，然后再进行残差连接。

常见的激活函数包括sigmoid函数、ReLU函数、Leaky ReLU函数、ELU函数、tanh函数、softmax函数和 gelu函数等。下面对每种激活函数进行详细介绍。

LSTM由四个主要部分组成：遗忘门（forget gate）、输入门（input gate）、单元状态（cell state）和输出门（output gate）。LSTM是一种递归神经网络（RNN），用于处理序列数据。它具有比标准RNN更好的长期依赖性能力，这是通过使用称为“门控”机制的方法来实现的。LSTM通过门控机制控制信息的输入、输出和遗忘，从而有效地处理序列数据中的长期依赖关系。最后，计算当前时刻的单元状态。，前一时刻的隐藏状态为。是sigmoid函数。接下来，计算新单元状态。

不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据归一化/标准化处理，以解决数据指标之间的可比性。训练集有三个维度，即 [样本数，时间步，特征维度]，假设训练集的维度为[4494，20，8] ，样本数就不用多说了，时间步就是利用过去多长时间来预测未来的数据，如果我们设置为30，那就是基于过去30天的样本数据来预测未来1天的数据，特征维度为8，包含温度、风速、降水等特征。如果输入的张量列表只有一个，则返回的元组中只有一个元素。

起点为滑块的中心，所以在横轴上坐标位N/2,1.不考虑填充（padding）时推导公式。终点坐标为：横轴总长度-滑块长度的一半。2.考虑填充时推导公式。

这个方法是基于 Xavier Glorot 和 Yoshua Bengio 在他们的论文 “Understanding the difficulty of training deep feedforward neural networks” 中提出的启发式方法，旨在使初始化的权重分布更适合于反向传播算法，并提高模型的训练效果。在神经网络的训练过程中，权重的初始化对模型的收敛速度和泛化能力都有重要影响。: 将权重张量初始化为从正态分布中采样的随机值，并根据激活函数的特性对权重进行缩放。作为初始化的权重张量。

CNN模型的基本原理是通过局部连接和权值共享的方式，对输入数据进行卷积操作，提取出图像的特征信息，再通过池化操作降低特征图的空间大小，最终通过全连接层将特征图映射到分类结果。CNN模型的损失函数可以根据具体的任务而定，常见的损失函数有交叉熵损失函数、均方误差损失函数等。CNN模型防止过拟合的措施可以采用正则化方法，如L1正则化、L2正则化等，同时可以采用dropout方法随机丢弃一定比例的神经元，以避免过拟合的发生。CNN模型效果评估指标也可以根据具体的任务而定，常见的评估指标有准确率、召回率、F1值等。

在向量空间中，两个向量的点积（也称为内积或数量积）可以用几何方式解释。这个公式说明了两个向量的点积等于它们长度的乘积与它们之间夹角的余弦值的乘积。因此，向量的点积可以用来量化两个向量之间的相似度。如果两个向量的夹角越接近。，则它们的点积越大，表示它们越相似；，则它们的点积越小，表示它们越不相似。方向拆分成两个部分：一个在。方向拆分成两个部分：一个在。

self-attention模型理解

LSTM模型理解

GradientBoostingRegressor函数是一个基于梯度提升树模型的回归器。以下是参数默认值描述loss'ls'损失函数类型，可选值为'ls'(最小二乘回归)、'lad'(最小绝对偏差回归)、'huber'(Huber回归)、'quantile'(分位数回归)0.1学习率，每个弱学习器的权重缩减系数100弱学习器的数量subsample1.0每个弱学习器使用的样本比例criterion分裂特征的质量评估准则，可选值为'mse'(均方误差)、(Friedman均方误差)、'mae'