weixin_41168869的博客

原创 dataprp库本地参数

Local ParameterTypeDefaultDescriptionhist.binsint50Maximum number of bins to display in the Histogramhist.yscalestrlinearY-axis scale (linear or log) for the Histogrambar.barsint10Maximum number of bars to display in the Bar Char

原创 DTW(Dynamic Time Warping)动态时间规整

转载于知乎（比如不同的人读同一个词的音频序列）。，得到最大可能的相似度。DTW采用了动态规划DP（dynamic programming）的方法来进行时间规整的计算，可以说，。下面测试程序显示了 6组时间序列 的DTW结果，左上和右下的两组相似度较高，其DTW计算的距离（Warping Distance）也确实比较小。以下内容绝大部分来自。

原创 损失函数有哪些？

在分类问题中，模型输出的是每个类别的概率，交叉熵损失函数用于衡量模型预测的概率分布与真实标签的差异。它的思想是在训练分类器时，让所有正确分类的样本离分类超平面的距离最远，并且所有错误分类的样本都被正确分类。Hinge损失函数的值在正确分类的样本处为0，而在错误分类的样本处等于预测值和真实值的差距。MSE是回归问题中最常见的损失函数之一。它的思想是，计算真实标签的概率分布与模型预测的概率分布之间的差异。这些损失函数都是在机器学习和深度学习中常见的重要损失函数，它们能够帮助我们评估模型的性能并优化模型的参数。

原创 python生成中文PDF文件的5个方法

ReportLab库支持包括文字、线条、配色、图形、图片等在内的多种元素绘制，但默认不支持中文。WeasyPrint 是一个将HTML+CSS内容转换为PDF的Python库，非常适合需要首先通过HTML生成内容，然后再转成PDF的情况。PyPDF2 是最常用的PDF处理库，它支持PDF的分页、合并、剪辑以及插入图片、文字等内容。中文字体支持：在TeXLive中安装xelatex或lualatex，并使用CTeX宏包。中文字体支持：直接使用系统中的已安装字体或者自己下载一个开源中文字体并安装，例如。

原创 M5-competition第一名代码解析学习-3-1. Final ensemble.py

【代码】M5-competition第一名代码解析学习-3-1. Final ensemble.py。

原创 M5-competition第一名代码解析学习-2-2. nonrecursive_store_cat_PREDICT.py

【代码】M5-competition第一名代码解析学习-2-2. nonrecursive_store_cat_PREDICT.py。

原创 M5-competition第一名代码解析学习-2-3. nonrecursive_store_dept_PREDICT.py

【代码】M5-competition第一名代码解析学习-2-3. nonrecursive_store_dept_PREDICT.py。

原创 M5-competition第一名代码解析学习-1-3. recursive_store_dept_PREDICT.py

【代码】M5-competition第一名代码解析学习-1-3. recursive_store_dept_PREDICT.py。

原创 M5-competition第一名代码解析学习-2-1. nonrecursive_store_PREDICT.py

【代码】M5-competition第一名代码解析学习-2-1. nonrecursive_store_PREDICT.py。

原创 M5-competition第一名代码解析学习-1-2. recursive_store_cat_PREDICT.py

【代码】M5-competition第一名代码解析学习-1-2. recursive_store_cat_PREDICT.py。

原创 M5-competition第一名代码解析学习-1-1. recursive_store_PREDICT.py

【代码】M5-competition第一名代码解析学习-1-1. recursive_store_PREDICT.py。

原创 M5-competition第一名代码解析学习-2-3. nonrecursive_store_dept_TRAIN.py

【代码】M5-competition第一名代码解析学习-2-3. nonrecursive_store_dept_TRAIN.py。

原创 M5-competition第一名代码解析学习-2-2. nonrecursive_store_cat_TRAIN.py

【代码】M5-competition第一名代码解析学习-2-2. nonrecursive_store_cat_TRAIN.py。

原创 M5-competition第一名代码解析学习-2-1. nonrecursive_store_TRAIN.py

【代码】M5-competition第一名代码解析学习-2-1. nonrecursive_store_TRAIN.py。

原创 M5-competition第一名代码解析学习-1-3. recursive_store_dept_TRAIN.py

【代码】M5-competition第一名代码解析学习-1-3. recursive_store_dept_TRAIN.py。

原创 M5-competition第一名代码解析学习-1-2. recursive_store_cat_TRAIN.py

【代码】M5-competition第一名代码解析学习-1-2. recursive_store_cat_TRAIN.py。

原创 M5-competition第一名代码解析学习-1-1. recursive_store_TRAIN.py

【代码】M5-competition第一名代码解析学习-1-1. recursive_store_TRAIN.py。

原创 M5-competition第一名代码解析学习-1. preprocessing.ipynb

具体来说，使用了Pandas中的groupby方法，将数据表按照’store_id’和’item_id’进行分组，然后对每个分组内的’sell_price’列进行了shift(1)操作，即将每个分组内的’sell_price’列整体向下移动一位，再用整个’sell_price’列除以移动后的结果，生成’price_momentum’新列。np.iinfo(np.int8).min表示获取np.int8数据类型的最小值，np.iinfo(np.int8).max表示获取np.int8数据类型的最大值。

翻译 递归神经网络教程，第 4 部分 – 使用 Python 和 Theano 实现 GRU 和 LSTM RNN

翻译 递归神经网络教程，第 3 部分 – 随时间反向传播和梯度消失

翻译 递归神经网络教程，第 2 部分 – 使用 Python、Numpy 和 Theano 实现 RNN

翻译 递归神经网络教程，第 1 部分 – RNN 简介

翻译 Informer：超越用于长序列时间序列预测的高效变压器

翻译 稀疏矩阵的稳定 SOFTMAX

翻译 从零开始transformers

home blogTRANSFORMERS FROM SCRATCH18 Aug 2019 code on github video lecture 18 Aug 2019 代码在 github 视频讲座Transformers are a very exciting family of machine learning architectures. Many good tutorials exist (e.g. [1, 2]) but in the last few years, tran

原创 残差连接的作用

更具体地说，残差连接将前一层的输出直接添加到当前层的输出中，从而提供了一种绕过非线性变换的路径。在传统的神经网络中，每个层的输出都是通过对前一层输出的非线性变换得到的。这种情况下，网络的性能可能会受到影响，同时也会出现梯度消失或梯度爆炸的问题。总之，残差连接是一种用于解决深度神经网络中梯度消失和梯度爆炸问题的技术，它可以通过添加跨层连接来提供一种绕过非线性变换的路径，从而帮助网络更好地学习和收敛。如果当前层的输入和输出的维度不同，可以使用一个全连接层来将输入的维度映射到输出的维度，然后再进行残差连接。

原创 Pytorch中continuous()的作用

是用于检查张量是否是按照内存中的连续顺序存储的函数。如果张量是按照内存中的连续顺序存储的，则返回原始张量；否则将会创建一个新的连续张量，并将数据复制到该张量中。不是按照内存中的连续顺序存储的，而 PyTorch 许多操作都要求输入张量是按照内存中的连续顺序存储的。可以确保张量是按照内存中的连续顺序存储的，并且可以与其他 PyTorch 函数一起使用。已经按照内存中的连续顺序存储了，并且可以进行各种操作。的维度 1 和 2 已经被交换了。的维度 1 和 2，然后将结果保存在新的张量。在 PyTorch 中，

翻译 在 TF2 中创建和训练神经机器翻译模型

注意力允许模型根据需要专注于输入序列的相关部分，访问编码器过去的所有隐藏状态，而不仅仅是最后一个”，[8] 张汉豆的“Seq2seq Model with Attention”。“对齐向量是与输入或源序列长度相同的向量，并在解码器的每个时间步长进行计算”，[9] Renu Khandelwal的“注意：具有注意力机制的序列2序列模型”。该模型的关键点是如何让编码器在单个输出元素中向解码器提供其输入序列的最完整和最有意义的表示，因为此向量或状态是解码器从输入接收以生成相应输出的唯一信息。

翻译 使用 Python 进行深度学习路线图

在第一部分中，使用Scikit-Learn进行机器学习，在第二部分中，使用TensorFlow和Keras进行深度学习。要构建一个好的深度学习模型，您需要理解和解释与您正在处理的领域相关的数据。您了解了深度学习和机器学习之间的区别、重要算法、应用领域、框架以及构建深度学习模型需要了解的领域。变形金刚在翻译一个句子时，首先将句子分成小部分，然后进行许多数学计算来确定每个部分的含义，然后将这些部分放在一起形成一个完整的句子。另一个突破性的深度学习算法是GAN，用于增加产量，特别是在艺术和视频游戏等领域。

原创 常用的激活函数理解

常见的激活函数包括sigmoid函数、ReLU函数、Leaky ReLU函数、ELU函数、tanh函数、softmax函数和 gelu函数等。下面对每种激活函数进行详细介绍。

原创 LSTM原理

LSTM由四个主要部分组成：遗忘门（forget gate）、输入门（input gate）、单元状态（cell state）和输出门（output gate）。LSTM是一种递归神经网络（RNN），用于处理序列数据。它具有比标准RNN更好的长期依赖性能力，这是通过使用称为“门控”机制的方法来实现的。LSTM通过门控机制控制信息的输入、输出和遗忘，从而有效地处理序列数据中的长期依赖关系。最后，计算当前时刻的单元状态。，前一时刻的隐藏状态为。是sigmoid函数。接下来，计算新单元状态。

原创 Pytorch时序数据集制作

不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据归一化/标准化处理，以解决数据指标之间的可比性。训练集有三个维度，即 [样本数，时间步，特征维度]，假设训练集的维度为[4494，20，8] ，样本数就不用多说了，时间步就是利用过去多长时间来预测未来的数据，如果我们设置为30，那就是基于过去30天的样本数据来预测未来1天的数据，特征维度为8，包含温度、风速、降水等特征。如果输入的张量列表只有一个，则返回的元组中只有一个元素。

原创 CNN卷积输出特征图尺寸手推公式

起点为滑块的中心，所以在横轴上坐标位N/2,1.不考虑填充（padding）时推导公式。终点坐标为：横轴总长度-滑块长度的一半。2.考虑填充时推导公式。

原创 PyTorch 中常用的初始化神经网络权重的函数

这个方法是基于 Xavier Glorot 和 Yoshua Bengio 在他们的论文 “Understanding the difficulty of training deep feedforward neural networks” 中提出的启发式方法，旨在使初始化的权重分布更适合于反向传播算法，并提高模型的训练效果。在神经网络的训练过程中，权重的初始化对模型的收敛速度和泛化能力都有重要影响。: 将权重张量初始化为从正态分布中采样的随机值，并根据激活函数的特性对权重进行缩放。作为初始化的权重张量。

原创 CNN模型理解

CNN模型的基本原理是通过局部连接和权值共享的方式，对输入数据进行卷积操作，提取出图像的特征信息，再通过池化操作降低特征图的空间大小，最终通过全连接层将特征图映射到分类结果。CNN模型的损失函数可以根据具体的任务而定，常见的损失函数有交叉熵损失函数、均方误差损失函数等。CNN模型防止过拟合的措施可以采用正则化方法，如L1正则化、L2正则化等，同时可以采用dropout方法随机丢弃一定比例的神经元，以避免过拟合的发生。CNN模型效果评估指标也可以根据具体的任务而定，常见的评估指标有准确率、召回率、F1值等。

翻译 梯度消失问题

原创 self-attention中根号d的由来

是相互独立的，则它们的乘积的期望等于各自的期望的乘积。这个性质在概率论和统计学中经常被用到。是独立的随机变量，因此它们的乘积的期望等于各自的期望的乘积。这是因为两个随机变量的乘积的期望等于各自的期望的乘积【注1】。个随机变量的线性组合。因此，根据线性组合的性质，个随机变量是独立的，

原创 向量内积的几何含义

在向量空间中，两个向量的点积（也称为内积或数量积）可以用几何方式解释。这个公式说明了两个向量的点积等于它们长度的乘积与它们之间夹角的余弦值的乘积。因此，向量的点积可以用来量化两个向量之间的相似度。如果两个向量的夹角越接近。，则它们的点积越大，表示它们越相似；，则它们的点积越小，表示它们越不相似。方向拆分成两个部分：一个在。方向拆分成两个部分：一个在。

原创 self-attention模型理解

self-attention模型理解

原创 LSTM模型理解

LSTM模型理解