不定时分享电力优化、神经网络、数学建模等技术等

长短期记忆网络（LSTM）对大数据训练具有很强的适应性和出色的扩展性，相较于RNN无法处理长期依赖的问题具有很大的优势。基于LSTM神经网络，针对人为经验调参困难的问题，提出了一种基于贝叶斯优化的LSTM模型，使用贝叶斯对LSTM的超参数进行优化，得到最佳的LSTM参数设置情况，并使用该最佳网络进行实际回归预测，结果表明，基于贝叶斯优化的LSTM模型表现出了良好的性能，预测精度较高。

本文使用CNN-LSTM混合神经网络对时间序列数据进行回归预测。本模型的输入数据个数可以自行选择，可以为多输入、也可以为单输入，使用Matlab自带的数据集进行训练，可以轻松的更换数据集以实现自己的功能。首先使用CNN网络对输入数据进行深度特征提取，然后将提取到的抽象特征进行压缩，将压缩后的数据输入后续的LSTM网络进行回归预测。相比一般的单层网络结构，本文所提出的CNN-LSTM包含了三层CNN和三层LSTM网络，因此本文网络预测的准确度有了一定的提升。

生成对抗网络 (GAN) 是一种深度学习网络，它能够生成与真实输入数据具有相似特征的数据。本文基于Matlab平台，使用Matlab自带的深度学习工具箱和自带的训练数据，构建了卷积生成对抗网络（DCGAN），实现了对彩色图片的样本生成，其中生成器的输入是噪声序列，输出是生成的图片；判别器的输入是真实的图片和生成器生成的虚伪图片，输出是该图片是真实图片的概率。生成对抗网络训练过程中生成器和判别器互相对抗，最后到达平衡，即生成器生成的图片使得判别器无法判断是真实的还是虚假的。

此示例说明如何使用机器学习（SVM）和深度学习（LSTM）方法对语音数字信号进行分类。在此示例中，将使用小波时间散射配合支持向量机 (SVM) 和长短期记忆 (LSTM) 网络执行分类。使用小波散射技术快速将原始数据中的特征提取出来，从而为后续网络的分类提供可靠的数据特征。使用SVM和LSTM分别对序列数据进行分类，并测试其准确度，其中SVM使用K折交叉验证的方式进一步优化其性能。

本文要用到的卷积神经网络(ConvolutionalNeural Network，CNN),主要包含卷积技术以及深度神经网络。区别传统的机器学习,卷积神经网络将特征提取器与机器学习有机的结合了起来。卷积神经网络处理的数据形式,具有局部与整体的关系,并且由低层次特征组合可以形成高层次的特征,还能得到不同特征间的空间相关性。本文基于Matlab平台与自带的深度学习工具箱（Deep Learing toolbox），构建了一维卷积神经网络，实现多输入特征的一维向量分类任务。

此示例演示如何通过将二维卷积神经网络（CNN）与长短期记忆（LSTM）层相结合，为多输入的语音序列分类任务创建二维CNN-LSTM网络。CNN通过将滑动卷积滤波器应用于输入来处理序列数据。CNN可以从空间和时间维度学习特征。LSTM网络通过循环时间步长和学习时间步之间的长期依赖关系来处理序列数据。CNN-LSTM网络使用卷积层和LSTM层从训练数据中学习。

为了充分挖掘电力负荷与多维特征因素的非线性关系，提高负荷预测精度，提出了一种基于随机森林和双向长短期记忆(Bi-LSTM)网络的超短期负荷预测方法。首先，采用滑动时间窗口的方式构建神经网络的输入数据，使其输入前几个时间点的负荷值以预测下一时间点的负荷值，提高网络的精度；其次，构建多层Bi-LSTM 网络，对时间窗口特征的负荷数据进行预测；最后，采用某市真实负荷数据进行仿真分析。结果表明，所提方法与传统预测方法相比，具有更高的预测精度，为精确预测具有多维特征因素的负荷提供参考。

为了防止训练过程添加过多填充，您可以按序列长度对训练数据进行排序，并选择合适的小批量大小，以使同一小批量中的序列长度相近。网络，旨在根据表示连续说出的两个日语元音的时间序列数据来识别说话者（多特征输入的分类任务）。在训练过程中，默认情况下，软件将训练数据拆分成小批量并填充序列，使它们具有相同的长度。如果您不能在预测时访问完整序列，例如，您正在预测值或一次预测一个时间步时，则改用。网络允许您将序列数据输入网络，并根据序列数据的各个时间步进行预测。，如果这里产出近似于零，将把这里的值挡住，不会进到下一层。

提高光伏功率预测精度，对于保证电力系统的安全调度和稳定运行具有重要意义。本文提出一种经验模态分解（EMD）、主成分分析（PCA）和长短期记忆神经网络（LSTM）相结合的光伏功率预测模型。充分考虑制约光伏输出功率的5种环境因素，首先利用EMD将环境因素序列进行分解，得到数据信号在不同时间尺度上的变化情况，降低环境因素序列的非平稳性；其次利用PCA提取特征序列的关键影响因子，消除原始序列的相关性和冗余性，降低模型输入的维度；最终利用LSTM网络对多变量特征序列进行动态时间建模，实现对光伏发电功率的预测。

基于Maltab平台，使用自带的深度学习工具箱和自带的手写图片数据，实现基于卷积神经网络的回归预测，主要是用来预测手写图片的旋转角度，通过大量的训练和预测，实现对手写数字图片的角度矫正，使原本角度错位的图片变为正常角度的图片。本文代码已做标准化处理，通过替换程序中的数据，使用者可方便的实现自己所需的预测回归功能。本代码为博主亲手编写，注释超级详细，适合初学者入门学习。(1条消息) 基于卷积神经网络CNN的图片分类实现——附代码_神经网络与数学建模的博客-优快云博客本文代码获取方法见文末。

比如说我们要训练一个(n -> m -> k) 结构的网络，实际上我们是先训练网络(n -> m -> n)，得到(n -> m)的变换，然后再训练(m -> k -> m)网络，得到(m -> k)的变换。因此，其输入的大小将与其输出的大小相同。同样，再把一阶特征输入到刚训练好的第二层稀疏自编码器中，得到每个(h(1)(k))对应的二阶特征激活值$h(2)(k) $。接着，你需要把原始数据输入到上述训练好的稀疏自编码器中，对于每一个输入(x(k))，都可以得到它对应的一阶特征表示(h(1)(k))。

本文通过蜜蜂优化算法，优化了卷积神经网络(CNN)中的超参数，主要是网络的权重和偏差等关键参数，使CNN可以达到更加优秀的性能表现，通过使用优化后的CNN进行图像分类任务，从所得结果可以看出，蜜蜂优化算法对CNN的分类准确度的提升很大，在训练过程中CNN的分类准确度甚至可以达到100%，充分展示了本文所提方法的有效性。

使用Matlab自带的深度学习工具箱构建卷积神经网络（CNN）进行图片分类，以识别并分类手写数字为例。首先将大量的图片数据导入；然后给不同种类的图片打上对应的分类的标签，划分为训练集和测试集；构建CNN网络其中包括3层2维卷积和3个池化层，全连接层及分类层；调整好输入输出格式对CNN进行训练及测试；最后结果表明CNN可以有效的对手写数字图像进行分类。

由于电力负荷具有很强的时间相关性，仅通过上一时刻的负荷预测下一时刻的负荷并不能有效的反应复杂的时间关系，同时也没有充分的利用历史负荷数据的全部信息。所以本文通过滑动时间窗技术将多个历史时间内的负荷情况组合起来，预测下一时刻的负荷情况，并不断向前移动，以完成全天内的负荷预测。本文使用LSTM和Bi-LSTM，以电力负荷预测为例对比了两者的预测性能，其中将电力负荷构造为滑动时间窗的形式作为网络输出输入，实现LSTM与Bi-LSTM网络的多输入单输出模型，相比于单输入单输出的模型有更高的准确性。