Cy_coding的博客

本文主要记录了将中文字符串转换为list的过程，其中我们使用了keras preprocessing中的text_to_word_sequence方法。这个方法是完全适配中文的。需要注意的是，中文语料一般字符之间是没有空格分割的，这与英文是不同的。如下所示，如果我们直接进行转换，由于没有空格分词，会将字符串默认为一个字符。from tensorflow.keras.preprocessing.text import text_to_word_sequencetext = '我是人'token = te

分布式训练本质上是为了加快模型的训练速度，面对较为复杂的深度学习模型以及大量的数据。单机单GPU很难在有限的时间内达成模型的收敛。这时候就需要用到分布式训练。分布式训练又分为模型并行和数据并行两大类。数据并行在于...

本文分享了我在silent speech 项目过程中实现的基于嘴唇图像数据集的autoencoder自编码器。输入输出都是64∗6464*6464∗64的嘴唇灰度图。自编码器由编码解码两个部分构成，同时实现了利用checkpoint在每个epoch运算时，自动保存测试集loss更小的模型。数据集共包含84679张图片，其中前68728张图片作为训练集，后15951张图片作为测试集。import tensorflow as tffrom tensorflow.keras import layersf

在之前，我总结了关于计算机神经网络与梯度下降的核心，详见下文链接 :一文看懂计算机神经网络与梯度下降本文主要会对图像相关的机器学习中最为重要的网络，卷积神经网络作个人的理解分析。在讲述原理之前，我们先来解释为什么我们在图像及视频等等领域的机器学习中要使用CNN。我们都知道，使用多层感知器或者有隐藏层的神经网络可以帮助我们解决分类，聚合，回归问题。但当我们的输入输出转变为高维度的数据，例如图片时，不可避免地要面临神经元以及参数量过大的问题。假设我们使用一张720*480的图片作为输入，一张图片对应的参数

机器学习中，针对不同的问题选用不同的损失函数非常重要，而均方误差就是最基本，也是在解决回归问题时最常用的损失函数。本文就keras模块均方误差的计算梳理了一些细节。

权重的初始化，决定了模型训练的起点。一个良好的初始化可以加快训练过程，同时避免模型收敛至局部最小值。为了在训练过程中避免使得权重的变化总沿着同一个方向，我们尽量避免将所有权重都初始化为同一个值，如全0矩阵或全1矩阵。往往我们使用均匀分布或者正则分布初始化权重矩阵。在使用tensorflow框架时，keras为我们提供了许多封装好的层，其中常见的有Dense全连接层，Conv2D卷积层等等。查阅文档我们发现默认的权重初始化都使用了glorot uniform :Wij⇝U(−6n+m,6n+m) W_{i

Autoencoder是常见的一种非监督学习的神经网络。它实际由一组相对应的神经网络组成（可以是普通的全连接层，或者是卷积层，亦或者是LSTMRNN等等，取决于项目目的），其目的是将输入数据降维成一个低维度的潜在编码，再通过解码器将数据还原出来。因此autoencoder总是包含了两个部分，编码部分以及解码部分。编码部分负责将输入降维编码，解码部分负责让输出层通过潜在编码还原出输入层。我们的训练目标就是使得输出层与输入层之间的差距最小化。我们会发现，有一定的风险使得训练出的AE模型是一个恒等函数，这是一.

GAN(Generative Adversarial Networks) 生成对抗网络的基本原理及其在mnist数据集上的实现。使用Tensorflow API实现

交叉熵损失函数softmax

交叉验证K折叠验证

本文主要谈谈自己对step，epoch，batch_size这几个常见参数的理解。

本文着重介绍了计算机神经网络的基本构成，及梯度下降算法在神经网络中的运用，包括了反向传播算法及如何使用tensorflow计算梯度。