围城

那么结合发射概率和转移概率这些概念，以及CRF所做的假设，或者说其模型公式中的相关限制，依然利用词性标注这个问题来解释：每个单词的词性，他不仅仅和当前的单词有关，他还和前一个单词的词性有关。注意，他是和上一个单词的词性有关。所以建模的时候要干的事情到底是什么？也就是同时考虑当前单词的属性，同时也要考虑上一个标注结果从而输出一个序列解决。相应的，特征函数的写法也就是fXili−1lifXili−1​li​iii指代当前处理单词的位置，lll指标记结果。

20230302。

20230227 -

20230117 -在最初使用Keras进行神经网络编程的时候，除了设置神经元个数，层数，或者激活函数之后，基本上对神经网络内部就不怎么管了，所以最后很多参数都是默认的。这种情况一般遇到的数据集问题，都能轻易解决。一般不是层数非常深的神经网络，偶尔也遇到过梯度爆炸和消失的问题。但最近遇到一个数据集，默认的情况下效果也还行，但希望更进一步。就希望通过权值初始化的角度来进行改进。

20221117 -

20220825 -在前期，一直是使用keras进行深度学习相关的编程，但后来由于学习各种其他源码的缘故，也学习了pytorch的相关方式。使用之后发现，有时候如果对各种损失函数进行深层次的编写的时候，采用pytorch会更方便。因此便查阅了两者的区别和优势，具体见文章[1]。但是在介绍别人文章的时候，先简单说一下自己的感受。

202206026 -最近在看开源代码论文的时候，看到很多作者都是采用torch来进行编码，但是我平时都是使用keras进行编码，所以我自己也准备学习一下。但是因为平时学习的时候，都是有问题就查询一下，毕竟再完整系统的学习太浪费时间了，我也只是想看到作者代码而已。所以这篇文章就来记录下自己学习的过程。1）Understanding PyTorch with an example: a step-by-step tutorial这篇文章算是我学习过程中，第一篇比较基础的文章了，算是非常全面了，通过这篇文章，差

20220626 -最近在做实验的时候，由于结果一直都不怎么好，我就在想是不是过拟合了。那就算不是过拟合，是不是根本没有学习到数据集中的信息呢？想到了这些事情，我就直接把测试集的效果跟随着训练过程直接打印出来了。（当然，实际过程中，肯定是不该以这个过程来作为最终的评判目标，但是在检验阶段还是很有用的）通过查看这个过程就发现，随着训练过程，在前期，的确是发现检验指标在上升，这个过程是很正常的，毕竟前期还是能够学习到一些信息的。（实验过程采用的是自编码器进行异常检测）。但是达到了一定程度之后，大部分时候学习到2

20211130 -（本篇文章属于自己在学习过程中的一些内容记录，正是因为对这些内容不理解，才有了这篇文章，同时会记录一些自己的思考，对与错请仔细斟酌。）0. 引言经过了一年多，上次专门研究GAN是去年的时候，学习了基础的原理，也记录了一些文章；但是当时并没有使用代码跑过，比如简单的GAN或者WGAN这种。各种乱七八糟的文章在吹，什么有了这个，再也不用怕什么什么了。。。无话可说。今年八月份的时候，我就弄过这种内容，当时也是为了学习对抗自编码器才学习了一些内容。但是那个时候，我去复现一些GAN的内容的

0. 引言对于自动编码器的内容，平时仅仅是使用最简单的自编码器，就是隐藏层或者说中间层比输入层的维度小，这样的方式，相对来说比较简单。以前的时候，也知道比如说降噪自编码器，或者说稀疏自编码器这类，但都没有关注过。最近翻阅了一些相关的文章，例如[1]，对自编码器中一些比较有名的方式进行了介绍。本篇文章就针对其中的某些类别展开具体的研究。1. 稀疏自编码器在文章[1]中对稀疏自编码器有所介绍，第一感觉跟添加了Dropout差不多。为了更深入的理解这部分内容，参考[1][自编码器：理论+代码]：自编码器

20210813 -0. 引言最近在实现对抗自编码器的代码，想法是从最简单的模板开始。同时为了能够先找到点感觉，先看看怎么处理MNIST数据。1. 代码示例针对对抗自编码器的代码，找到了两份代码，分别是tensorflow实现和keras实现。其实最开始是弄的keras版本，但是判别器的判别准确率基本上一直稳定在100%，就挺奇怪的。所以，就有弄了个tensorflow来看看，不过这个问题还是没有解答。先把整理代码的过程来记录下，因为代码并不能直接跑。代码地址分别位于[1]和[2]。1.1 Ker

20210524 -0. 引言有时候做实验，一般采用比较简单的分类算法来测试一下这个数据怎么样，比如决策树，随机森林，因为代表编码比较简单，直接sklearn几行代码就完事了。但是最终在测试神经网络的时候，经常性的发现，神经网络的效果还不如决策树好。其实这个结论，我也不是非常惊讶，我就是有点好奇是为什么。现在各种论文里大肆鼓吹神经网络，深度学习，当然对于图像，语音等领域，神经网络提升的效果必然是非常好的。但是，有时候在有些领域，也有人为了发论文来使用神经网络，实际上他的效果用普通的机器学习算法也能达到

2020/02/07 -今天重新开启代码的测试过程，发现对于LSTM的输入输出还是不够理解，所以这部分今天需要再把这部分内容弄一下。2020/02/07 -我觉得我重新编写这部分代码之后，反而这部分内容有些迷惑了。对这部分内容的整体架构有些不理解。我现在疑惑的一个地方就是，如果输入和输出的步长不相等怎么办？我本来的时候是用dense的方式，后来看了一下好像不对，就是timedistri...

20210409 -0.引言一般来说，如果没有什么特殊情况，那么在进行保存模型的时候，通过调用一些api进行保存即可，在文章《深度学习的基础知识与问题汇总》简单介绍了一种方式，直接保存模型，并重新载入。但是在今天的实验中，出现的需求就是，如果定义的模型中，包含了用户自定义的层就会报错，具体情况见[1]，在保存模型的时候没有问题，但是载入时就会报错。简单说明一下实验环境python 3.6.8tensorflow-gpu 2.3.1Keras 2.4.31. 加载模型报错：未定义层在[1]

20210408 -0. 引言最近在进行深度学习相关的实验，但是发现虽然数据每次都一样，最后的实验效果却不是很一样（并非仅仅测试准确率）。在实验过程中，发现是随机数设置的问题。但是已经设置了一些，后来发现其实远远不仅仅是这些，还有一些其他的因素。本人实验环境如下：python == 3.6.9Keras == 2.4.3tensorflow-gpu == 2.3.11. 相关搜索1.1 个人博客在文章[1]中，提供了使用keras时应该进行的相关代码结构，在使用Keras时，主要要进行的

20210312 -0. 引言（本人非专业人士，仅仅记录自己的简单理解，本人所引用代码或文章并未经过实际验证，仅仅参考其中主要思想，如有报错请自行解决）度量学习会在神经网络的训练中，加入或者直接使用相似度作为目标。之前在上一门课程的时候，正好阅读过一篇与此相关的顶会文章，当时对其有了简单理解。简单说，就是讲相似度比较加入到神经网络的结构或者训练目标中。本篇文章用来记录一些相关的内容。1. 孪生网络（对比损失）1.1 直接代码本部分参考文章[1]进行记录。1.1.1 大致原理在文章[1]中，通

20210209 -0. 引言本次写这篇文章是因为最近在训练的过程中，遇到了这个问题，而遇到这个问题其实也挺奇葩。因为之前的时候，也遇到过，但是那时候没有这样想，没有往这个方向想也是因为现象不同。因此也因为这个问题让我反思。首先来说一下具体现象。今天在进行调试神经网络的时候，简单修改了层数和神经元个数，一开始没当回事，但是在重新测试的时候，却发现性能大不如从前，最后损失值稳定在了一个值。这个问题很简单，没什么大不了的，但是如果是以前的话，我就会觉得，肯定是这个数据不太好（因为之前遇到过这种情况

20210128 -引言之前搜索过设置GPU和显存大小的方式，但是升级了新的版本的keras以及tensorflow，导致之前的代码失效了，这里记录一下。本质上，就是版本更换的原因，很多api可能被取消，或者改了别的。原始代码import osimport tensorflow as tffrom keras.backend.tensorflow_backend import set_sessiondef set_up_gpu_environment(gpu_devices_num = 2

0. 引言平时经常在github上使用一些别人的代码，基本上就是直接扒拉过来就开始跑了。不过，经常遇见那种版本不兼容的问题，提示就是没有某个模块，或者没有某个API。本质上是因为tensorflow在发展过程中，很多api已经被取消了。其实在日常的编码过程中，也会遇到这种提示，某个模块或者某个函数将在未来中被取消，请更换某个api的提示。1. 问题描述本次实验是基于开源的char-rnn来进行，一开始选择了star比较高的版本[1]，但是这个版本太老了，连contrib.rnn都不能满足，其要求ten

2020/07/02 -引言实验室的深度学习服务器的环境，因为一直是公用的，各种库总是被人搞得乱七八糟；因为机器上很多个版本的python，我也不知道具体该怎么弄。现在的情况，说是给按照给学生分配jupyter的形式，但实际上有人有密码，有时候也会出现各种库被动。所以这里我就想着能不能实现深度学习库的容器化。而且，我觉得一些提供深度学习服务的厂商，应该也是这种部署方式把，毕竟这种比较方便。那...

20201107 -0. 引言之前的时候，在实验室的深度学习服务器上安装深度学习的环境，部署的文章在《Docker部署容器使用GPU并搭建jupyter环境》，当时很多东西都不是很懂，但是基本上匹配上了版本就没什么问题。但是因为一些原因，底层的驱动被人搞崩了，导致很多命令直接失效了，完全就是崩溃的效果。所以只能选择重装。本次重装，操作系统选取centos8，物理机上还是原来的三块Tesla p100，显卡驱动升级为450，暂时没有必要使用更高版本。本次同样采用docker的部署形式，仅仅需要在底层宿主

20201101 -0. 引言昨天在整理论文的时候，看到了这篇论文《Generating Sequences With Recurrent Neural Networks》，实际上这篇论文我很早就看了，只不过当时没有具体来理解。昨天仔细看了看，发现他的这个网络结构图，跟我之前一致理解的那种形式不太一样，挺奇怪的。1. 其使用的网络结构图这里无法理解的地方，就是为什么他的这个输入和多个隐藏层的都有关系呢？而且看下面的注释，并不是逻辑上的一个演示作用，而是实际的物理连接。那么基于这部分疑惑，我去搜索了

20200910 -0. 引言最近看了PassGAN的代码，他是使用了WGAN-GP的代码作为GAN的框架，来进行密码生成，由此引出了对GAN的学习。在GAN的研究中，有一个方向就是研究如何使GAN更加稳定的训练。在此之中，WGAN和WGAN-GP算是比较好的解决方案。为了弄明白这些东西，也是花费了很长时间，主要是因为这部分都是数学公式的内容，而我这种半吊子也不是搞数学的，也不是专门搞人工智能的，就顺着他们的思路弄明白是怎么回事就好了，对于数学原理还是看看就好了。本篇文章主要是参考了几篇文章，然后结

20200901 -0. 引言之前的时候对keras框架编写的GAN网络进行了介绍《GAN的学习 - 训练过程（冻结判别器）》，但是发现去查看源代码的时候，经常有使用tensorflow框架编写的代码，所以寻思着把tensorflow框架也学一学，但是发现很多内容与keras是不一样的，例如可以自己定位网络参数，训练过程也不仅仅是fit那么简单；在涉及GAN时，更不需要利用trainable这种属性来实现判别器的冻结。本篇文章学习一下利用tensorflow来进行GAN的编写。1. GAN的代码编写

20200824 -0. 引言前面的文章中，了解了GAN的基础知识，同时介绍了实际代码（如何利用GAN来生成MNIST的数据），前面两篇文章中，进行了具体的基础知识铺垫，但是我在实际的训练过程中，也感受到了GAN训练不稳定。本篇文章从这个角度来入手，来讲讲训练过程。前文回顾：1. GAN的训练过程1.1 GAN如何训练在前文中提到GAN是通过训练两个神经来实现生成模型，其中两个模型分别是生成器模型和判别器模型。在训练过程中，判别器将尽可能提高识别真数据和假数据的能力，而生成器将尽可能生成真的数据

20200823 -0. 引言在前一篇文章《GAN的学习》中简单介绍了构造GAN的过程，包括如何构造生成器和判别器，如何训练GAN等，但是其中存在一个问题，就是在训练过程中怎么保证判别器不更新权值。下面针对这部分进行具体的描述。1. 整体的流程...

20200818 -引言最近看到了一些论文，是GAN在密码生成（PassGAN）、DGA检测（DeepDGA）这些论文，所以希望深入了解一下GAN的内容。之前的时候，只是直到GAN是什么东西，通过训练两个神经网络，然后相互促进来实现检测的目标，不过没有深入了解过。这里根据刚刚阅读的一篇文章[1]来记录下学习的内容。大部分内容是文章[1]的原始内容，加上自己的理解。GAN的结构不管是什么网站，只要一介绍GAN就会告诉你：**GAN由两个部分组成，一个部分是生成器，一个部分是判别器。**那么具体，他们

20200818 -引言前面文章中，介绍了字符级别的文本生成《LSTM生成文本（字符级别），在字符级别的生成过程中，利用滑动窗口的形式来持续生成文本。本文中介绍看到的另外一篇基于单词的生成形式。LSTM文本生成本篇文章中，主要参考了kaggle上的一篇文章[1]，在模型中，使用了embedding层，然后输入其实是句子。但是感觉他的代码部分并不是非常友好，也可能是我对模型的使用有些忘记了。数据预处理def generate_padded_sequences(input_sequences):

20200817 -引言在网上看到过一些利用深度学习来生成文本的文章，不管生成宋词也好，生成小说也好，各种各样，都是利用深度学习的模型来生成新的东西。之前的时候，我也一直觉得，他们这种生成方式，应该就是记忆性的东西，他并没有真正的从语义的角度上理解这个文章。当然，我自己也是才疏学浅，本身就不是专门搞这种东西的人。本篇文章中，记录一下我在网上看到的一篇利用LSTM生成文本的文章。需要注意的几个点是1）训练过程中，输入的是什么2）根据输出，预测的又是什么3）最后输出的内容是否可读，又是否有意义，是否

20200813 -引言这里记录一下深度学习使用过程中的一些细节的地方。多分类时预测过程最近发现了一个比较不错的网站[2]，记录了很多关于kera的基础内容，有时间可以好好看看。问题1. 多分类时对于二分类时，最后一层只需要一个神经元，也就是Dense(1)即可；而多分类问题时，需要Dense(classes)。同时，还需要注意，使用的损失函数，二分类是‘binary_crossentropy’，而分类时需要采用’categorical_crossentropy’。另外需要注意的问题