小吴同学的小屋

内含Python多进程相关知识，包含multiprocessing，Queue具体代码示例和一些可能遇到的问题以及解决方案。

序列模型 对于序列学习问题如果我们使用标准的神经网络，则会有一些问题 输入和输出在不同的例子中有不同的长度，即使定义最大长度后补零也效果可能会比较差 对于NLP等领域的问题时，输入的维度过大，导致参数过多，神经网络不好训练 序列模型可以很好的帮助我们解决这些问题 RNN(recurrent neural network) 对于RNN而言，在前面的时间步的信息会影响到后面的结果。我们可以先初始化一个零向量a<0>a^{<0>}a<0>和x<1>x^{&lt

self attention 在听了李宏毅老师关于self attention的讲解后我觉得讲的非常好????，下面是我在听完课之后做的一些学习记录，主要的参考是李宏毅老师的网课和课件（文末给出）。 self attention在NLP和很多其它领域都有着广泛的应用，以词性标注为例。 I saw a saw 这里的第一个"saw"是动词，第二个“saw”是名词（锯子），对于词性标注而言，模型的输入和输出的数量是相同的 我们先考虑最简单的情况 假设我们将这些词单独输入到一个全连接层，再输出，那么明显我们没

LDA（线性判别分析）的学习笔记

参考资料（大量参考了第一个链接，里面讲的非常详细）： https://zhuanlan.zhihu.com/p/77151308 统计学习方法（李航） https://zhuanlan.zhihu.com/p/29846048 https://zhuanlan.zhihu.com/p/58064462

Logistic regression 与二分类 假设我们有一个二分类问题，输入是一张图像，我们需要判断这张图像是否为猫的图像。也就是说我们需要一个输出，输出为0则代表不是猫的图像，输出为1则代表是猫的图像。 对于线性回归而言，我们有y=θxy=\theta xy=θx,但是线性回归并没有办法将输出的结果控制在0和1之间，logistic回归则可以帮助我们解决这个问题。我们先来看一下logistic回归的表达式 y=11+e−z y = \frac{1}{1+e^{-z}} y=1+e−z1​ 其中z=ω