Toby的博客

Diffusion Models 的灵感来自non-equilibrium thermodynamics （非平衡热力学）。理论首先定义扩散步骤的马尔可夫链，以缓慢地将随机噪声添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。与 VAE 或流模型不同，扩散模型是通过固定过程学习，并且隐空间具有比较高的维度。总的来看，Diffusion Models 领域正处于一个百花齐放的状态，这个领域有一点像 GAN 刚提出来的时候，目前的训练技术让 Diffusion Models 直接跨越了 GAN 领

Embedding简单例子

在特征提取中，可以在预先训练好的网络结构后修改或添加一个简单的分类器，然后将源任务上预先训练好的网络作为另一个目标任务的特征提取器，只对最后增加的分类器参数进行重新学习，而预先训练好的网络参数不被修改或冻结。实际上，微调要优于特征提取，因为它能够对迁移过来的预训练网络参数进行优化，使其更加适合新的任务。微调的大致过程是在预先训练过的网络上添加新的随机初始化层，此外预先训练的网络参数也会被更新，但会使用较小的学习率以防止预先训练好的参数发生较大改变。常用方法是固定底层的参数，调整一些顶层或具体层的参数。

Embedding在深度推荐系统中的3大应用方向 - 知乎这里是 「王喆的机器学习笔记」的第十七篇文章，之前已经有多篇专栏文章介绍了从Word2Vec，到Graph Embedding，再到深度学习CTR模型等等Embedding相关的知识。作为深度学习推荐系统模型和CTR模型中不可或缺的“基…https://zhuanlan.zhihu.com/p/67218758在深度学习方向，Embedding、表征学习可谓是基石，是皇冠上的明珠了。这里是「王喆的机器学习笔记」的第十七篇文章，之前已经有多篇专栏文

几种常见的Graph Embedding方法_RecDay2018's Blog-优快云博客_edge embedding图（Graph）是一个常见的数据结构，现实世界中有很多很多任务可以抽象成图问题，比如社交网络，蛋白体结构，交通路网数据，以及很火的知识图谱等，甚至规则网络结构数据（如图像，视频等）也是图数据的一种特殊形式。针对graph的研究可以分成三类：1.简单的graph算法：如生成树算法，最短路算法，复杂一点的二分图匹配，费用流问题等等；2.概率图模型：将条件概率表达为图结构，并进一步挖掘，典型

写在前面：翻译自经典的梯度下降法的总结文章An overview of gradient descent optimization algorithms

写在前面：有些博主对这个问题的解释很好，这里也做了参考：详解机器学习中的梯度消失、爆炸原因及其解决方法1、什么是梯度消失、梯度爆炸2、为什么会发生梯度消失、梯度爆炸3、梯度消失、梯度爆炸在深度学习、机器学习模型训练中的表现形式4、在模型中快速定位梯度消失、梯度爆炸问题5、梯度消失、梯度爆炸问题的解决方法6、总结...

最近看tensorflow2官方API文档，尤其是tf.keras API文档，梳理下其框架，形成脑图，方便自己记忆，也有助于形成一张相互关联的知识图。如下：

在TensorFLow2中进行神经网络模型的训练主要包括以下几个主要的步骤：导入相关模块import 准备数据，拆分训练集train、测试集test 搭建神经网络模型model (两种方法：Sequential或自定义模型class) 模型编译model.compile() 模型训练model.fit() 查看模型model.summary() 模型评价 模型预测model.predict()model.compile()的作用就是为搭建好的神经网络模型设置损失函数loss、优化器opt

在使用tensorFlow2搭建神经网络模型的时候，除了Sequential的方法，还有就是自己写模型class，然后初始化。自己写模型类的优势就是可以自定义层与层之间的连接关系，自定义数据流x的流向。这是为鸢尾花数据做的一个简单基础的神经网络模型代码：class IrisModel(Model): #继承TF的Model类 def __init__(self): #在这里定义网络结构块 super(IrisModel, self).__init__() s

写在前面：这是翻译自colah的一篇博客，原文关于LSTM神经网络模型的理解写的非常直观、简单易懂，所以翻译过来帮助大家学习理解LSTM模型。当然我不是按照原文一字不落的翻译，而是摘出其中对模型理解最有帮助的部分，然后用我自己理解的方式和语言来写的博文。这是我翻译博文的一贯做法。有兴趣的可以自行去看原文，比较简短，原博客地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/一、循环神经网络RNNRNN循环神经网络使用循环核来实

转自量子位：王小新 编译自 Medium，原文地址：https://www.sohu.com/a/160696860_610300卷积神经网络作为深度学习的典型网络，在图像处理和计算机视觉等多个领域都取得了很好的效果。Paul-Louis Pröve在Medium上通过这篇文章快速地介绍了不同类型的卷积结构（Convolution）及优势。为了简单起见，本文仅探讨二维卷积结构。卷积首先，定义下卷积层的结构参数。△卷积核为3、步幅为1和带有边界扩充的二维卷积结构卷积核大小（Kern

1、概念理解Batch、Iteration、Epoch是在模型训练阶段的概念。在模型训练时，我们选择优化算法，如梯度下降法（全批量梯度下降法BGD、小批量梯度下降法mini-Batch、随机梯度下降法SGD），对模型参数进行调整训练。那么，这里梯度下降法使用的数据量即为batch_size，整个样本N需要的batchs数为：N/batch_size。而使用梯度下降法完成一次参数更新，称为一次迭代，即 iteration。整个样本训练完成需要的迭代次数iterations = batchs

TensorFlow实战-Google深度学习框架

原文链接：https://blog.youkuaiyun.com/qq_35799003/article/details/84780289原文是翻译的google developer的机器学习入门课程。主要觉得有几个点，很能说明embedding的本质，以及为什么要用embedding来做矢量化。以下我对原文做了我需要的信息的摘录，需要阅读原文的请自行去上面链接查看。1、分类数据矢量化分类数据是指表示来自有限选择集的一个或多个离散项的输入特征。分类数据最直接的是通过稀疏张量(sparse tensors).

转自博文：https://borgwang.github.io/ml/2019/07/28/loss-functions-in-ml.htmlhttps://mp.weixin.qq.com/s/e84CSBSXGaHwTqKGEOwXCA作者｜王桂波来源｜https://zhuanlan.zhihu.com/p/77686118机器学习中的监督学习本质上是给定一系列训练样本，尝试学习的映射关系，使得给定一个，即便这个不在训练样本中，也能够得到尽量接近真实的输出。而损失...

深度学习在搜索推荐上的应用参考文章阿里搜索团队智能内容生成实践 【阿里云开发者社区文章】 DNN在YouTube推荐上的应用【论文精读Deep Neural Network for YouTube Recommendation】 用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践（安利阿里淘宝搜素推荐事业部大牛清凇） DNN论文分享 - Item2vec 推荐系统遇上深度学习--阿里DMR：Matching和Ranking相结合的点击率预估模型..

选自mlfromscratch作者：Casper Hansen机器之心编译在计算每一层的激活值时，我们要用到激活函数，之后才能确定这些激活值究竟是多少。根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值。但在将该值发送给下一层之前，我们要使用一个激活函数对这个输出进行缩放。本文将介绍不同的激活函数。在阅读本文之前，你可以阅读我前一篇介绍神经网络中前向传播和反向传播的文章，其中已经简单地提及过激活函数，但还未介绍其实际所做的事情。本文的内容将建立在你已了解前一篇文章.