qq_30232405的博客

文章目录1.背景2.Meta-learning理解2.1 Meta-learning到底做什么2.2 MAML算法2.3 MAML算法步骤2.4 MAML代码分析和实现3.参考文章1.背景meta-learning区别于pretraining，它主要通过多个task来学习不同任务之间的内在联系，通俗点说，也即是通过多个任务来学习共同的参数。举个例子，人类在进行分类的时候，由于见过太多东西了，且已经学过太多东西的分类了。那么我们可能只需每个物体一张照片，就可以对物体做到很多的区分了，那么人是怎么根据少量

文章目录1.背景2.稀疏矩阵输入构造3.稀疏数据模型训练3.1 利用tensorflow中的tf.SparseTensor3.2 模型的测试的代码1.背景最近在做模型训练，发现在导入大量数据时，由于要进行预处理（concat和reshape操作等），导致内存会占满，使得程序出错。由于输入数据存在大量的稀疏情况，想着能不能输入数据时利用稀疏矩阵进行保存，然后输入到模型中进行训练。2.稀疏矩阵输入构造python中scipy.sparse模块，能够有效的对输入数据进行稀疏化存储。但缺点在于稀疏矩阵必定只

1.背景这次分享的是kaggle比赛Tweet Sentiment Extraction的第13名次的方法，作者主要用针对数据集进行前置处理或者是后置处理，具体原文：https://www.kaggle.com/c/tweet-sentiment-extraction/discussion/1595052.主要方法2.1 Roberta Model这次比赛，大部分都是用了Roberta模型，其基础的模型使用demo如下：https://www.kaggle.com/cdeotte/tensorf

1.前言前面已经推导过线性回归和逻辑斯特回归的梯度下降算法。线性回归的梯度下降算法：https://blog.youkuaiyun.com/qq_30232405/article/details/104153928逻辑斯特回归的梯度下降算法：https://blog.youkuaiyun.com/qq_30232405/article/details/104486826它们各自的梯度下降算法公式为：线性回...

文章目录1. 前言2.矩阵分析2.2 奇异值分解（SVD）2.2.1 SVD定理2.2.2 从结论反推的证明过程2.2.3 从条件正推的证明过程2.3 特征分解和奇异值分解的关系1. 前言最近几天一直在学习矩阵的知识，恶补了特征分解和SVD算法，发现网上很多资料都是不全的，所以想记录一下这里面的特征分解推导过程+奇异值分解（SVD）推导过程要看懂下面的方法，可以提前看矩阵的一些基础知识：h...

文章目录1. 前言2.矩阵的进阶知识2.1 特征分解（谱分解）=>只可以用在方阵上2.1.1 特征分解的原理2.1.2 特征分解的合理性2.1.3 特征分解的计算2.1.4 对称矩阵的特征分解（这个性质后面SVD推导用到）1. 前言要学会矩阵的特征分解，可以提前看矩阵的一些基础知识：https://blog.youkuaiyun.com/qq_30232405/article/details/10...

文章目录1.矩阵的一些基础知识1.1 矩阵只有乘法1.2 向量有点乘(也是内积)和叉乘：1.3 单位向量1.4 正交矩阵1.5 线性无关和线性相关的向量1.6 矩阵的逆1.7 对称矩阵1.7 矩阵的秩（rank）1.8 伴随矩阵1.9 矩阵的零空间1.10 矩阵的扩展基定理1.矩阵的一些基础知识1.1 矩阵只有乘法1.2 向量有点乘(也是内积)和叉乘：（1）点乘就是两个对应向量值相乘：得...

1. 前言在之前已经简单阐述了“线性回归”模型，具体的介绍地址为：https://blog.youkuaiyun.com/qq_30232405/article/details/104153928这种简单的线性回归在拟合复杂模型的时候，会出现拟合能力不足的情况。例如下图已经存在的数据：横坐标表示：tumor size（肿瘤大小），用xxx表示。横坐标：malignant（恶行肿瘤），可以用如下公...

1.前言最近研究了Transformer模型，主要参考了github里面对Transformer的实现，其代码为：https://github.com/Kyubyong/transformer而我自己实现的弹幕生成代码的github地址为：https://github.com/llq20133100095/transformer_barrages2.模型原理2.1 Transforme...

1.前言最近在利用transformer自动化生成弹幕。在transformer的实现中，用到了一个标准BLEU标准。这个标准全称为bilingual evaluation understudy。同时参考了一些文章的介绍：机器翻译评测——BLEU算法详解：http://www.cnblogs.com/by-dream/p/7679284.html最后根据自己的理解解释一下这个算法的含义。...

1.代价函数（cost function）1.1 代价函数图像上图两个坐标表示参数θ0\theta_0θ0​和θ1\theta_1θ1​，它们是动态变化的。通常使用contour figure（等高线线）来描述上面的3D图像：在右图的等高线中，每个圆圈上面的点的值是一致的。当前红色点处于参数$\theta_0 = 800, \theta_1 = -0.15$对应于左图的直线，但这时候的...

1.贝叶斯定理（1）首先假定一个属性值在给定类的影响下独立于其他属性值，即具有独立性。比如酒店具有：价格、环境、地理位置等三个属性。而每个属性是独立的（2）我们需要了解的是后验概率（也即是条件概率）和先验概率：后验概率（条件概率）：，在发生了X的条件下，发生H先验概率：（3）贝叶斯定理2.朴素贝叶斯分类（1）设D是训练集和类标号的集合。（也即是训练集

简单线性回归分析步骤、多元回归分析、非线性回归分析、梯度下降法

1.神经网络的基本模型：

一、Run the MNIST example1. 多层感知机（Multi-Layer Perceptron）（1）InputLayer是一个输入基础。其中输入的input_var是一个theano.tensor(batchsize, channels, rows, columns)shape=（None,1,8,28）参数中，None代表接收任意的输入

一、自定义lasagne层    比如我要定义一个Highway network层（关于highway network的知识在网上有很多）1）首先需要继承lasagne的基础层：可以看到，自定义的层是继承了lasagne.layers.Layer.2）然后定义Highway network所需要更新的参数值： def __init__(self, incomi

1.正元组和负元组正元组：感兴趣的类的元组负元组：其他类的元组比如说：正元组可能是buys_computer=yes负元组是buys_computer=no2.公式TP,TN,FP,FN,P,N分别表示真正例、真负例、假正例、假负例、正和负样本数含意：TP（true positive）：指被分类器正确分类的正元组TN（true n