蜗牛

第一章 Snorkel环境搭建        在自然语言处理领域，数据标注是一项非常耗费时间与精力的事情。在此背景下，Snorkel应运而生，它可以让我们低成本的利用领域专家的知识来程序化的标注上百万级别的 数据样本，从而帮助我们解决人工智能时代的数据瓶颈问题。        根据官网推荐，Snorkel的Python环境为3.6/3.7，如果环

梯度下降算法总览       梯度下降指的是，在给定模型参数θ∈Rd\theta\in \mathbb{R}^dθ∈Rd和目标函数 J(θ)J(\theta)J(θ) 后，通过沿梯度∇θJ(θ)\nabla_\theta J(\theta)∇θ​J(θ)的反方向更新参数，不断优化函数，找到函数的局部极小值点。随机梯度下降可概括...

文章目录初学牛顿法1.1 牛顿法1.2 拟牛顿法1.3 残留问题1.4 参考初学牛顿法       本文是对牛顿法和拟牛顿法的公式进行简单的推导以及介绍，主要解决如何使用牛顿法（即不管怎么来，为什么，只管怎么用），我会在后续博文中继续学习总结它是怎么来的。     &nbs...

第6章 拟牛顿法中的正定性       续上一篇博客初学牛顿法,对牛顿法当中的一些疑问进行简单粗浅的分析及总结。下文中的拟牛顿算法都指DFP算法，BFPG算法和DFP算法的原理是一样的，所以正定性的推导过程差不多，在此不做过多赘述了。问题细化：      &nb...

第5章 牛顿法收敛性       续上一篇博客初学牛顿法,对牛顿法当中的一些疑问进行简单粗浅的分析及总结。问题细化：       牛顿法考虑二阶导数，求出海森矩阵，将一阶导除以二阶导作为新的改变量，这样收敛更快。但是一阶导除以二阶导后有可能导致一阶导变小...

第7章 拟牛顿法详解       拟牛顿算法可以利用多种方式对矩阵GkG_kGk​进行更新(ΔGk\Delta G_kΔGk​)，常用算法有DFP，BFGS，Broyden，SR1等。本章将主要介绍DFP与BFGS算法。拟牛顿算法进行梯度更新的基本公式如下：(6.1)Gk+1yk=skG_{k+1}y_k=s_k\tag...

矩阵方程       矩阵方程与线性方程组，向量方程的关系密切，且在解决实际问题时它们经常会发生相互转化，因此学习矩阵方程时最好结合线性方程组，向量方程一起考虑。1.1 线性方程组(1.1)a1x1+a2x2+a3x3=b1a4x1+a5x2+a6x3=b2a7x1+a8x2+a9x3=b3\begin{aligned}...

目录第1章 决策树1 基本流程2 流程核心（划分选择）2.1 信息增益2.1.1 概念2.1.2 劣势2.2 增益率2.2.1 概念2.2.2 劣势2.3 基尼指数2.3.1 概念2.3.2 使用3 优化（过拟合 属性过多）3.1 预剪枝3.2 后剪枝3.3 多变量决策树4 特殊值（连续与缺失值）4.1 连续值4.2 缺失...

人脸识别（三）人脸识别的进化，可以识别年龄性别了1.1 前言       将大牛Satya关于人脸识别中年龄和性别识别的代码学习实现了一遍，感觉其中有些坑，原作者博客中并未说明，所以我来填一些坑。       博客当中的python代码和C++代码我...

图解Text-CNN        本文将利用卷积网络进行文本分类项目中数据预处理和嵌入层，卷积层和池化层以图的方式呈现，感觉会更加形象生动，容易理解。原始项目地址为Convolutional Neural Network for Text Classification in Tensorflow，关于此项目更详细介...

决策树决策树算法过程及重点1 基本流程输入：训练集 D={(x1,y1),(x2,y2),...,(xm,ym)};D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\};D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)};属性集 A={a1,a2,…,ad}A=\{a_1,a_2,\dots,a_d\}A={a1​,a2​,…,ad​}...

Remove删除数组中重复元素1.1 题目描述题目标题：在实际编程中我们经常遇到“去掉重复数字”等类似的问题，也就是“Remove the duplicate”问题。例如在“建立某个统计样本时，要去掉重复的元素”。详细描述：输入：1 3 1 2 2 4 5 2输出：1 2 3 4 51.2 解答1.2.1 方法解析1.2.1.1 题目分析  &

文章目录分类评价指标1.1准确率（Accuracy）1.2 平均准确率(Average Per-class Accuracy)1.3 对数损失函数（Log-loss）1.4 准确率-召回率（Precision-Recall）1.5 混淆矩阵1.6 参考分类评价指标1.1准确率（Accuracy）Accuracy=ncorrectntotalAccuracy=\frac{n_{correct}...

SVM与LR比较1.1 相同点LR与SVM都属于线性分类模型       当LR中的标签是离散的，则LR可被认为是分类算法；当不考虑核函数时，原始的LR与SVM都是线性分类器。LR与SVM都属于判别模型       判别模型可以生成一个表示P(Y|

Match与Search区别       Match与Search都是进行匹配。但Match是从string的0位置开始匹配，若初始位置匹配不成功，则报错。而Search是扫描整个string然后查找匹配。具体参考下图。       匹配字符串中是否有连续

傅立叶变换1.1 简介       傅立叶变换是一种函数 变换，既可以指变换操作本身，也可指变换产生的复数函数。原函数表示为fff,原函数傅立叶变换产生的函数表示为f^\widehat ff​。傅立叶变换用于分析信号并确定其基本成分。1.2 定义      &n...

CNN的优缺点1.1 优点共享卷积核，处理高维数据无压力；可以自动进行特征提取；1.2 缺点当网络层次太深时，采用BP传播修改参数会使靠近输入层的参数改动较慢；采用梯度下降算法很容易使训练结果收敛于局部最小值而非全局最小值；池化层会丢失大量有价值信息，忽略局部与整体之间关联性；由于特征提取的封装，为网络性能的改进罩了一层黑盒1.3 改进数据增广(待后续总结……\dot...

ROC与AUC解析1.1 解决什么问题        概念不会凭空产生，创造概念一定是为解决某个问题。ROC曲线和AUC是为评价二值分类器而产生的；ROC曲线和AUC可以非常好地解决分类问题中类别不平衡的问题。1.2 如何解决问题      &...

Process of CrawlingBlog在实践爬取网页数据时的流程概述1.1 前言       在看Youtube时， 发现Youtube频道是可以赚钱的，只要自己Youtube频道的观看订阅人数够多，就可以通过投放广告来赚钱。于是自己也异想天开通过Youtube频道赚钱，但又不知哪种类型的频道最为赚钱，于是便想利用...

第2章 数据预处理数据预处理分类及方法详解2.1 归一化       算法在寻找最优值的时候，由于图像“细长”，所以要来回找垂直线，两个特征的取值区间相差越大，图像就越“细长”，梯度下降就越慢，还可能永远无法收敛，如下图所示。因此需要使用归一化的方法将特征的取值区间缩放到某个特定的范围，例如[0, 1]等，常用方法有区间缩