chenxinvhai89的专栏

原创 Attention中的Mask: query mask, key mask, future mask

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.youkuaiyun.com/weixin_40901056/article/details/97514718Attention简介Attention是2015年被提出来的，在NLP领域大放光彩。Attention具有在繁多信息中自动focus到重点的能力，而且A...

转载 转载 NLP之文本匹配及语义匹配应用介绍

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.youkuaiyun.com/ling620/article/details/95468908文章目录 1、什么是文本匹配？ 2、文本匹配方法概述 2-1 传统文本匹配方法 ...

原创 BERT预训练源码解析

自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP领域大火、整个ML界略有耳闻的模型，网上相关介绍也很多，但很多技术内容太少，或是写的不全面半懂不懂，重复内容占绝大多数（这里弱弱吐槽百度的搜索结果多样化。。）一句话概括，BERT的出现...

转载 BERT中GELU 激活函数

最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。https://blog.youkuaiyun.com/liruihongbob/article/details/86510622...

GELU激活函数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.youkuaiyun.com/liruihongbob/article/details/86510622Gaussian Error Linerar Units(GELUS)论文链接：https://arxiv.org/abs/1606.08415最近在看ber...

转载 word2vec 中的数学原理详解

https://blog.youkuaiyun.com/itplus/article/details/37969519

原创 jieba及HanLP资料

jieba github源码官网https://github.com/fxsjy/jiebaHanLP github源码官网：https://github.com/hankcsHanLP博客https://www.cnblogs.com/baiboy/p/7676236.html所有信息资料汇总https://github.com/imhuay/Algorithm_Interv...

原创 NLP之分词jieba、HanLP、中科院nlpir

目前主流的分词有jieba、哈工大LTP、中科院计算所NLPIR、清华大学THULAC和FoolNLTK、HanLPjieba分词目前是最主流的python中文分词组件，包括精确模式，在jieba分词中需要加载自定义词库（特殊领域）和使用正则表达式做过滤1、对命名实体识别要求较高的可以选择HanLP，根据说明其训练的语料比较多，载入了很多实体库，通过测试在实体边界的识别上有一定的优势...

原创 Anaconda下安装JPype（Mac环境下亲测有效）

conda install -c conda-forge jpype1

原创 LR专题

转载 L1 与L2损失函数和正则化的区别

文章转载https://www.cnblogs.com/jclian91/p/9824310.html在机器学习实践中，你也许需要在神秘的L1和L2中做出选择。通常的两个决策为：1) L1范数 vs L2范数 的损失函数； 2) L1正则化 vs L2正则化。作为损失函数  L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值（YiYi）...

原创 模型的评估方法

引言　　分类算法有很多，不同分类算法又用很多不同的变种。不同的分类算法有不同的特定，在不同的数据集上表现的效果也不同，我们需要根据特定的任务进行算法的选择，如何选择分类，如何评价一个分类算法的好坏，前面关于决策树的介绍，我们主要用的正确率（accuracy）来评价分类算法。　　正确率确实是一个很好很直观的评价指标，但是有时候正确率高并不能代表一个算法就好。比如某个地区某天地震的预测，假设我...

原创 数据清洗和特征处理

1、数据预处理量纲不一0-1标准化：对原始数据进行线性变换，将特征映射在0-1区间内                                                            标准化=（原数据-最小值）/（最大值-最小值）z标准化：将特征值的均值和标准差进行数据的标准化，计算后的数据在0上下波动。                           ...

原创 完整的机器学习项目流程

转载。https://github.com/imhuay/Algorithm_Interview_Notes-Chinese/blob/master/A-机器学习/A-机器学习实践.md数学抽象 明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。 这里的抽象成数学问题，指的是根据数据明确任务目标，是分类、还是回归，或者是聚类。 数据...

原创 机器学习模型优化方式之---------凸函数与拉格朗日乘子法（待补充）

凸函数　对于一元函数f(x)，如果对于任意tϵ[0,1]均满足：f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)，则称f(x)为凸函数(convex function)                                                                   判断一个函数是否是凸函数？　对于一元函数f(x)，我们可以通过...

原创 计算机视觉

计算机视觉是DL在图像领域的应用，包括图像处理和计算机视觉两个方面 

原创 各种GAN理解

【参考链接】https://blog.youkuaiyun.com/qq_25737169/article/details/80874717GAN(Generator adversarial network)生成对抗网络，由good fellow在2014年提出，GAN原理请查看GAN的原理部分。GAN的主要研究应用几种在图像生成、图像转换、图像合成、图像超分辨率、图像域的转换及图像修复等一、图像...

原创 汇总笔试面试题

参考：https://blog.youkuaiyun.com/u013382288/article/details/804703161、找出二值图像的所有连通区域2、几种排序算法，并用代码实现（手写）3、提督下降和极大似然4、泰勒展开5、特征选取的方法6、GBDT和xgboost、baggging和boosting7、过拟合的解决办法8、CNN和LSTM原理和应用场景介绍...

原创 《c++标准程序库》读后感之 string 二 ：string class的内部类型定义和静态值

basic_string是string类型的基类，在string class内部的类型定义 和 静态值 1、basic_string ::traits_type字符特征（character traits）的类型basic_string对类型string而言，此值等价于char_traits 注：char_traits 结构描述关联的特性字符。 template s

转载 c++中type_traits

在STL中为了提供通用的操作而又不损失效率，我们用到了一种特殊的技巧，叫 traits编程技巧。具体的来说，traits就是通过定义一些结构体或类，并利用模板类特化和偏特化的能力，给类型赋予一些特性，这些特性根据类型的 不同而异。在程序设计中可以使用这些traits来判断一个类型的一些特性，引发C++的函数重载机制，实现同一种操作因类型不同而异的效果。 traits的编程技巧极度弥补了C++语言的

转载 type traits 之"本质论"

侯捷老师在《STL 源码剖析》说：traits编程方法是一把开启STL源代码大门的钥匙，其重要性也就不必再说了。既然traits编程方法如此重要，那么掌握并领悟其精髓是相当必要了。    trait的意思是什么？英文意思是attribute，feature等等，中文意思可以解释为特点, 特性。那么type trait就是类型的特性。那什么是类型？类型的特性又有哪些呢？类型也即是用户自定义的

原创 预备知识 cstring的定义及操作函数

一、概念C语言中的字符串是以‘\0’为结尾的字符数组，在操作字符串时，我们通常将字符串的首地址给一个字符指针，即：char* a= “hello”这条语句的意义是将hello字符串的首地址赋给a变量。二、常用的字符串的处理函数1、   字符串的复制strcpy函数函数原型：char* strcpy（char* s1，const char* s2）          

原创 《c++标准程序库》读后感之string 二

一 、string class的定义头文件 #include在之中，basic_string被定义为所有字符串类型的基本模板类型（basic template class）namespace std{template , class Allocator  = allocator >class basic_string;}在模板中，第一个参数是单个字符所属的类型；第二

原创 《c++标准程序库》读后感之stream Class 一

标准程序库中的I/O class不仅局限于文件、屏幕或键盘，事实上他们形成了一套富有弹性的框架，可迎来将任意数据格式化，可处理（存取）任意外部表述。一、stream class的基础1、stream的对象2、stream的类型3、全局的stream对象4、stream操作符5、操控器6、格式化二、细说stream对象stream buffer class

原创 《c++标准程序库》读后感之string 一

首先要清楚一个概念：什么是string类型在c语言中，字符串是以'\0'为结尾的字符数组串。但在c++中的string并不是c语言中的字符串，它可以是类型为char*或const char*的字符数组（称为cstring），也可能是class string的一个实体，泛指代表字符串的某个对象。说明：下面将介绍的string class的各种函数，不适用于cstring；对于cstrin