- 博客(519)
- 资源 (83)
- 收藏
- 关注
转载 在Windows安装chromedriver
在Windows安装chromedriver(更新了mac版教程)一、安装selenium启动cmd命令行(同时按住windows键和R键,在对话框内输入cmd,然后回车)安装selenium,在弹出的窗口内输入 pip install selenium二、chromedrive1、下载chromedrive前往 chromedriver 下载页面(如果官...
2018-11-26 15:38:31
4173
1
转载 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
目录图像领域的预训练Word Embedding考古史从Word Embedding到ELMO从Word Embedding到GPTBert的诞生Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高的评价吗?我个人判断是值得。那为什么会有这么高的评价呢?是因为它有重大的理论或者模型创新吗?其实并没有,从模型创新角度看一般,创新不算大。但是架不...
2018-11-19 16:56:05
1323
转载 一文详解深度学习在命名实体识别(NER)中的应用
目录1、NER 简介2. 深度学习方法在NER中的应用2.2 IDCNN-CRF3. 实战应用3.1 语料准备3.2 数据增强3.3 实例4. 总结近几年来,基于神经网络的深度学习方法在计算机视觉、语音识别等领域取得了巨大成功,另外在自然语言处理领域也取得了不少进展。在NLP的关键性基础任务—命名实体识别(Named Entity Recognition,NER...
2018-11-07 09:58:38
1261
原创 tf.strided_slice()
# -*- coding: utf-8 -*-"""Created on Tue Nov 6 10:46:32 2018@author: Abner_hg"""import numpy as npimport tensorflow as tfdata = [[[1, 1, 1], [2, 2, 2]], [[3, 3, 3], [4, 4, 4]]...
2018-11-06 11:53:42
828
1
转载 深度学习中的注意力机制(Attention Model)
注意力模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。所以,了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。
2018-11-05 16:51:54
4849
1
原创 python 从TXT中解析json格式
txt中的json格式:with open(r'Zhan.txt','r', encoding = 'utf-8') as file_open: data = json.load(file_open) for line in data: print(line['title']) print(line['content'])但是提示错误:...
2018-10-24 14:19:10
8391
1
原创 卷积神经网络的一些细节思考(卷积、池化层的作用)
卷积神经网络由卷积核来提取特征,通过池化层对显著特征进行提取,经过多次的堆叠,得到比较高级的特征,最后可以用分类器来分类。这是CNN的一个大概流程,其具体实现的结构是丰富多样的,但总的思想是统一的。CNN整个的计算过程,最重要的有两点:组合性和局部不变性(平移、旋转、尺度放缩)。组合性:每个卷积核可以看做某种特征的提取器。所谓组合性就是将卷积核提取的一些简单特征进行组合,得到更高级...
2018-10-20 10:47:53
8347
原创 error while loading shared libraries: libpython3.7m(2.7).so.1.0: cannot open shared object file: N
Python3问题:./out: error while loading shared libraries: libpython3.7m.so.1.0: cannot open shared object file: No such file or directory解决办法:1、cd /etc/ld.so.conf.d2、vim python3.conf3、添加 /ro...
2018-10-16 16:50:58
3407
转载 Linux下提示命令找不到:bash:command not found
Linux下输入某些命令时会提示:bash:command not found。情况一:首先,查看$PATH中是否包含了这些命令。$PATH:决定了shell到哪些目录中去寻找命令或程序,PATH值是一系列的目录。当运行程序时,linux到这些目录下搜索进行编译链接。格式:PATH = $PATH:<PATH1>:<PATH2>:<PATH3...
2018-10-13 16:18:31
14052
原创 CRF++在Windows下以及Linux下的安装及测试方法
Windows与Linux下CRF++有两种不同的版本,很多时候官网无法下载,你如果需要下载CRF++,你可以点击这里下载这两个版本。Windows首先说一下Windows的安装方法(其实无需安装),以及简单的使用方法。1、解压,进入crf++-0.58,你可以看到2、你需要把红色方框内的文件复制到example\chunking文件夹下。3、打开cmd,找到刚刚的...
2018-09-29 15:59:43
2164
原创 NPP++去除文本中的重复行
方法一:使用正则表达是的方式:^(.*?)$\s+?^(?=.*^\1$)如下图格式方法二:选择菜单TextFX -- TextFX Tools:1、选择"TextFx"-"TextFx Tools"-"Sort outputs only UNIQUE(at column) lines"。2、 选中要去除重复行的数据。3、选择"TextFx"-"T...
2018-09-27 17:39:16
6381
转载 Understanding LSTM Networks
本文是转自 colah's blog的博客,是为了自己查看方便,是讲LSTM的结构和原理非常好的文章,这个也是大多数博客讲解LSTM的参考。文末附有文章出处。Recurrent Neural NetworksHumans don’t start their thinking from scratch every second. As you read this essay, you und...
2018-09-26 10:41:10
1064
原创 RNN二进制加法实例
本文是根据前两篇详细展示RNN的网络结构以及详细阐述基于时间的反向传播算法(Back-Propagation Through Time,BPTT)来找的一个RNN实例,本例子可以帮助对RNN的前向传播以及后向传播,以及RNN结构的理解。整个过程符合下图RNN结构描述:# -*- coding: utf-8 -*-"""Created on Mon Sep 24 17:02:41 2...
2018-09-25 15:04:35
2304
1
转载 Python 正则表达式
实例引入说了这么多,可能我们对它到底是个什么还是比较模糊,下面我们就用几个实例来感受一下正则表达式的用法。我们打开开源中国提供的正则表达式测试工具http://tool.oschina.net/regex/,打开之后我们可以输入待匹配的文本,然后选择常用的正则表达式,就可以从我们输入的文本中得出相应的匹配结果了。例如我们在这里输入待匹配的文本如下:Hello, my phone ...
2018-09-21 10:13:47
389
原创 详细阐述基于时间的反向传播算法(Back-Propagation Through Time,BPTT)
上一节我们说了详细展示RNN的网络结构以及前向传播,在了解RNN的结构之后,如何训练RNN就是一个重要问题,训练模型就是更新模型的参数,也就是如何进行反向传播,也就意味着如何对参数进行求导。本篇内容就是详细介绍RNN的反向传播算法,即BPTT。首先让我们来用动图来表示RNN的损失是如何产生的,以及如何进行反向传播,如下图所示。上面两幅图片,已经很详细的展示了损失是如何产生的, 以及...
2018-09-20 00:55:59
10027
4
转载 数据挖掘面试笔试题(附答案)
一、单选题(共80题)1、( D )的目的缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得到和原始数据相同的分析结果。A.数据清洗 B.数据集成C.数据变换 D.数据归约2、某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 ...
2018-09-18 09:40:35
122001
3
原创 详细展示RNN的网络结构
下面简单介绍一下RNN的结构,如果简略地去看,RNN结构很简单,根本没有CNN那么复杂,但是要具体实现,还是需要仔细思考一下,希望本篇博客能把RNN结构说的明白。循环神经网络(Recurrent Neural Network,RNN)DNN以及CNN在对样本提取特征的时候,样本与样本之间是独立的,而有些情况是无法把每个输入的样本都看作是独立的,比如NLP中的此行标注问题,ASR中每个音素都和前...
2018-09-17 20:27:54
17706
11
原创 图示Softmax及交叉熵损失函数
Softmax函数Softmax是将神经网络得到的多个值,进行归一化处理,使得到的值在之间,让结果变得可解释。即可以将结果看作是概率,某个类别概率越大,将样本归为该类别的可能性也就越高。Softmax就如下图(借鉴李宏毅老师的课件)SoftMax为了更加清晰的看清整个过程,我将其制作成gif,如下图所示:Softmax的工作过程交叉熵:假设和是关于样本集的两个分布,其...
2018-09-14 22:21:18
25810
10
原创 windows下pip install xx 遇到的 ConnectionResetError<10054>问题
用pip install 遇到如下的问题C:\Users\*******>pip install Python 3.XCollecting Python Retrying (Retry(total=4, connect=None, read=None, redirect=None)) after connection broken by 'ProxyError('Cannot...
2018-09-08 09:20:56
4038
3
转载 通俗理解LDA主题模型
转自:https://blog.youkuaiyun.com/v_july_v/article/details/412095150 前言 印象中,最开始听说“LDA”这个名词,是缘于rickjin在2013年3月写的一个LDA科普系列,叫LDA数学八卦,我当时一直想看来着,记得还打印过一次,但不知是因为这篇文档的前序铺垫太长(现在才意识到这些“铺垫”都是深刻理解LDA 的基础,但如果没有人帮助初...
2018-09-06 21:59:20
1050
原创 白话EM算法
EM算法其实就是一种函数的近似求解方法,它是一种迭代算法,在很多算法中都有着重要的应用,比如HMM的学习问题,GMM,语音识别中的MM-GMM以及主题模型PLSA等等,所以掌握EM的求解方式还是很必要的。本文参考李航博士的《统计学习方法》,但前提是需要了解EM以及高斯混合分布的基本概念,我不从最基础说起,希望能说的明白。EM算法可以解决极大似然估计参数的求解方法,只不过当问题的分布包含一个隐藏...
2018-09-04 21:31:14
722
转载 npp++常用的匹配正则表达式
本文只纯粹是为了最近要处理文本数据方便,而整理的npp++的正则表达式,为了自己查阅方便,非系统整理。\r\n表示换行,其中\r表示回车,\s 空格匹配中文\u4e00是“一”,\u9fa5是“龥”,故可以使用:[一-龥] 正常查找到所有的中文字。如果要匹配的中文含有标点符号,[\uFF01-\uFF5E],即[!-~]。匹配数字\d,匹配一位,\d+匹配两位,\d...
2018-09-03 17:51:19
2463
1
原创 蒙特卡洛方法(Monte-Carlo Simulation)
目录布封投针问题(Buffon's needle problem)蒙特卡洛方法(Monte-Carlo Simulation)估算PI估计不规则图形的面积随机抛点采样估计样本采集拒绝采样(reject sample)布封投针问题(Buffon's needle problem)问题:1、取一张白纸,画出间隔为的等距平行线。2、取一根长度为的针,...
2018-09-01 17:29:22
38777
7
原创 VMware 中配置Ubuntu网络
每个人所遇的情况不同,可能设置的方法也各有不同。本文只针对自己所遇到的问题,而采取的办法。感谢沈博的指导!首先在VMware中安装ubuntu,只需正常参照网上的安装方法即可。安装完成后,配置网络的方法:1、打开终端,修改profile文件。sudo vi /etc/profile2、在profile文件的最后加入自己的IP地址,加入如下的三句话。不知道的,可以在Wind...
2018-08-23 10:28:08
1529
原创 奇异值分解(SVD)小结
目录阵的简单理解矩阵作用于向量用矩阵的表达一个实体特征值和特征向量奇异值分解Hermitian矩阵共轭转置酉矩阵谈谈《数学之美》对SVD的理解阵的简单理解矩阵从我的理解来看,可以从两个角度来看。一个是矩阵是作用于向量,一个是矩阵表达一个实体。矩阵作用于向量对于线性空间中,对向量的变换就是通过矩阵对向量的作用来实现的,矩阵本身就表示着一种变换。假设...
2018-08-15 16:06:33
2541
1
原创 最大熵模型
本篇博客只是最近两天看最大熵模型的一个理解和简单总结,只为了阐述清楚最大熵模型,不涉及公式推导。为了怕很快忘记,特意综述一下,如有不正确之处欢迎指正。 最大熵原理 熵:某种意义上说,概率是度量随机事件的确定性,熵是度量随机事件的不确定性。对于随机变量的概率分布来说,随机变量的分布越均匀,其熵越大。最大熵原理:我们构建一个概率模型对某个随机变量的分布进行预测时,发现有很多概率模型...
2018-08-09 16:39:32
1097
1
转载 HashMap实现原理及源码分析
哈希表(hash table)也叫散列表,是一种非常重要的数据结构,应用场景及其丰富,许多缓存技术(比如memcached)的核心其实就是在内存中维护一张大的哈希表,而HashMap的实现原理也常常出现在各类的面试题中,重要性可见一斑。本文会对java集合框架中的对应实现HashMap的实现原理进行讲解,然后会对JDK7的HashMap源码进行分析。目录一、什么是哈希表二、HashMa...
2018-07-30 10:27:25
250
转载 Batch Normalization(BN)
优点Batch Normalization(BN)有什么优点?BN的优点是多个并存,这里只提一个个人认为最容易理解的优点和其原因。训练时的问题尽管在讲解神经网络概念的时候,神经网络的输入指的是一个向量 。但在实际训练中有下面的训练方式:随机梯度下降法(Stochastic Gradient Descent):用一个样本的梯度来更新权重。批量梯度下降法(Batch Gradient Descent
2018-01-16 14:49:13
575
原创 隐马尔科夫模型前向后向算法
本文是自己学习隐马尔科夫模型的一个总结,为了自己以后方便查阅,也算作是李航老师的《统计学习方法》的一个总结,若有疑问,欢迎讨论。推荐阅读知乎上Yang Eninala写的《如何用简单易懂的例子解释隐马尔可夫模型?》,写的非常好。我会联系两者,来作为自己的一篇学习笔记。隐马尔可夫模型: 隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个
2017-09-13 12:09:56
4614
原创 一文总结条件熵、交叉熵、相对熵、互信息
条件熵:H(Y|X)表示在已知随机变量X的条件下,随机变量Y的不确定性,H(Y|X)定义为:举个例子:有一堆西瓜,已知这堆西瓜的色泽,以及每种色泽对应好瓜和坏瓜的个数,如下所示,设X表示色泽,Y表示好瓜或者坏瓜。则:这个例子就是计算条件熵的一个过程,现在证明条件熵公式:有很多书上的条件熵是这么定义的,如果继续化简就可以得到我们上面定义的条件熵,接着化简:得证!信息增益:,表示X出现后随机变量Y的不
2017-09-07 22:13:40
5925
1
原创 彻底理解样本方差为何除以n-1
设样本均值为,样本方差为,总体均值为,总体方差为,那么样本方差有如下公式: 很多人可能都会有疑问,为什么要除以n-1,而不是n,但是翻阅资料,发现很多都是交代到,如果除以n,对样本方差的估计不是无偏估计,比总体方差要小,要想是无偏估计就要调小分母,所以除以n-1,那么问题来了,为什么不是除以n-2、n-3等等。所以在这里彻底总结一下,首先交代一下无偏估计。无偏估计 以例子来说明,假如你
2017-09-06 00:10:35
220853
107
原创 如何理解用信息熵来表示最短的平均编码长度
之前弄明白了信息熵是什么,由于信息熵来源于信息论,要怎么才能跟编码联系起来呢?这个问题当时没有想明白,今天查了一下资料,理解了一下,做笔记整理一下,如有错误欢迎指正。如果信息熵不明白的请看这里:http://blog.youkuaiyun.com/hearthougan/article/details/76192381首先给出结果:最短的平均编码长度 = 信源的不确定程度 / 传输的表达能力。其中信源的不确定
2017-09-01 23:27:31
13505
5
原创 网易疯狂队列
题目来源:题目描述:小易老师是非常严厉的,它会要求所有学生在进入教室前都排成一列,并且他要求学生按照身高不递减的顺序排列。有一次,n个学生在列队的时候,小易老师正好去卫生间了。学生们终于有机会反击了,于是学生们决定来一次疯狂的队列,他们定义一个队列的疯狂值为每对相邻排列学生身高差的绝对值总和。由于按照身高顺序排列的队列的疯狂值是最小的,他们当然决定按照疯狂值最大的顺序来进行列队。现在给出n个学生的
2017-08-17 22:18:05
1259
原创 白话信息熵
距离有近有远,时间有长有短,温度有高有低,我们知道可以用米或者千米来度量距离,用时分秒可以来度量时间的长短,用摄氏度或者华氏度来度量温度的高低,那么我们常说这个信息多,那个信息少,那么信息的多少用什么度量呢?熵!信息量是了解一个未知事物需要查询的
2017-08-04 03:19:58
5058
1
原创 朴素贝叶斯分类器
分类器就是根据某一事物一系列特征来判断该事物的类别,。其实原理很简单,并不需要什么复杂的训练结构,复杂只是计算量,这个交给计算机即可,所以懂了原理,朴素贝叶斯分类器也就掌握了。先不写理论,以例子开始,希望能说的浅显易懂。一、西瓜的好坏这里是要借鉴周志华老师书中西瓜的例子,这个例子也是我所看到的,讲解贝叶斯分类问题最好的例子。现简化如下:现已知7个西瓜的好坏,西瓜的特征有三种:色泽{青绿
2017-07-27 15:26:12
2226
原创 浅谈全概率公式和贝叶斯公式
一、条件概率公式条件概率由文氏图出发,比较容易理解:表示B发生后A发生的概率,由上图可以看出B发生后,A再发生的概率就是,因此:由:得:这就是条件概率公式。假如事件A与B相互独立,那么:注:相互独立,两个事件表示成文氏图,也可以画成上图形式,相互独立:表示两个事件发生互不影响,因此可以同时发生(这就可能出现相交)。而互斥:
2017-07-15 16:25:56
39564
21
原创 Python 批量处理文件
把一个文件下有许多文件夹,并且其中每个文件中又有很多文件(如下图),现需批量把这些文件,全部取出来放到另外指定的文件夹下。
2017-07-13 12:57:39
2094
原创 ubuntu 命令安装 beyond compare
安装beyond compare:wget http://www.scootersoftware.com/bcompare-4.1.9.21719_amd64.debsudo apt-get updatesudo apt-get install gdebi-coresudo gdebi bcompare-4.1.9.21719_amd64.deb卸载 beyond comp
2017-07-06 16:17:01
4474
原创 Linux下安装任意版本的tensorflow命令
终端或命令行下输入: sudo pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.12.1-cp27-none-linux_x86_64.whl上述只是一个样例,安装任意版本的tensorflow,只需修改相应的版本号,比如,我现在想下载tensorflow
2017-07-05 12:02:13
7026
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
2018-11-19
word2vec系列资料
2018-11-19
word2vec 中的数学原理详解
2018-11-01
CRF++0.58-Linux+Windows
2018-09-29
npp++32位+NPPTextFx.dll
2018-09-27
李航-《统计学习方法》高清完整版(带书签)
2018-09-17
Stanford NLP note - Christopher Manning教授-完整吧
2018-08-08
Stanford NLP note - Christopher Manning教授
2018-08-08
21天学通Java-第7版-超清带书签.pdf
2018-07-27
计算机统计自然语言处理PDF
2018-07-26
Tensorflow 实战Google深度学习框架-清晰-带书签
2018-01-17
TensorFlow Machine Learning Cookbook.pdf
2018-01-17
最大熵模型与自然语言处理
2017-09-01
cudnn 5.1 for CUDA 8.0 Linux
2017-07-05
李宏毅 一天搞懂深度学习.ppt版下载
2017-02-23
机器学习实战(中文带书签+英文+源代码)
2016-10-26
《机器学习》----[Tom M. Mitchell]--带书签
2016-10-16
《统计学习方法》李航-带书签高清完整PDF版
2016-10-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人