- 博客(10)
- 收藏
- 关注
RSS订阅原创 NLP预训练模型的发展：从Word embedding到BERT（二）
3.Word2vec（2013）这里来详细讲一下Word2vec。Word2Vec解决的问题和之前讲到的N-gram、NNLM等不一样，它要做的是：学习一个从高维稀疏离散向量到低维稠密连续向量的映射。该映射的特点是，近义词向量的欧氏距离比较小，词向量之间的加减法有实际物理意义，模型其实就是简单化的神经网络。模型共分为三层，输入层、嵌入层、输出层，是在NNLM的基础上去掉隐层，嵌入层直接...
2019-03-20 22:40:41
1533
原创 NLP预训练模型的发展：从Word embedding到BERT（一）
一、预训练的理解因为最近BERT模型的大热，现在想要整理一下自然语言处理领域有关预训练模型的发展过程，可能不是很全面，就把我了解到的梳理一下吧，欢迎补充~首先什么是预训练？一般我们在训练模型时一开始不是要随机初始化参数吗，这里随机初始化参数是好，但是有几个问题：第一如果我要训练的数据集不够大，随机初始化参数等于从零开始训练，这样可能不足以训练复杂的网络；第二即使你有很大的数据集，由于模型的...
2019-03-19 23:01:43
2764
1
原创 Ubuntu18.04+anaconda3+tensorflow安装记录
一、Ubuntu18.04（64bit）这几天一直在搭建TensorFlow环境，可谓是一波三折啊~记录一下首先我想用自己的电脑装个双系统，win7+Ubuntu18.04。因为win7系统里面有很多我的文件，然后这个系统也很经典，用了好几年有点不舍；另一方面，我需要Linux系统写代码，搭建TensorFlow框架做实验。基于这样的想法，我尝试在自己的电脑上安装Ubuntu。在网上搜...
2019-03-18 20:04:14
4608
1
原创 用Git上传GitHub项目
17年我做了一个QAS的原型系统，想把它上传至GitHub供大家分享。我登录了GitHub，创建了一个仓库（repository），准备上传我的3个代码文件夹。我左折腾右捣鼓，成功上传了2个文件夹，但是第3个文件夹怎么也上传不上去，系统显示我的文件夹大小超过25M不能上传。于是，我就开始寻找解决办法，然后开启了我用Git上传GitHub项目文件夹之旅，，，首先，进入GitHub官网，注册一个G...
2019-03-06 09:55:26
523
原创 关于税改
2019年1月1日起，正式实施税改，加之对个人工资的结算，让我来学习学习。首先，公式：税前工资—5000（起征额）—专项扣除（五险一金）—专项附加扣除—依法确定的其他扣除 = 全月应缴纳所得额全月应缴纳所得额 * 适用税率 — 速算扣除数 = 个人所得税税前工资—五险一金—个人所得税 = 税后工资一、起征额变化起征额由原来的3500变为5000。二、五险一金五险...
2019-02-27 21:56:23
1030
原创 廉政教育项目
这是我在大三保研结束之后跟着余老师和师兄师姐们做的项目，当时余老师跟一家电力企业有项目合作，让我们跟着一起做，来完成这个项目。这个项目是在调查影响电力企业员工廉政教育因素的基础上，研究不同身份特征的员工参与廉政教育的意向和在廉政教育举措和形式方面的需求差异，进而为该公司设计个性化廉政教育方案，提供合理的廉政教育建设建议。具体来说，首先（第一阶段）基于结构方程模型和因子分析进行调查问卷的设计与分...
2019-02-20 23:04:16
412
原创 关于ECShop
在回顾之前所做的项目，看到了2016年我主持的一个校级项目，是关于校内二手教材交易平台的设计与实现。该平台旨在解决当代大学生教材闲置、流通不便、低效处理等方面的难处，以期打造一个教材高效流通、收益自主创造的交易环境。这其中我们用到了ECShop开源电商系统，这个系统非常好用，可以充分地满足我们所需要的二手教材交易平台的设计理念和功能要求，完整地展现出了校内教材交易平台应有的模块和流程，所以在这里整...
2019-02-17 22:25:34
475
原创 从LaTeX写起——2.遇到的问题及解决办法
1. 作者右上角的标注？\author{Zhang San\textsuperscript{1,2} \and Li Si\textsuperscript{1} }2. 通讯作者小信封标志 以及 下一行邮件地址与作者名对齐？ \institute{\Letter \quad Zhang San \at \hspace*{2em} 111...
2019-02-03 03:45:33
2103
原创 从LaTeX写起——1.了解、安装及入门
因为最近写的那篇文章，要投的期刊需要用LaTeX排版，所以我就花了几天时间了解了一下。LaTeX，译为拉泰赫，它是基于TeX的排版系统。而TeX是由一些很原始的命令组成的文本格式化程序 ，且具有宏定义功能，很多人利用此功能对TeX进行二次开发，其中就包括适合于数学家使用的AMS-TeX以及适合于一般文章、报告和书籍的LaTeX。换而言之，每一个LaTeX 命令实际上最终都会被转换解释为几个甚至...
2019-02-03 01:02:07
413
原创 我的第一篇博客
哈哈哈，这是我的第一篇博客，今后也将成为我对学习过程的记录。 今天是2019年01月26日，我投出去了我的第三篇论文。有点小欣慰，但是我跟老师立了flag说在寒假我走之前拟出新的一篇文章的框架，但其实我的时间已经不多了。在寒假走之前，我还有还多事情没有做。 1. 证件照——2019.01.27 2. 中英文简历——2019.01...
2019-01-26 22:24:21
119
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人