NeilGY的博客

mac版idea快捷键

NeilGY — Tue, 07 Jan 2020 11:15:40 +0800

Compile and Run（编译和运行）按键说明 Command + F9 编译Project Command + Shift + F9 编译选择的文件、包或模块 Control + Option + R 弹出 Run 的可选择菜单 Control + Option + D 弹出 Debug 的可选择菜单 Control + R 运行 Control +...

git常用指令

NeilGY — Tue, 07 Jan 2020 11:04:15 +0800

git init //初始化本地git环境 git clone XXX//克隆一份代码到本地仓库 git configuser.name//查看git用户名 git config user.email //查看git邮箱 git config --globaluser.name“github’s Name” //配置了一个全局的用户名 git config --global us...

python实现基于最小堆的topk

NeilGY — Wed, 04 Dec 2019 19:50:27 +0800

class minHeap(object): def __init__(self, list,k): self.list = list self.k = k self.length = len(list) def swap(self,min_heap, child_index, parent_index): tem...

KMP算法python代码

NeilGY — Mon, 04 Nov 2019 17:20:19 +0800

问题：给定两个字符串a="sdfaabcddsdfssd",b="df"找出字串b在a中的下标位置。朴素模式匹配算法: def str_index(a,b,pos=0): i = pos j = 0 while i < len(a) and j < len(b): if a[i] == b[j]: j += 1 ...

机器学习中数据清洗和特征选择总结

NeilGY — Sat, 03 Aug 2019 12:10:54 +0800

一.数据清洗 1.预处理:理解数据及数据特征（很重要） 2.异常样本数据：将时间、日期、数值等转为统一格式去除文本中不需要的特殊字符等去除内容与字段不对应的情况，如：字段为性别，描述为姓名数据去重替换不合理值核验多数据源数据关联时是否正确 3.采样：数据不均衡问题：设置损失函数权重，少数类别增大损失系数下采样/欠采样：从多数类别数据中随机抽取样本数据，使...

机器学习中各种熵

NeilGY — Fri, 02 Aug 2019 17:32:41 +0800

本文的目录组织如下：【1】自信息【2】熵（香农熵）【3】联合熵【4】条件熵【5】互信息（信息增益）【6】熵、联合熵、条件熵、互信息的关系【7】交叉熵【8】相对熵（KL散度）【9】熵在机器学习中的应用（贝叶斯、决策树、分类） 1. 自信息：对事件不确定性的度量。自信息公式事件的不确定性越大（概率 pi 越小），自信息 I(pi) 越大。比如买彩票，中彩票的...

模型优化总结

NeilGY — Mon, 08 Apr 2019 14:02:34 +0800

模型准确率提高： 1.从数据上做优化:收集更多训练数据，对数据分词，字向量、词向量的嵌入,对抗损失和虚拟对抗损失的加入等 2.从算法上做优化:1.神经元调节。2.数据训练批次调节.3.dropout的加入。模型训练加速：通过队列的方式读取数据，和多线程的方式异步训练模型。摒弃同步读取数据、训练数据的方法。 ...

基于互信息和左右熵的新词发现

NeilGY — Thu, 04 Apr 2019 10:30:32 +0800

互信息可以计算聚合度，左右熵可以计算自由度原文链接：https://www.jianshu.com/p/e9313fd692ef

字典树

NeilGY — Wed, 03 Apr 2019 18:05:04 +0800

Trie树（字典树）方法介绍 1.1、什么是Trie树 Trie树，即字典树，又称单词查找树或键树，是一种树形结构。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是最大限度地减少无谓的字符串比较，查询效率比较高。 Trie的核心思想是空间换时间，利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。它有3个基本性质：...

模型准确率提高及优化加速

NeilGY — Mon, 25 Mar 2019 17:35:14 +0800

https://www.cnblogs.com/mrxsc/articles/6266584.html

transformer模型中的多头attention机制

NeilGY — Thu, 21 Mar 2019 17:57:27 +0800

转自：https://www.cnblogs.com/robert-dlut/p/8638283.html 《Attention is all you need》中提出了多头attention机制，这篇论文主要亮点在于： 1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。 2）提出了多头注意力（Multi-head...

gensim中word2vec的使用

NeilGY — Thu, 21 Mar 2019 17:03:53 +0800

https://www.cnblogs.com/pinard/p/7278324.html

word2vec原理总结

NeilGY — Thu, 21 Mar 2019 16:40:18 +0800

CBOW与Skip-Gram模型基础：https://www.cnblogs.com/pinard/p/7160330.html Hierarchical Softmax的模型：https://www.cnblogs.com/pinard/p/7243513.html Negative Sampling的模型：https://www.cnblogs.com/pinard/p/7249903.h...

bert概述

NeilGY — Thu, 14 Mar 2019 11:35:25 +0800

bert原理：https://terrifyzhao.github.io/2019/02/18/BERT%E5%8E%9F%E7%90%86.html bert代码：https://terrifyzhao.github.io/2019/01/30/%E4%BD%BF%E7%94%A8BERT%E7%94%9F%E6%88%90%E5%8F%A5%E5%90%91%E9%87%8F.html ...

Transformer模型

NeilGY — Tue, 12 Mar 2019 16:37:41 +0800

模型讲解：https://terrifyzhao.github.io/2019/01/11/Transformer%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3.html 源码解读：https://terrifyzhao.github.io/2019/01/11/Transformer%E6%BA%90%E7%A0%81%E8%A7%A3%E8%AF%BB.html ...

NLP-关键词提取

NeilGY — Mon, 11 Mar 2019 14:27:20 +0800

关键词提取算法一般也能分为有监督和无监督。 1、有监督的关键词提取算法主要是通过分类的方式进行的，通过构建一个较为丰富和完善的词表，然后通过判断每个文档与词表中每个词的匹配程度，以类似打标签的方式，达到关键词提取的效果。有监督的方法能够获取到较高的精度，但缺点是需要大批量的标注数据，人工成本过高。另外，会有大量的信息出现，一个固定的词表有时很难将信息的内容表达出来。 2、而无监督的方法对数据要...

NLP算法工程师的学习和成长

NeilGY — Fri, 08 Mar 2019 15:59:29 +0800

1.NLP解决什么问题； 2.NLP算法发展简史； 3.检索式问答系统的语义匹配模型； 4.任务型对话系统背后的算法实例； 5.创业公司NLP工程师的工作职责； 6.NLP算法工程师面试注意事项；其中前两个小节主要大概讲述一下NLP这个学科它解决了什么问题，以及它算法发展的简要的历史，这样可以让大家对它先有一个整体上的认识；中间两节介绍一下在问答系统和对话系统中NLP的作用和典型的模型；最后两...