随笔

1.softmax逻辑回归（决策边界）在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b...

skip-gram：刚开始遍历语料库中的每个单词，观察窗口中周围的词，预测周围的词，抓取词与词之间的共同点、这个词与其他词共现的频率是多少，每出现一次进行一次计数并进行梯度更新。但是这样做很没有效率。所以skip-gram的思想是只对可以配对的训练一些二元逻辑回归，因此保留了想要优化和最大化中心词和外围词内积的想法，相对于遍历所有单词，实际上只取一些随机单词并指明这些从语料库其余部分取出来的随机...

1.前言在过去计算机处理词义采用分类资源处理词义，比如wordNet，它告诉这一类东西的上位词，比如熊猫的上位词是哺乳动物。但是这类分类关系的层面上会遗漏大量细微差别，因此很难获得更多价值。几乎所有的NLP研究(除了现代深度学习以及NLP神经网络),所有的NLP都采用了原子符号来表示单词，从神经网络角度考虑，使用原子符号就是使用独热编码(one-hot)，但是因为独热编码中一个位置为1，其余为0...

1.介绍1.1 深度学习和机器学习不同的是大多数传统的机器学习是围绕决策树(decision trees)、逻辑回归(logistic regressions)、朴素贝叶斯(naive bayes)、支持向量机(SVM:support vector machines)等概念。它的本质是由人类仔细审视一个特定的问题，然后设计出与该问题相关的重要特征要素，在手工写代码。因此在机器学习中，是人类研究...

文章目录1.视频连接2.章节列表1.视频连接https://www.bilibili.com/video/av768192372.章节列表第一讲 深度学习和NLP入门