ZSY的大后台

最近NAACL-2019接收列表出了，列出感兴趣的paper，供之后阅读：名称类型关键字阅读价值笔记Deep Adversarial Learning for NLPtutorialTransfer Learning in Natural Language ProcessingtutorialApplications of Natural L...

图嵌入（Graph Embedding，也叫Network Embedding）是一种将图数据（通常为高维稠密的矩阵）映射为低微稠密向量的过程，能够很好地解决图数据难以高效输入机器学习算法的问题。知识图谱属于异构图数据，即节点与边不只一种类型。了解图嵌入能帮助理解图数据的处理过程，拓展思考问题的思路（传统ML基本都是table类型的数据），也能对未来可能的知识图谱研究做一些铺垫准备。学习参考链接如...

文本分类是NLP领域最基本的应用场景，现实生活中很多问题都能划归为文本分类问题，诸如垃圾邮件分类、有害评论检测、新闻主题分类等。学术界里文本分类也是研究热点，从最初的模式识别方法到机器学习方法，再到近年来的深度学习方法，各类新型的算法都会尝试在文本分类上验证效果。而文本分类问题的普遍性也使得其成为了人工智能落地的一个重要案例。学习文本分类相关问题的解决方案，能在屏蔽NLP底层基础技术（诸如分词、词...

从大数据时代——>人工智能，生活中各场景下的大数据问题都能用大数据+人工智能算法的配方进行求解。诸如分类、回归等有监督学习问题都得到了很好的解决，但监督学习需要大量标注数据，这一限制使得很多场景无法依靠人工智能的红利。因此，无监督学习正慢慢成为研究热点。VAE便是其中的典型代表。VAE的设计结构具有严谨的数学理论指导，粗略看了一遍，没有太理解，在此mark住，以后有需要再回来学习。链接如下：...

CRF在序列标注任务上有着广泛的应用，由于使用了全局的信息，能取得比HMM更好的效果。学习参考链接如下：如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？基于CRF序列标注的中文依存句法分析器的Java实现简明条件随机场CRF介绍 | 附带纯Keras实现DL4NLP —— 序列标注：BiLSTM-CRF模型做基于字的中文命名实体识别sequence-la...

由于实验室目前研究方向偏重于NLP和知识图谱，在学习了一段时间机器学习相关内容后，也决定暂时侧重于NLP相关内容的研究。对NLP方面的相关调研工作做一个总结，顺序不分先后。这部分内容可能和笔记-深度学习场景调研有交集，在此就不重复写已有的东西。依存句法分析（Dependency Parsing，DP）、语义依存分析（Samantic Dependency Parsing，SDP）、语义角色标注...

深度学习的大潮如火如荼，但深度学习并非所有问题的最好答案。那么哪些方向已经较为成熟应用了深度学习并取得了较好效果呢，通过了解深度学习如何解决不同的问题，从而更深入理解深度学习算法的特点与适用性，做了相关调研，附上链接如下：深度学习在图像领域的应用，图像分类、图像识别、语义分割、视频检测…这是深度学习最初放光的领域，也是当前研究的最热点，不同类型的网络层出不穷，很少的一部分沉淀下来成为了经典。理...

AE自编码器（下简记为AE）为一类特殊的神经网络，该网络输入维度等于输出维度，通过网络隐层的复杂神经元结构，尝试学习数据的内在特征（pattern），从而达到特征提取、数据降维、生成新数据等多种目的。简单的AE和MLP类似，except输入维度等于输出维度。此时输入数据的标签即为自身，模型的损失函数cost=cost(output, input)，用来评估输出是否很好地重新构建了输入。...

主成分分析是一种特征抽取手段，通过将样本从原始空间映射到低维空间实现特征数量的减少，而低维空间中某一维度实际上是原始空间的一种“杂糅”表示。在之前的博客中提到过参考链接，由于PCA涉及的数学手段包括矩阵、特征值和特征向量，参考笔记-矩阵与特征值这一篇，对其有一定理解后再来看PCA算法就比较清晰了。首先给出PCA算法：对所有样本进行中心化：xi←xi−1m∑mi=1xixi←xi−1m...

对Gaussian Mixture Model和Expectation Maximization算法一直以来了解不多，一来直接使用这两个方法的场景少，二来初看这两个算法确实有些一头雾水，不太理解为什么要这么做。上学期的课又涉及到了这部分，还是咬牙把这块给啃了下来，结合“周志华西瓜书”，在聚类场景下对这两部分做下总结。高斯混合(Mixture of Gaussian)nnn维随机变量xx...

上篇讲述的Soft Margin SVM是为了解决线性不可分的问题，它解决问题的逻辑是通过允许一部分样本分得不那么准确（进入“楚河汉界”）甚至错分，使得在绝大多数样本能够正确地线性可分。本篇引入核函数(kernel)，从另一个思维角度来解决线性不可分问题。问题引入当样本在某个特征空间不可分时，可以通过将样本映射到另一个特征空间，在该空间中样本分布满足线性可分条件，再使用SVM进行学习分...

上一篇我们讨论了SVM的建模由来与推导过程，最终得出了SVM的对偶问题和解的形式，不过这都基于一个重要前提，即样本集是线性可分的。为了解决线性不可分情况下的分类问题，我们引入soft margin SVM，即软间隔SVM。为了处理上述情况，我们不再要求样本集全部位于“楚河汉界”外，放宽限制，允许数据点进入“楚河汉界”甚至错分，引入松弛变量ξξ\xi，如下所示： 此时对应的约束条件为：...

在自然语言处理的相关问题中，如何表示句子是建模分析的关键。与传统的图像、音频等天然可转化为计算机编码的元素不同，自然语言需要经过复杂编码才能被计算机识别。并且，这种编码是机械式的简单排列，设计初衷是为了解决自然语言的存储问题，编码本身不带有任何语言层面的信息。因此，直接使用自然语言的编码对文字进行转换而后建模是不可靠的，过程中丢失了太多的信息。语言模型正是解决了这样的问题。语言模型有很多种...

之前笔记(总结)-统计语言模型主要介绍了统计语言模型。可以看到，最终对句子的建模为（以二元文法为例）： P(S)=p(w1)p(w2|w1)...p(wn|wn−1)P(S)=p(w1)p(w2|w1)...p(wn|wn−1)P(S)=p(w_1)p(w_2|w_1)...p(w_n|w_{n-1})核心问题在于如何计算参数p(wi|wi−1)p(wi|wi−1)p(w_i|w_{i-1}...

这篇博文主要是记录平常通过各类渠道（公众号推送、知乎浏览、博客阅读等等）获知的质量较高论文的笔记。可能有各个类别的，可能有几年的经典论文重读，或者是2018年好的科研成果，这里进行简要记录，之后基本都是要单开博文来详细写笔记的。名称来源类型时间阅读价值笔记An Introductory Survey on Attention Mechanisms in NLP Pro...

EMNLP 2018去年十一月开完会了，又出了很多文章。根据自己的兴趣点选了一些，平常慢慢读，持续更新到这篇博文。这篇博文记录下这些文章的简要笔记，好的文章会标上“TO BE CONTINUED”，之后会再开单独的博文来做笔记。列表如下：名称类型时间阅读价值笔记Improving Neural Abstractive Document Summarization wit...

情感分类属于文本分类的一个应用场景，一般都是人（用户）对某些具体事物（商品、事件）表达某些情感。落地场景是很多的。这学期最开始是做stance detection相关的工作，而其中target-specific stance detection和情感分类中的aspect-based sentiment analysis是很相关的，而AIC的比赛又正好是这个后者，所以顺便调研了下sentiment ...

这学期做了一些和stance detection相关的工作，列出自己阅读论文的列表，部分论文直接列出一些简单的笔记，这些论文可读性不强（方法过于简单，或者论文本身的贡献不在方法上，没有太多记录成笔记的价值…），部分论文会逐步完善，给出简单的阅读笔记。阅读价值评分纯粹是基于自己对于文章的理解，标准包括：动机、方法、数据集质量、实验安排、相关工作等，满分为5（相对评分，即分值高低仅反映论文在以下列表中...

本篇紧接上篇笔记(总结)-从马尔可夫模型到条件随机场-2，讲述条件随机场（Conditional Random Field）。条件随机场定义先给出几个相关概念的定义。 随机场:可看成是一组随机变量的集合(这组随机变量对应同一个样本空间)。这些随机变量之间可能有依赖关系，当给每一个位置中随机变量按照某种分布随机赋予相空间（相空间是一个用以表示出一系统所有可能状态的空间，...

本篇主要针对注意力（Attention）机制进行简要描述。Attention是为了解决Sequence-to-Sequence中的一些问题而提出的，本身的逻辑十分简洁。Attention的产生过程反映了解决问题的一种最直接的思路，正如Resnet中提出“残差”的概念一样，简单直接的就能解决问题，而且思路没有绕任何弯子。这在科研工作中是十分难得的。下面结合机器翻译问题来回顾下这整个过程。Se...

本篇紧接上篇笔记(总结)-从马尔可夫模型到条件随机场-1，讲述最大熵模型（Maximum Entropy Model）。最大熵模型先来简单介绍下熵的概念，看看为什么要“最大熵”建模。 熵用来度量随机变量的不确定性。即熵越大，不确定性越大。举个例子，给定一个骰子，问抛出去后最终每个面朝上的概率是多少？一般人都会回答“等概率”。为什么这么回答？因为对这个“一无所知的“骰子，假...

在讲述了大量的概率图模型后，本篇介绍下它发挥作用的主要场景——序列标注（Sequence Labaling）。序列包括时间序列以及general sequence，但两者无异。连续的序列在分析时也会先离散化处理。常见的序列有如：时序数据、本文句子、语音数据、等等。常见的序列问题有：拟合、预测未来节点（走势分析，如股票预测、销量预测等）判定序列所属类别，即分类问题（如语音识别，判断声音序列所...

本篇针对概率图模型做一个总结。顺序依次为： 马尔可夫模型（Markov Model，下称MM）⟹⟹\Longrightarrow 隐马尔可夫模型（Hidden Markov Model，下称HMM） 最大熵模型（Maximum Entropy Model，下称MEM）⟹⟹\Longrightarrow 最大熵隐马模型（Maximum Entropy Markov Model，下称MEMM）...

起源全连接神经网络能够很好地拟合复杂的样本特征，卷积神经网络能很好地建模局部与全局特征的关系。但它们都只能处理定长的输入、输出，而自然语言的处理对象一般是变长的语句，句子中各元素出现的顺序先后暗含着时序关系，循环神经网络（Recurrent Neural Network，下称RNN）能够较好地处理这种关系。基本结构RNN的基本思想是：将处理对象在时序上分解为具有相同结构的单元，单元...

神经网络是一棵根深叶茂的大树，有过许多果实，可是都略显青涩，无法摘食。直到2010年后，这棵大树才真正可谓硕果累累，其中最璀璨甘甜的就是卷积神经网络（Convolutional Neural Network，下称CNN）。在这之后，神经网络再次成为科研界的热点，在这个数据和算力初具规模的时代，神经网络终于展现出了应用的价值。闲话到此，只是想说明CNN对于神经网络的意义。本篇将主要讨论CNN的模型原...

前三篇主要是介绍SVM的原理。最初SVM的原问题是凸二次优化问题，有现成的算法可以求解，费尽周折转换到对偶问题，一是在对偶问题形势下可以使用核函数，二是对偶问题我们可以高效求解。本篇主要介绍如何求解SVM。SMO：Sequential Minimal OptimizationCoordinate Ascent（坐标上升法）回到我们的对偶问题： maxW(α)=∑iαi−12∑...

SVM即支持向量机作为神经网络复兴前的最强大模型，建模和推导有着严密的数学推导作为基础，在训练完成后计算速度也较快，得到了广泛的应用。本文先阐述SVM的基本问题和推导过程，再引入软间隔的SVM，最后引入核函数和求解方法。问题引入考虑简单的二分类问题，我们想找一个“最好”的超平面来分隔两类样本。可以看到，在样本点线性可分的情况下，能够找到多个超平面。但其中黑色超平面直观上来看是最合理的，...

最近在知乎上看到一篇文章，从minimax入手讲AlphaGo。讲解通俗易懂，正好最近算法课BDB也讲了些minimax，学习之。链接如下：浅述：从 Minimax 到 AlphaZero，完全信息博弈之路（1）做的笔记如下：P1-left part P1-right part P2

缺失值（missing value）是机器学习建模过程中最让人头疼的问题之一。重要属性的缺失更是会让模型的预测效果变差，容易让模型过拟合。解决方法主要有三类：删除含缺失值的数据行（instance）、删除含缺失值的数据列（feature）、填充缺失值。在以下链接中都有涉及：机器学习中如何处理缺失数据？ - 知乎面对数据缺失，如何选择合适的机器学习模型？

数据挖掘模型中，树模型解释性强、拟合效果好、调参更有依据…在比赛中多次使用。其中从最基础的决策树—>CART—>复杂的GBDT—>高效实现的xgboost，原理和工程实现都大不相同。列出学习过程中的参考链接：【十大经典数据挖掘算法】CART - Treant - 博客园简单易学的机器学习算法——梯度提升决策树GBDT - 优快云博客GBDT（MART） 迭代决策树入门教程 | 简介 - 优快云博

机器学习任务中，最终目标是最小化模型在测试集（test dataset）上的错误（error）。在只有训练数据情况下，我们想模拟“训练”—>“测试”这一过程，即利用一部分数据集进行训练，再在另一部分数据集上进行假想测试。由于测试的数据集是属于训练数据的一部分，有label来验证测试结果，故能给建模调参提供依据，这部分带有label的测试数据叫做验证集（validation dataset）。每次按不

鉴于之前看过两遍斯坦福Ng的机器学习课程，最近想通过kaggle来入手数据挖掘，通过实际问题加深对于算法、问题解决过程的理解。在网上找了一些对kaggle比赛过程的介绍与参赛心得，参考链接如下：kaggle home pagekaggle入门教程-传送门1kaggle入门教程-传送门2

最近工作中用到了simhash来找相似文章，参考链接如下：传送门

Java garbage collection is an automatic process to manage the runtime memory used by programs. By doing it automatic JVM relieves the programmer of the overhead of assigning and freeing u

了解JVM之前…JVM即Java 虚拟机（Java virtual machine），是运行Java程序的底层基础。

关于Chapter two本章余下内容依次为： 2.2整数表示 2.3整数运算 2.4浮点数多为关于计算机中数的基于离散数学原理的数学表示以及将其转换为计算机中的表示规则。在以后遇到问题（不同类型数转换，溢出，位模式，舍入等）时能留个印象，知道在哪找原因就行，不再进行博客记述。Chapter three先导计算机执行机器代码，用字节序列编码底层的操作。 编译器基于编程语言的规则、目标机器的指

先导“单个的位只能表示有/无的概念，把位组合在一起，加上解释，即给不同的可能位模式赋予含义，就能够表示任何有限集合的元素” 位模式：0/1字符串，其中每个数位具有权重“计算机表示法是用有限数量的位来对一个数字编码，当结果太大以至于不能表示时，某些运算就会溢出（overflow）”“整数的运算满足整数算律，虽然可能溢出但是结果都相同” (500*400)*(300*200) = ((50

写在读书前本学期之前就听过这本书的大名，一直没有机会好好读一读。正好到了大三下，课程稍微少了一些，能够留时间出来专门来读书。翻了一些别人推荐的书单，有算法的，计算机系统的，还有各个具体CS子方向的。到目前为止，操作系统、汇编、计算机组成原理等专业大课都已经学完，虽然对这些方面都有了较为系统的认知，但是对之间许多知识了解得还不够透彻，掌握不牢。加之到目前为止也有一定的代码量了，在很多问题实现时，也需要

JVM是编译后的Java程序（.class文件）和硬件系统之间的接口。JVM架构如下

集成学习中有两类方法，bagging和boosting。bagging使用众多弱学习器进行并行拟合，不同的学习器之间取长补短，能达到甚至超越强学习器的效果。bagging的有效实现是随机森林算法，也是在数据挖掘比赛中常使用的基础方法。参考链接如下：Bagging与随机森林算法原理小结 - 刘建平Pinard - 博客园