lihao19990930的博客

HMM序列标注问题隐马尔可夫模型1.HMM与马尔可夫假设序列标注问题序列标注问题是给定一个序列x=x1x2…xn,找出序列中每个元素对应的标签y=y1y2…yn的问题。其中y的取值范围称为标注集。中文分词可以当作是一个序列标注问题。对于每个词，可以用标注集为{B,E,M,S}的状态序列标注，B和E表示词首和词尾；S表示单字成词；M表示词中。标注之后，B和E标签区间对应一个词，S字符对应一个单字词。此外，词性标注和NER问题也是序列标注问题。隐马尔可夫模型HMM是描述两个时序序列联合分布p(x,y

源文章地址：百度副总裁王海峰：百度在NLP领域都做了什么？文章目录1.百度的应用2.知识图谱3.语言理解Query理解篇章理解情感分析1.百度的应用百度研发了知识图谱，通过分析用户的query、分析篇章、分析情感，构建了问答系统、对话系统和机器翻译。NLP技术应广泛应用于搜索、广告、o2o、Feed等。2.知识图谱百度的知识图谱分为三类：实体图谱(entity graph—如Neo4j就属于实体图谱)、关注点图谱（attention graph）和意图图谱（intent graph）。3.语言理

本章节主要讲述单词的切分算法、如何构建并不断优化字典树以及分词的准确率评测。中文分词指的是将一段文本拆分成一系列单词的过程文章目录什么是词什么是词

开始学习自然语言处理方面的知识了，仅以此记录下学习历程。1.1自然语言与编程语言自然语言是非结构化的，具有歧义性、容错性、易变性、简略性的特点。非结构化编程语言是结构化比较强的，比如创建类，调用方法，都是遵循一定的格式的，而自然语言中不存在这样的显式结构。举个例子“苹果的创始人是乔布斯，它的logo是苹果”。计算机需要分析出下面的结论：首先，需要对这句话进行序列化：“苹果 的 创始人 是 乔布斯 ， 它 的 logo 是 苹果”；其中，第一个“苹果”指的是苹果公司，第二个“苹果”是水果