
NLP
小豆芽_
这个作者很懒,什么都没留下…
展开
-
NLP_deepQA初探
【1】deepQA实质是基于知识库的问答系统【2】会从问题中提取需要特殊处理的字符,比如:一词多义、句法、语义等【3】会对问题进行分类等【4】资料:https://www.guokr.com/article/17295/...原创 2018-07-23 16:04:58 · 1108 阅读 · 0 评论 -
NLP_词性分析
【1】问题产生:为了识别query的意图,采用了人工配模版的方法。第一步:分析query结构。第二步:在每一个结构下可能出现的词。这样当一个query出现的时候就会严格根据模版、模版下的词来匹配。匹配成功即对应模版的意图。这样每一次都需要人工太low了。【2】解决方法一:分析句子结构能否利用词性标注来完成;结构下的词可否利用词性/词义聚类来实现...原创 2018-07-18 10:04:27 · 2760 阅读 · 0 评论 -
NLP_语言理解
【1】入门参考:http://bit.baidu.com/news/detail/id/24.html依存句法分析技术:找到句子的各个组成成分。比如:“给我推荐一家可以听到蛙声的餐馆”。分析:推荐和餐馆是主要意图,而听见和蛙声是修饰成分,对用户的意图进行了修饰和限定。 基于语义理解技术:基于深度学习来计算query和文本语义的关联。eg:一个query包括用户点击的正例和未点击的负例。框架是...原创 2018-07-23 20:22:36 · 380 阅读 · 0 评论 -
NLP_中文分词/jieba分词原理
【1】基于词典分词方法:将待分析的汉字串与词典进行匹配。若在词典中找到某个词,则分出一个词。主要有正向最大匹配;逆向最大匹配;最少切分;基于索引树等。 改进:一、将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法;二、改进扫描方式,称为特征扫描或标志切分,优先在待分析字符串中识别和切分出一些 带有明显特征的词,以这些词作为断点,可将原字符串分为较小的串再来进机械分词,从而减少匹配的错...原创 2018-07-23 20:56:25 · 967 阅读 · 0 评论 -
NLP_中文分词有向无环图:DAG
【1】DAG:可以用来记录句子不同切分状态的集合,“向”即句子开始到结束的地方。假定句子的开始字符为 s,以“他们有意见分歧”这个句子为例,可以得到如下的有向无环图:...原创 2018-07-24 10:08:43 · 2155 阅读 · 0 评论 -
意图识别_总结
【1】意图识别的难点:输入不规范 多意图。eg:仙剑奇侠传 游戏?电视剧?小说? 结果的可靠性。 实效性: iPhone5 7月1日上市销售 6月30日的查询意图:新闻90%,百科10% 7月1日的查询意图:新闻70%,购买25%,百科5% 8月1日的查询意图:购买50%,资讯40%,...原创 2018-08-06 16:32:06 · 2354 阅读 · 0 评论