bensonrachel的博客

“论文主要研究的问题是识别并解释输入句子中的隐喻词，作者首次提出了一个支持机器翻译的无监督隐喻识别模型，无需任何预处理和标注数据即可进行训练。”本次主要根据论文实现的论文的第四部分的如下图：具体：程序步骤是给出一个英文句子，指定需要判断的目标单词，应用维基数据集训练词向量，得到所有英语单词的词向量（我写的程序可追加训练），给出一个英文句子，指定需要判断的目标单词，将句子中的单词分为上下文单词和目标单词。根据WordNet，查找目标单词的同义词和直接上位词，将这些单词以及他们的变形作...

《NLP-双向匹配中文分词（Java实现）》；摘要：平台使用Netbeans搭载JDK1.8环境编程。实现MM算法及RMM算法并集成于一个窗体平台（如下图）。字典使用ChineseDic.txt；                                                             理论描述：中文分词(Chinese Word Segmenta...

匹配文本评估方法。python实现准确率，召回率X表示模型生成的结果，Y表示运营编辑的结果即reference。多reference的情况，取对应每个reference中最大的rouge-l值作为单个测试数据的结果。LCS 表示最长公共子串。# coding:utf-8''''''import math#输入的两个字符串长度不应为0；def Recall_lcs_G...

摘要：平台使用Netbeans搭载JDK1.8环境编程。实现基于概率最大化的中文分词算法并集成于一个窗体平台（如下图）。字典使用WordFrequency.txt；                                    理论描述：最大概率法分词是在最大匹配分词算法上的改进。在某些语句切分时，按最大长度切分词语可能并不是最优切分。而不按最优长度切分词语，则同一语句会出现多...

NLP- HMM+维特比算法进行词性标注（Python实现） 维特比算法针对HMM解码问题，即解码或者预测问题（下面的第二个问题），寻找最可能的隐藏状态序列：对于一个特殊的隐马尔可夫模型(HMM)及一个相应的观察序列，找到生成此序列最可能的隐藏状态序列。也就是说给定了HMM的模型参数和一个观测序列，计算一系列的隐状态。给定观测序列，求最可能的对应的隐状态序列。Viterbi：...

1.先解释何为CFG及PCFG：一个栗子：2.CKY算法（或称CYK算法）“在计算机科学领域，CYK算法（也称为Cocke–Younger–Kasami算法）是一种用来对 上下文无关文法（CFG，Context Free Grammar）进行语法分析（parsing）的算法。该算法最早由John Cocke, Daniel Younger and Tadao Kasam...

功能：给出拼写错误的单词，返回一个正确的单词，或者返回一个与输入单词最接近的单词；IDE：pycharm；python3.5；PYQT做界面；数据：使用big.txt作为语料库。主要算法原理： 编辑距离（这里使用的是替换操作算一次开销的版本，跟插入和删除等价）：这里的东西请看我的博客算法里的编辑距离问题，这里不在详细说明。编辑距离具体处理方法：把b...

 自然语言处理（NLP）- 建立一个搜索引擎（信息检索系统）的点点滴滴教程在最底下代码：建索引： 搜索：           bensonrachel简书教程...

准备：wikipedia-parallel-titles项目（老师给的） This document describes how to use these tools to build a parallel corpus (for a specific language pair) based on article titles across languages in Wik...