alihonglong的专栏

note1, json.dumps:因为json.dumps 序列化时对中文默认使用的ascii编码.想输出真正的中文需要指定ensure_ascii=Falseimport jsonprint json.dumps(‘中文’,ensure_ascii=False)note2, json.loads加载后的字符串为unicode格式note3 汉字长度unico...

目录一、机器翻译...1二、语音翻译...1三、文本分类...13.1基本概念...13.2文本表示...23.3特征选择...23.5分类算法...23.7评介指标...23.6情感分类...2四、信息检索与问答系统...34.1信息检索...34.2问答系统...3五、自动文摘与信息抽取...

进行统计自然语言处理系统梳理，学习资料《统计自然语言处理.宗成庆》。一、自动分词         词，词是最小的能够独立运用的语言单位。         自动分词问题由来。中文（还有日语、越南语、藏语等）的文本不像西方屈折语的文本，词与词之间没有空格之类的标注来显示指示词的边界，因此，自动分词成了文本处理的首要基础性工作。         汉语自动分词的基本问题。1，分词规范问题：

进行统计自然语言处理系统梳理，学习资料《统计自然语言处理.宗成庆》。一、概述         句法分析是自然语言处理技术中的关键技术之一，其基本任务是确定句子的句法结构或句子中词汇之间的依存关系。         句法分析分为句法结构分析和依存关系分析。         句法结构分析又称成分结构分析或短语结构分析，其又分为二种。以获取整个句子的句法结构为目的分析称为完全句法分析

进行统计自然语言处理系统梳理，学习资料《统计自然语言处理.宗成庆》。一、概述         对于不同的语言单位，语言分析的任务各不相同：在词的层次上，语义分析的基本任务是进行词义消歧；在句子层面上，语义角色标注是所关心的问题；在文章层次上，指代消解、篇章语义分析是重点。二、词义消歧         词义消歧的基本方法：基于规则的分析方法；基于大规模语料的统计机器学习方法。

进行统计自然语言处理系统梳理，学习资料《统计自然语言处理.宗成庆》         篇章分析的最终目标是从整体上理解篇章，最重要的任务是分析篇章结构。篇章结构包括：语义结构，话题结构，指代结构等。一、基本理论         概念依存理论。         Beaugrandeand Dressler(1981)认为篇章有7个基本特征：衔接性，连续性，意图性，信息性，可接受性，情景

目录一、软件安装...1二、相关实践理解...12.1分词、词性标注...22.2句法、语义分析...22.3加载语料库...22.4概率统计...32.4.1 FreqDist.32.5聚类器...42.5.1kmeans聚类...42.5.2gaac聚类...42.5.3混合高斯聚类...52.6分类器

目录一、前言...1二、Win7下通过命令行使用LTP.22.1下载相关软件...22.2文件夹放置...22.3通过python使用命令接口...22.3.1命令简介...22.3.2测试代码：...32.4参考资料...3三、Ubuntu下python编程接口使用LTP.43.1搭建开发环境...43.2功能测

目录第一部分 简介...1第二部分ubuntu系统...21 所有相关软件...22 ltp4库编译...22.1安装JDK并配置环境变量...22.2安装Ant.22.3安装cmake.32.4编译LTP.32.5编译LTP4j33 eclipse下测试...33.1功能简介...33.2详细代码...4