知更鸟的博客

内容提要分类概述分类流程数据采集爬虫技术页面处理文本预处理英文处理中文处理停用词去除文本表示特征选择分类概述  分类(Classification)是指自动对数据进行标注。人们在日常生活中通过经验划分类别。但是要依据一些规则手工地对互联网上的每一个页面进行分类，是不可能的。因此，基于计算机的高效自动分类技术成为人们解决互联网应用难题的迫切需求。与分类技术类似的是聚类，聚类不是将数据匹配到预先定...

内容提要基于规则的模型基于概率的模型基于几何的模型基于统计的模型  文本分类方法模型主要分为两个大类，一类是基于规则的分类模型；另一类是基于概率统计的模型。基于规则的模型  基于规则的分类模型相对简单，易于实现。它在特定领域的分类往往能够取得较好的效果。相对于其它分类模型来说，基于规则的分类模型的优点就是时间复杂度低、运算速度快。在基于规则的分类模型中，使用许多条规则来表述类别。类别规则可以...

内容提要数据集英文语料中文语料评估指标召回率与准确率F1-评测值微平均与宏平均混淆矩阵  优秀的文本分类模型必须经得住真实数据集的验证，因而分类器必须在通用的数据集上进行测试。用于文本分类的数据集一般称为语料库。  语料库指经科学取样和加工的大规模电子文本库。借助计算机分析工具，研究者可开展相关的语言理论及应用研究。语料库中存放的是在语言的实际使用中真实出现过的语言材料；语料库是以电子计算机为...

内容提要1 引言2 NLV算法理论2.1 训练模型2.2 分类模型3 NLV算法实现3.1 算法描述4 实验及性能评估4.1 实验设计4.1.1 实验环境4.1.2 数据集4.1.3 实验目标4.1.4 关于预处理4.2 实验说明4.3 实验结果4.3.1 选参前提实验4.3.2 NLV分类实验4.3.3 分类对比实验5 分析总结1 引言  分类器的分类效率是衡量分类器性能的一项重要指标。为了...

 内容提要分类器类图部分代码实现请求JSON响应JSONDEBUG信息  分类器微服务主要实现如下分类选择算法：k-Nearest Neighbor(kNN)、Naïve Bayes(NB)、Support Vector Machine(SVM)、Normalized Vector(NLV)。分类器类图  分类器服务主要类图如下图所示：分类器服务主要类图部分代码实现文本分类-训练器抽...

 内容提要1 概述2 系统介绍2.1 功能全览2.2 核心功能3 系统架构3.1 云化架构图3.2 架构说明4 云化部署4.1 部署图4.2 部署说明4.3 部署实例5 设计实现5.1 RESTful微服务框架5.1.1 微服务框架图5.1.2 微服务框架实现5.2 中文分词微服务5.2.1 设计模式5.2.2 代码实现5.2.3 请求JSON5.2.3 响应JSON5.3 预处理微服务5.3.1...

内容提要介绍普通kNN实现快速kNN实现实验对比分析总结介绍  文本分类——常见分类模型  kNN分类模型的主要思想：通过给定一个未标注文档d，分类系统在训练集中查找与它距离最接近的k篇相邻(相似或相同)标注文档，然后根据这k篇邻近文档的分类标注来确定文档d的类别。普通kNN实现  一般常规的kNN计算新输入文档与训练集中样本之间的距离，都是新输入文档与每一训练集样本计算相似度。数据结构...

 内容提要1 概述2 系统介绍2.1 功能全览2.2 核心功能3 系统架构3.1 云架构图3.2 架构说明4 云化部署4.1 部署图4.2 部署说明4.3 部署实例5 详细设计5.1 RESTful微服务框架5.1.1 微服务框架图5.1.2 微服务框架实现5.2 中文分词微服务5.3 预处理微服务5.4 特征选择微服务6 系统运行7 分析总结1 概述  本篇主要介绍基于Kubernetes、...