XiaoXiao_Yang77的博客

做文本挖掘时，我们可能需要分析不同文本之间的关联，最简单的就是分析两文本是否相似，是否在陈述相同的事情。文本属于非数值数据，通常可根据分词，把文本转化成数值向量，进一步根据相似度度量进行分析。   相似度度量（Similarity），即计算个体间的相似程度，相似度度量的值越小，说明个体间相似度越小，相似度的值越大说明个体差异越大。   余弦相似度(Cosine Similarity

KNN分类算法介绍一、什么是分类分类是指通过对大量的训练样本进行提取和分析，训练出用来分类的规则，即分类器或者分类模型，最终判断未知样本的类别。常见的分类算法有：决策树（ID3和C4.5），朴素贝叶斯，人工神经网络 （Artificial Neural Networks，ANN），k-近邻(kNN)，支持向量机（SVM），基于关联规则的分类，Adaboosting方法等等。这篇文章主要介绍KNN算法

[TOCM]一项目背景二项目实施1属性词典的构造2文本向量TF-IDF的计算3分类器的训练测试文本类别的判断分类精度的计算三项目总结一、项目背景此项目是用于基建大数据的文本挖掘。首先爬虫师已经从各个公开网站上采集了大量的文本，这些文本是关于基建行业的各种招中标公告，文本里会有部分词汇明显或者隐晦的介绍此项目是关于哪一工程类别的，比如公路工程，市政工程，建筑工程，轨道交通工程，等等。所以，拿

文本挖掘是抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。对于文本来说，由于语言组织形式各异，表达方式多样，文本里面提到的很多要素，如人名、手机号、组织名、地名等都称之为实体。在工程领域，招投标文件里的这些实体信息至关重要。利用自然语言处理技术从形式各异的文件中提取出这些实体，能有效提高工作效率和挖掘实体之间的潜在联系。文本预处理1、文本清洗目前，

一、 TF-IDF算法原理TF-IDF是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。TF-IDF是一种统计方法，用以评估某个字词对于一个语料库中的其中一份文本的重要程度。字词的重要性随着它在文本中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相