运用TF-IDF 提取特征词 k-means 挖掘微博的兴趣特征群体

NLP深入学习(三):TF-IDF 详解以及文本分类/聚类用法 本文主要介绍nlp相关的tf-idf详细用法,包含文本分类、文本聚类等。 阅读详情


//分词

#include "TFIDFMeasure.h"
#include <limits>
#include <cmath>
using namespace std;

TFIDFMeasure::~TFIDFMeasure(void)
{
 //销毁分词器
 if (this->_tokenizer!=NULL)
 {
  delete _tokenizer;
  _tokenizer = NULL;
 }
 //清空数据
 _docs.clear();
 _terms.clear();
 _wordsIndex.clear();
}

TFIDFMeasure::TFIDFMeasure(const StrVec& documents,ITokeniser* tokeniser)
{
 _docs=documents;
 _numDocs=documents.size();
 _tokenizer = tokeniser;
 this->Init();
}

void TFIDFMeasure::GenerateTerms(const StrVec& docs,StrVec& terms)
{
 for (int i=0; i < docs.size() ; i++)
 {
  StrVec words;
  _tokenizer->Partition(docs[i],words);//分词  

  for (int j=0; j < words.size(); j++)
  {
   //不在单词表中,则加入
   if (find(terms.begin(),terms.end(),words[j])==terms.end())
   {
    terms.push_back(words[j]);
   }
  }
 }
}

void TFIDFMeasure::Init()
{//初始化
 this->GenerateTerms (_docs,_terms);//分出所有词项
 this->_numTerms=_terms.size() ;//所有文档中的词项数目
 //准备好存储空间
 _maxTermFreq.resize(_numDocs);
 _docFreq.resize(_numTerms);
 _termFreq.resize(_numTerms);
 _termWeight.resize(_numTerms);

 for(int i=0; i < _terms.size() ; i++)   
 {
  _termWeight[i].resize(_numDocs);
  _termFreq[i].resize(_numDocs) ;
  _wordsIndex[_terms[i]] = i;//将单词放入单词映射表中 
 }
 this->GenerateTermFrequency ();//计算单词频率
 this->GenerateTermWeight();//计算单词权重
}

void TFIDFMeasure::GetWordFrequency(string& input,map<string,int>& freq)
{//计算单词频率
 transform(input.begin(),input.end(),input.begin(),tolower);
 StrVec temp;
 this->_tokenizer->Partition(input,temp);//对当前文档分词
 unique(temp.begin(),temp.end());
 StrVec::iterator iter;
 for (iter=temp.begin();iter!=temp.end();++iter)
 {
  int count = CountWords(*iter, temp);//计算单词在文档中出现的次数
  freq[*iter] = count;//保存单词频率
 }
} 
void  TFIDFMeasure::GetTermVector(int doc,DoubleVec& vec)
{
 vec.resize(this->_numTerms);
 for (int i=0; i < this->_numTerms; i++)           
  vec[i]=_termWeight[i][doc];//第i个单词在文档doc中的权重
}

//用于字符串比较的仿函数
class WordComp
{
public:
 WordComp(string& sWord) : word(sWord)
   {

   }
   bool operator() (const string& lhs)
   {
    return lhs.compare(word)==0;
   }      
private:
 string word;       
};

int TFIDFMeasure::CountWords(string& word, const StrVec& words)
{
 int nCount = 0;
 nCount = count_if(words.begin(),words.end(),WordComp(word));
 return nCount;
} 

int TFIDFMeasure::GetTermIndex(const string& term)
{
 map<string,int>::iterator pos = _wordsIndex.find(term);
 if (pos!=_wordsIndex.end())
 {
  return pos->second;
 }
 else
  return -1;
}

void TFIDFMeasure::GenerateTermFrequency()
{//计算每个单词在每份文档出现的频率
 for(int i=0; i < _numDocs  ; i++)
 {        
  string curDoc=_docs[i];//当前待处理的文档
  map<string,int> freq;
  this->GetWordFrequency(curDoc,freq);
  map<string,int>::iterator iter;
  _maxTermFreq[i]=numeric_limits<int>::min();
  for (iter = freq.begin();iter!=freq.end();++iter)
  {
   string word=iter->first;
   int wordFreq=iter->second ;
   int termIndex=GetTermIndex(word);//单词下标
   if(termIndex == -1)
    continue;
   _termFreq [termIndex][i]=wordFreq;//单词在第i份文档中出现的频率
   _docFreq[termIndex]++;//出现第termIndex单词的文档频率加1

   if (wordFreq > _maxTermFreq[i]) _maxTermFreq[i]=wordFreq;//记录第i份文档中的最大词频     
  }
 }
}


void TFIDFMeasure::GenerateTermWeight()
{//计算每个单词在每份文档中的权重   
 for(int i=0; i < _numTerms; i++)
 {
  for(int j=0; j < _numDocs ; j++)
  {
   _termWeight[i][j]=ComputeTermWeight (i, j);  
  }
 }
}

double TFIDFMeasure::GetTermFrequency(int term, int doc)
{   
 int freq=_termFreq [term][doc];//词频
 int maxfreq=_maxTermFreq[doc];   
 return ( (float) freq/(float)maxfreq );
}

double TFIDFMeasure::ComputeTermWeight(int term, int doc)
{//计算单词在文档中的权重
 float tf=GetTermFrequency (term, doc);
 float idf=GetInverseDocumentFrequency(term);
 return tf * idf;
}
double TFIDFMeasure::GetInverseDocumentFrequency(int term)
{
 int df=_docFreq[term];//包含单词term的文档数目
 return log((float) (_numDocs) / (float) df );
}

//k-means

#include "KMeans.h"
#include <time.h>
#include "Cluster.h"
#include "TermVector.h"
#include <limits>

KMeans::KMeans(Double2DVec &data, int K)
{
 int i;
 this->_coordinates.resize(data.size());
 for (i=0;i<data.size();++i)
 {
  copy(data[i].begin(),data[i].end(),back_inserter(_coordinates[i]));
 }
 _coordCount = data.size();
 _k = K;
 _clusters.resize(K);
 _clusterAssignments.resize(_coordCount);
 _nearestCluster.resize(_coordCount);
 _distanceCache.resize(_coordCount);
 for (i=0;i<_coordCount;++i)
 {
  _distanceCache[i].resize(_coordCount);
 }
 InitRandom();
}

void KMeans::InitRandom()
{
 srand(unsigned(time(NULL)));
 for (int i = 0; i < _k; i++)
 {
  int temp =  rand()%(_coordCount);//产生随机数
  _clusterAssignments[temp] = i; //记录第temp个资料属于第i个聚类
  _clusters[i] = new Cluster(temp,_coordinates[temp]);
 }
}
void KMeans::Start()
{
 int iter = 0,i,j;
 while (true)
 {
  
  cout<<"Iteration "<<iter++<< "..."<<endl;
  //1、重新计算每个聚类的均值
  for (i = 0; i < _k; i++)
  {
   _clusters[i]->UpdateMean(_coordinates);
  }

  //2、计算每个数据和每个聚类中心的距离
  for (i = 0; i < _coordCount; i++)
  {
   for (j = 0; j < _k; j++)
   {
    double dist = getDistance(_coordinates[i], _clusters[j]->Mean);
    _distanceCache[i][j] = dist;
   }
  }

  //3、计算每个数据离哪个聚类最近
  for (i = 0; i < _coordCount; i++)
  {
   _nearestCluster[i] = this->NearestCluster(i);
  }

  //4、比较每个数据最近的聚类是否就是它所属的聚类
  //如果全相等表示所有的点已经是最佳距离了,直接返回;
  int k = 0;
  for (i = 0; i < _coordCount; i++)
  {
   if (_nearestCluster[i] == _clusterAssignments[i])
    k++;

  }
  if (k == _coordCount)
   break;

  //5、否则需要重新调整资料点和群聚类的关系,调整完毕后再重新开始循环;
  //需要修改每个聚类的成员和表示某个数据属于哪个聚类的变量
  for (j = 0; j < _k; j++)
  {
   _clusters[j]->CurrentMembership.clear();
  }
  for (i = 0; i < _coordCount; i++)
  {
   _clusters[_nearestCluster[i]]->CurrentMembership.push_back(i);
   _clusterAssignments[i] = _nearestCluster[i];
  }

 }

}

double KMeans::getDistance(const DoubleVec& coord, const DoubleVec& center)
{
 return 1- TermVector::ComputeCosineSimilarity(coord, center);
}
int KMeans::NearestCluster(int ndx)
{
 int nearest = -1;
 double min = numeric_limits<double>::max();
 for (int c = 0; c < _k; c++)
 {
  double d = _distanceCache[ndx][c];
  if (d < min)
  {
   min = d;
   nearest = c;
  }

 }
 return nearest;
}
KMeans::~KMeans(void)
{
 vector<Cluster*>::iterator iter;
 for (iter=this->_clusters.begin();iter!=_clusters.end();++iter)
 {
  delete (*iter);
 }
 _clusters.clear();
}

针对新冠肺炎微博热搜话题使用R语言进行文本特征提取的四种方法(二) —— 基于TF-IDF的特征提取 在对一段文本进行分词之后,有的词出现的次数会比较多,因此往往对其出现的频次进行统计,作为该词重要程度的度量。基于这个思想,词频(Term Frequency,TF)被广泛应用于基本的文本数据挖掘。在实际应用中,分词过后经常出现的词包含一些常用而又不带有信息量的词,例如中文里面的“的”“了”“呢”,英文中的“the”“it”“is”。 为了在评估的时候降低这种词的重要性比重,产生了逆文档频率(Inverse Document Frequency,IDF)这一概 念。它的计算公式为... 阅读详情

相关推荐

基于TF-IDF与KMeans的海量新闻文本聚类

简述训练集中有8000个句子,测试集中有2717个句子。数据介绍train.txt内容范围test.txt数据来源来自官方网站http://semeval2.fbk.eu/semeval2.php的原始数据探索方向SemEval-2010 Task#8的两个工具官方输出文件格式检查器:semeval2010_task8_format_checker.plSemEval-2010任务8的官方得分手:semeval2010_task8_scorer-v1.2.pl。

优快云 精品推荐 3314

[python] 基于k-means和tfidf的文本聚类代码简单实现

俗话说“外行看热闹,内行看门道“,作为一个机器学习的门外汉,刚研究python机器学习scikit-learn两周时间,虽然下面这段程序可能对于那些专研算法或机器学习的人来说非常简单,但对于一些入门的同学和我自己还是非常有帮助的。如果文章中有错误或不足之处,还请你微微一笑,原谅之;当然也非常欢迎你提出建议或指正~基本步骤包括: 1.使用...

weixin_34124939的博客 4266

基于TF-IDF+KMeans聚类算法构建中文文本分类模型(附案例实战)

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。简单来说就是:一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。这也就是TF-IDF的含义。

m0_64336780的博客 1万+

聚类算法(七)—— Kmeans(含标签聚类和文本聚类代码)

聚类算法相关: 聚类算法(一)——DBSCAN 聚类算法(二)—— 优缺点对比 聚类算法(三)—— 评测方法1 聚类算法(三)—— 评测方法2 聚类算法(三)—— 评测方法3(代码) 聚类算法(四)—— 基于词语相似度的聚类算法(含代码) 聚类算法(五)——层次聚类 linkage (含代码) 聚类算法(六)——谱聚类 (含代码) 写了那么多聚类文章,没写Kmeans感觉不太厚道,但是相对来说目前Kmeans介绍的博文很多,相对来说逻辑也比较简单,所以这里我贴一篇个人感觉写的...

8831

TFIDF用到所有的包

TFIDF用到TFIDF用到所有的包

手把手教你绕过Incapsula reese84防护:从JS反混淆到动态Token生成全流程

本文深入解析了以Incapsula reese84为代表的现代Web客户端挑战防护机制,详细介绍了从JS反混淆、算法逆向到动态Token生成的全流程实战方法。文章系统阐述了如何通过模拟浏览器指纹、移植关键算法或嵌入JS引擎来构建自动化应对策略,并提供了稳健的令牌管理与系统架构设计思路,帮助开发者在合规前提下提升自动化工具的适应性。

jenkins8butler的博客 518

k-means聚类算法

一. 聚类的定义聚类能够将相似的样本尽量归入同一类,将不相似的样本归入不同的类,是一种无监督的机器学习算法。其中相似度的评价标准是人为制定的,一般情况下用欧式距离来衡量相似度。二. k-means算法k-means算法的伪代码如下:create k points for starting centroids (often randomly) while any point has changed c

whai的专栏 951

期末求生指南:手把手教你用浏览器开发者工具绕过百一测评切屏检测

本文详细介绍了如何利用浏览器开发者工具绕过百一测评的切屏检测功能。通过分析JavaScript事件监听机制,定位关键检测代码,并提供实时调试和本地覆盖两种修改方法,帮助学生在遵守规则的前提下更灵活地应对在线考试。文章还包含风险控制和替代方案等实用建议。

weixin_28698059的博客 563

使用K-means聚类算法进行数据处理(附代码)

· 什么是聚类? 在事先未知数据分类的情况下,通过聚类分析可以将数据聚合成几个不同群体。 #这里聚类不需要对数据进行训练,属于无监督学习的一种。 · K-means聚类 属于聚类算法较为便捷、常用的一种。 其特点在于需要提前手动指定分类数目,确定K个数据点,之后数据集中的数据会根据距离远近抱团聚合。 · K-means聚类算法步骤 (手写笔坏了,重回纸质时代) · 使用场景 现有大量数据,希望对数据进行分类聚合,得到K个不同特征的数据集。 #在数据分析中,聚类是后续做不同群组

etSha的博客 3759

40-基于STM32与LD3320的智能语音调光台灯开发全攻略(代码+硬件+调试心得)

本文详细介绍了基于STM32与LD3320的智能语音调光台灯开发全攻略,包括硬件设计、软件实现和调试心得。项目利用STM32单片机控制LD3320语音识别模块,实现语音控制开关和PWM调光功能,适合非接触式操作场景。文章还分享了硬件选型、PWM调光算法优化及常见问题解决方案,为开发者提供完整参考。

weixin_29163797的博客 326

在 Coze 平台工作流开发中,使用图生视频大模型需要时间比较长比如5分钟,如何解决工作流运行超时的问题以及等在视频生成以后再向下走

在 Coze 平台工作流开发中,使用图生视频大模型需要时间比较长比如5分钟,如何解决工作流运行超时的问题以及等在视频生成以后再向下走 同步的比较简单,直接在coze 工作流里面就可以搞定了,也不用写代码之类的

AI懒虫 2358

基于 python TF-IDF K-means 算法的校园微博热点话题发现系统 附代码

基于 python TF-IDF K-means 算法的校园微博热点话题发现系统 附代码

机器学习深度学习业余选手 2456

在Cursor中集成Ollama与Qwen2.5‑Coder:零成本本地AI开发环境搭建

本文详细介绍了如何零成本搭建本地AI开发环境,通过将Cursor IDE与本地运行的Ollama及Qwen2.5-Coder模型集成,实现数据不出本地的智能编程辅助。教程涵盖Ollama安装、模型拉取、ngrok内网穿透配置及Cursor设置等核心步骤,并提供了实战测试与常见问题排错指南,为注重隐私与成本的开发者提供安全高效的解决方案。

weixin_29296241的博客 1075

基于TF-IDF与k-means的情感聚类

目前很多情感聚类都是细分到逐词分析,而对于逐句的情感分析可以通过将文本转化为数字矩阵从而采用传统的聚类方法来实现,这里以K均值为例进行演示: import pandas as pd import codecs import matplotlib.pyplot as plt from sklearn.feature_extraction.text import TfidfTransformer from sklearn.feature_extraction.text impor...

m0_52488320的博客 3284

【腾讯小龙虾 WorkBuddy 专栏 03】技能(Skills)制作全教程!自定义技能编写、导出分享、导入使用一步到位

🔥腾讯AI智能体WorkBuddy自定义技能全攻略 本文为零基础用户提供WorkBuddy自定义技能的完整教程,涵盖技能概念、编写规范到实操全流程。核心内容包括: 技能本质:标准化任务指令模板,可固化重复操作流程 三大价值:一键执行重复任务/跨设备共享/降低使用门槛 实操演示:以"桌面文档自动分类"为例,分步讲解编写、测试、导出 共享方案:支持单技能/批量导出,通过任意渠道传输分享 导入指南:3秒完成他人技能加载,并提供常见问题解决方案 高阶优化:增加异常处理、版本管理等提升技能普适性

AI人人懂 2993

【Autoware】Autoware.universe安装过程与问题记录

Autoware.universe安装过程与问题记录

DevFrank的博客 2741

TF-IDF + K-Means 中文聚类例子 - scala

Demo仅供参考 使用spark1.6 import java.io.{BufferedReader, InputStreamReader} import java.util.Arrays import org.ansj.splitWord.analysis.ToAnalysis import org.apache.hadoop.fs.FSDataInputStream import or...

jast 2万+

“软开关”硬技术!ZVS和ZCS到底谁更牛?看完这个例子你就懂了!

❌ ZVS 和 ZCS 是万能的?→ 不,它们都有实现条件,谐振参数选不好照样硬拐弯!❌ 只要有谐振就一定ZVS?→ 不,一定要设计合适的死区时间和负载条件才行!ZVS 是让电压先“冷静”,ZCS 是让电流先“退场”。一个是开门不撞墙,一个是关门不甩门。懂了它们,功率设计就是在跳华尔兹而不是打架!💃🔌。

weixin_43199439的博客 1245

基于 K-means 算法实现的文本聚类(干货)

k-means算法又称k均值,顾名思义就是通过多次求均值而实现的聚类算法。是一种无监督的机器学习方法,即无需知道所要搜寻的目标,而是直接通过算法来得到数据的共同特征。其具体算法思想如下图所示: 1、首先在图中随机选取3个点 2、然后把距离这三个点最近的其他点归为一类 3、取当前类的所有点的均值,作为中心点 4、更新距离中心点最近的点 5、再次计算被分类点的均值作...

折纸鹤 3万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

k-means聚类对评价内容进行归类

应用场景 有很多评价内容,对评价内容进行聚类,得到每个类别的关键 可以用python的scikit-learn或者mahout,得到聚类结果都只能作为参考,最终结果仍然用人工定义 python方案 1.准备足够多的的评论样本,最好1万+ 2.对每个评价内容用jieba分词,这一步最重要,自建特定行业词库分词效果最好 3.scikit-learn的方法得到所有样本的tf-idf矩阵 4.拟定一个聚类...

liufang1991的专栏 3555

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

tf-idf kmeans文本聚类

文本聚类 数据集 THUnews中文新闻文本分类 方法 jieba分词后,使用tf-idf提取特征,提取时使用停用词表删除停用词,最后使用kmeans进行聚类。 优化 优化停用词表,增加max_feature特征,使用minibatchkmeans增加聚类速度 评价标准 外在(已知标签) 兰德基数RI ,调整兰德基数 ARI 内在 轮廓系数 from sklearn.feature_extraction.text import TfidfVectorizer import paddlenlp from

be_humble的博客 4086

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

聚类分析轮廊系数法

print(f"Run {run + 1}, K={k}, 平均轮廓系数: {silhouette_avg}")nlp.max_length = 1500000 # 设置一个更大的值,根据你的文本长度调整。sheet_name = 'Sheet1' # 修改为实际的工作表名称。# 循环计算不同K值下的平均轮廓系数。# 清除NaN值,将它们替换为一个空字符串。num_runs = 1 # 运行次数。# 存储每次运行不同K值下的轮廓系数。# 加载spaCy的英语模型。# 绘制不同运行的趋势图。

weston95的博客 132

基于KMeans的微博聚类

sklearn库实现数据集特征抽取聚类找出每簇的中心思想 数据集 部分数据如下:微博id + 内容 3794120055174366 #九阳有礼 无需多滤#九阳免滤豆浆机C668SG耀世首发!智能预约免过滤,贴心配置强到飞起,让你再续温柔一小时!好豆浆,九阳造!经常在苏宁买东西,正品又实惠.相信苏宁!支持苏宁!@俏宝贝筱筱 @可妞儿的小妈咪 @爱情砖家V小K 3794120118102891 #九阳有礼 无需多滤#[新年快乐]九阳免滤豆浆机C668SG耀世首发!智能预约免过滤,贴心配置强到飞起,让你再续温柔

weixin_45228198的博客 1907

利用TFIDF进行实时微博情感分类

一、思路分析先来分析一下思路:本项目所用的语料库是pos.txt和neg.txt两个文件,分别代表pos(积极)和neg(消极)类别,文件中有很多条已经分好类的微博,一整行为一条。                                1、计算tftf应该分类别计算。分别计算某个词在每个类别中的tf。这是什么意思呢?我们往下看。某一个词在某种类别的tf=这类文件中这个词出现的次数/这类文件...

sofuzi的博客 3713

[源码和文档分享]JAVA实现基于k-means聚类算法实现微博舆情热点分析系统

微博在这短短几年时间内发展迅速,成为了传播信息的一种很重要的载体,仅新浪微博注册用户早已超过3亿,每日发博量超过1亿条,微博是研究大量舆情信息的最佳场所。微博中如此大的信息量,必然要对信息进行甄选,这是很自然的需求,所以以原始驱动为出发点,从数亿网民之中找到热点话题。监督规范网络行为,净化网络环境,更重要的还能从中获取各类有用信息,进行诸如商业价值(用户兴趣挖掘)...

908

hadoop2.5.2学习13-MR之新浪微博TF-IDF算法简介

完整代码下载一、TF_IDF算法简介TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。 TF-IDF是一种统计方法,用以评估一词条对于一个文件集或一个语料库中的其中一份文件的重要程度。词条的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。二、TF_IDF的原理  如果

chbxw 2515
上一篇: 手把手教你 Cocos2.2.5+win7+vs2012配置
下一篇: 如何运用SCRAPY+MySQL抓取相关信息
apachephpmysql
博客等级 码龄14年 4粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值