qq_40438165的博客

\quad两个随机变量X,YX,YX,Y的互信息为I(X;Y)=∑x∈X,y∈Yp(x,y)logp(x,y)p(x)p(y)I(X;Y)=\sum_{x\in X, y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}I(X;Y)=x∈X,y∈Y∑​p(x,y)logp(x)p(y)p(x,y)​。互信息可以衡量两个变量之间的相似程度。如果我们要衡量某个数据集中任意两个单词x,yx,yx,y的关联程度，可以这样计算I(x;y)=p(x,y)logp(x,y)p(x)p(y)I(x

一、问题背景\quad给你一个数组x=[1,2,3,6]x=[1,2,3,6]x=[1,2,3,6]，如何快速计算其前缀数组x[0⋯n]x[0\cdots n]x[0⋯n]的均值和方差，即需要返回均值数组m=[1,1.5,2,3]m=[1,1.5,2,3]m=[1,1.5,2,3]，m[2]=2m[2]=2m[2]=2表示数组x[0⋯2]=[1,2,3]x[0 \cdots 2]=[1,2,3]x[0⋯2]=[1,2,3]的均值为2；同时返回方差数组S=[0,0.25,23,3.5]]S=[0, 0.25

NIL入门(一):提取文章关键词和评价两段文本的相似度1、数据准备# text.txt文件下的数据内容1.In her mind she followed the white BUICK along the road somewhere between here and the Niagara River.2.There were some sweet machines other th...

1、什么是社区如果一张图是对一片区域的描述的话，我们将这张图划分为很多个子图。当子图之内满足关联性尽可能大，而子图之间关联性尽可能低时，这样的子图我们可以称之为一个社区。2、社区发现算法及评价标准社区发现算法有很多，例如LPA，HANP，SLPA以及我们今天的主人公——Louvain。不同的算法划分社区的效果不尽相同。那么，如何评价这些算法孰优孰劣呢？用模块度modularity来衡量。模...

        在本次博客中，将讨论英语文本分类问题，可同样适用于文本情感分类，属性分类等文本二分类问题。1、数据准备      &

1、词袋定义和keras自带分词和编码工具词袋定义n-gram: 是从一个句子中提取的 N 个（或更少）连续单词的集合 “The cat sat on the mat.”分解为2-gram： {"The", "The cat", "cat", "cat sat", "sat", "sat on", "on", &quo

对于判断一串字符是不是英语单词，比如cake是英语单词，ccck不是，这要怎么做呢？其实方法很多，可以去下个电子版英语词典，将其用python读入，做成一个键值对的大字典。当然，更方便地，nltk为我们提供了这样的接口，使得可以快速判断一串字符是不是单词。from nltk.corpus import wordnetword = 'case'if wordnet.synsets(word)...

1、缩写词还原在预处理文本的时候，我们经常会遇到，we’ll, don’t, i’m, i’ve, he’s之类的缩写词，对这类缩写词的还原目前大多数时候用自定义正则匹配即可。下面给出一些例子：replacement_patterns = [(r'won\'t', 'will not'),(r'can\'t', 'cannot'),(r'i\'m', 'i am'),(r'ain\'t...

输入：推文文本text输出：由 url, words, hashtag, @ 组成的字典import reclass tweetParser(object): """ function：获取推特文本的网址，单词，hashtag，user_mentioned """ def __init__(self): self.stopWords = ...