对大数据信息挖掘、分析的浅显认识

本文介绍了一种使用余弦相似度进行文本分析的方法,并通过具体例子展示了如何计算两个句子之间的相似度。该方法可以应用于筛选有效信息、改进特征决策等方面。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

大数据是复杂多样的,更新速度异常之快,规模更加庞大。但具有高度分析的新价值,所以研究大数据对我们的未来发展趋势起着决定性的影响,所以我们团队研究了一些关于数据浅显分析的理论。通过这些分析我们可以了解到如何去筛选用户群,如何去决策改善我们的特征,以迎接未来发展的趋势。

1)、余弦相似度的删选方式

  在我们生活中,我们可以发现有很多相似的问题或其他事物,这样我们可以通过这种方法来删选有效信息。

例如我们南校区学生对食堂的态度:

句子A:我喜欢在二楼吃饭,不喜欢在一楼吃饭。

句子B:我不喜欢在二楼吃饭,也不喜欢在一楼吃饭。

可以看出,两句话用词越相似,他们的内容就应该越相似。所以,我们可以从用词的频率去着手计算他们的相似程度。

(1)、分词

     句子A:我 /喜欢 / 在 / 二楼/ 吃饭,不 / 喜欢 / 在 / 一楼 / 吃饭。

     句子B:我 / 不 / 喜欢 / 在 / 二楼 / 吃饭, 也 / 不 / 喜欢 / 在 / 一楼 / 吃饭。

(2)、列出所有的词

          我,喜欢,在,二楼,一楼,吃饭,不,也

(3)、计算词频

     句子A:我 1,喜欢 2,在 2,二楼 1,一楼 1,吃饭 2,不 1,也0

     句子B:我 1,喜欢 2,在 2,二楼 1,一楼 1,吃饭 2,不 2,也1

(4)、构造词频向量

      句子A:【1,2,2,1,1,2,1,0】

      句子B:【1,2,2,1,1,2,2,1】

通过以上步骤,我们可以将两个句子变成我们正在学的线性代数里面的简单的矩阵,也可以叫做横向量,然后通过计算这两个向量的相似度,就可以得出这两个句子的相似度。

向量的相似度也就是我们高中所学的两向量的夹角,夹角越小表明相似度越大。下面我们就利用求余弦的方式来求夹角。

求得cos(A,B)=0.95032889

值越趋近1,则表明夹角越小,所以说上面两句话的相似度还是比较高的。

可以通过这种方法计算很多方面的数据(比如文章,新闻等)的相似度。

未完待续......




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值