《 Mining of Massive Datasets》学习笔记之 Finding Similar Items

最新推荐文章于 2022-10-13 12:54:32 发布
原创 最新推荐文章于 2022-10-13 12:54:32 发布 · 1.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据挖掘 #算法

本文详细解析《Mining of Massive Datasets》中Finding Similar Items问题的解决方法，包括Shingling、Minhashing和Locality-Sensitive Hashing（LSH）。通过将文章转换为k-shingle集合，利用Minhashing压缩数据并保持相似性，再用LSH快速定位相似文章，降低计算复杂度。算法适用于海量文库中相似文本的查找。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文总结《 Mining of Massive Datasets》一书中第三章所描述的Finding Similar Items 问题及其相关算法。


该算法所要解决的是数据挖掘中关于寻找相似对象的问题，比如在互联网中找到两个相似的网页，或者根据一张图片去寻找与之相似的图片，进而解决一些其他的问 题。本算法中所用的模型是在海量的文库中寻找相似的文章，它们有可能引用了大量相同的内容，或者是一篇剽窃的碰上了一篇正版的。文章中段落或者句子出现的顺序可以不尽相同，但它们包含了很多相似或者相同的内容。


算法的总体过程如下：将一篇文章看做是一个很长的字符串，为了寻找不同文章中的共同之处，将文章分解成长度为 K 的字符串的集合，包含了文章中所有长度为 K 的 连续字符串（多次出现的字符串只记作一次），通过数据压缩，把文章中每一个长度为 K 的字符串是否出现的情况表示成一个向量，通过比较向量相同的部分来判断 原文章中相同的部分，从而找出海量文库中相似的文章。以下是
具体过程。


 &nb

最低0.47元/天 解锁文章

200万优质内容无限畅学
coolboygym
关注
Mining of Massive Dataset 笔记
yn_gogo的博客
03-17 1899
一、概述 1、这本书是关于“data mining”的，但是它的关注点是在大数据挖掘上，它的观点是“在大数据上应用算法去挖掘信息，而不是使用ML去训练大数据” Data mining is about applying algorithms to data, rather than using data to “train” a machine-learning engine of some ...
Mining Massive Datasets课程笔记（一）
sherryllll
09-19 3129
MapReduce and PageRank一、Distributed File System （分布式文件系统）why do we need mapreduce？ 传统的数据挖掘方式（single node architecture)在处理海量数据（Like 200TB）时，由于CPU和disk之间的bandwidth限制以及单个CPU的处理能力限制，使得数据处理的时间成本非常高，从而有了多个
Mining of Massive Dataset的中文版
04-01
Mining of Massive Dataset的中文版
《Mining of Massive Datasets》笔记（一）
weixin_30553777的博客
02-14 614
数据挖掘基本概念数据挖掘定义最广为接受得到定义是，数据挖掘是数据“模型”的发现过程。而“模型”却可以有多种含义。1）统计建模统计学家认为数据挖掘就是统计模型的构建过程，而这个统计模型指的就是可见数据所遵从的总体分布。2）机器学习有些人将数据挖掘看成是机器学习的同义词。毫无疑问，一些数据挖掘方法中适当使用了机器学习算法。机器学习的实践者将数据当成训练集来训练某类算法，比如贝叶斯网络、支持向量机、决策...
Mining of Massive Datasets.pdf
12-30
This book evolved from material developed over several years by Anand Rajaraman and Jeff Ullman for a one-quarter course at Stanford. The course CS345A, titled “Web Mining,” was designed as an advanced graduate course, although it has become accessible and interesting to advanced undergraduates. When Jure Leskovec joined the Stanford faculty, we reorganized the material considerably. He introduced a new course CS224W on network analysis and added material to CS345A, which was renumbered CS246. The three authors also introduced a large-scale data-mining project course, CS341. The book now contains material taught in all three courses.
Mining of Massive Datasets - ch1
seand7的专栏
03-02 732
It is an interesting textbook called Mining of Massive Datasets. And this book is mainly about data mining.  Just leave my footprints and note something remarkable. Excerpt: The model of the da
Mining of Massive Datasets, 英文原版，斯坦福CS246官方教程
04-29
因此，分布式文件系统（如Hadoop HDFS）成为了存储大规模数据的关键技术之一。它通过将数据分散存储在多台计算机上，不仅提高了存储容量，还增强了系统的容错性。 2. **MapReduce框架**：MapReduce是一种编程模型...
斯坦福大学book-Mining of Massive Datasets
03-19
《斯坦福大学book-Mining of Massive Datasets》是由Jure Leskovec、Anand Rajaraman和Jeffrey D. Ullman编著的一本数据挖掘领域的权威教材，这本书主要围绕大数据的挖掘处理方法和技术进行讲解，特别适合那些对数据...
Mining of Massive Datasets
01-27
此外，《Mining of Massive Datasets》采取了一种算法导向的方法论，即强调使用算法来处理数据，而非仅仅利用数据训练某种机器学习引擎。 #### 三、主要章节概览 - **分布式文件系统与MapReduce**：介绍了分布式...
Mining of Massive Datasets – Data Mining
weixin_34388207的博客
05-02 188
1 What is Data Mining? The most commonly accepted definition of “data mining” is the discovery of“models” for data. 1.1 Statistical Modeling Statisticians were the first to us...
大数据(Mining of Massive Datasets)
09-29
英文PDF版。 《大数据:互联网大规模数据挖掘与分布式处理》由斯坦福大学的“web 挖掘”课程的内容总结而成，主要关注极大规模数据的挖掘。主要内容包括分布式文件系统、相似性搜索、搜索引擎技术、频繁项集挖掘、聚类算法、广告管理及推荐系统。其中相关章节有对应的习题，以巩固所讲解的内容。
Mining of Massive Datasets数据挖掘
03-10
数据挖掘经典书籍The popularity of the Web and Internet commerce provides many extremely large datasets from which information can be gleaned by data mining. This book focuses on practical algorithms that have been used to solve key problems in data mining and which can be used on even the largest datasets. It begins with a discussion of the map-reduce framework, an important tool for parallelizing algorithms automatically. The authors explain the tricks of locality-sensitive hashing and stream processing algorithms for mining data that arrives too fast for exhaustive processing. The PageRank idea and related tricks for organizing the Web are covered next. Other chapters cover the problems of finding frequent itemsets and clustering. The final chapters cover two applications: recommendation systems and Web advertising, each vital in e-commerce. Written by two authorities in database and Web technologies, this book is essential reading for students and practitioners alike.
Mining Massive Datasets课程笔记（三）
sherryllll
10-12 4452
Communities in Social networksCommunity Detection in GraphsThe Affiliation Graph Model（AGM）Plan: 1. 由给定的模型生成网络 2. 对给定的网络找到“best”modelModel of network Goal：Define a model that can generate networks
《大数据：互联网大规模数据挖掘与分布式处理》（第2版）习题2.2.1解析
ProgramNovice的博客
09-15 671
《大数据：互联网大规模数据挖掘与分布式处理》（第2版）习题2.2.1解析
Mining of Massive Datasets-1
dengleize6745的博客
02-22 151
given lots of data->discoverpatterns and modelsthat are: valid, useful, unexpected, understandable.1. statistical modeling2. machine learninguse data as a training set to train an algorithm,...
《大数据：互联网大规模数据挖掘与分布式处理》（第二版）第四章习题答案
ProgramNovice的博客
10-13 1090
《大数据：互联网大规模数据挖掘与分布式处理》（第二版）第四章习题答案
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值