机器学习手记[7-2]-PageRank算法再思考

最新推荐文章于 2020-11-28 11:12:18 发布
最新推荐文章于 2020-11-28 11:12:18 发布
阅读量930 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a_31415926/article/details/41291069
本文探讨了PageRank算法在处理网络中强连通、终止点（Deadend）和蜘蛛陷阱（SpiderTrap）问题时的原理和挑战。通过矩阵分析解释了Deadend导致的资源浪费和SpiderTrap造成的资源不平衡，并提出了心灵漂移（teleporting）作为通用的解决措施。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[TOC]

一、目的

之前看过一些PageRank的知识和源码，自己也动手了一遍。今天看那本mining of massive dataset讲PageRank章节的时候，对PageRank又有了更多的理解，现在阐释如下。 PageRank算法研究网络之间的相互引用的问题，我认为可以看成一种“名声资源”的流动的过程。流动的这个过程其实就是马尔科夫过程，而我们要求的PageRank值就是达到平衡状态时的值。

二、马尔科夫过程平衡两个条件
  1. 强连通。 就是各个节点能够相互访问
  2. 没有终止点。
三、PageRank两个问题

这两个条件的不满足其实就造成了PageRank算法需要面对的两个问题。

3.1 Dead

最低0.47元/天 解锁文章

200万优质内容无限畅学
pagerank算法总结
yrk0556的博客
08-01 586
原始的pagerank算法 对每个节点给定一个初始pr值 迭代直到节点值不变： 对所有节点，按照概率将节点的pr值分配给其他节点(对于其他节点是一个收集值的累加过程) 这里会出现几种case： case1：出现了dead end dead end就是死节点，没有出边，分配给该节点的pr值，由于没有出边，所以直接归零。在多次迭代后，慢慢的所有的pr值都会被消耗殆尽，归于沉寂。 多次迭代后结果（假设初始pr值都为1/4）： case2：出现了Spider Traps 只有入边没有出边，pr值只
pagerank的实现和模拟大量数据情况下的并行分块化
codes_first的博客
07-17 6959
所有源码都在github上（https://github.com/seasonyao/pagerank） 一、pagerank简介（参考书籍《推荐书籍实践》和csdn若干博客 可以跳到第二部分 需要解决的问题） 1.PageRank的核心思想 如果一个网页被很多其他网页链接到的话说明这个网页比较重要，也就是PageRank值会相对较高。如果一个PageRank值很高的网页链接到一个其他...
Machine Learning：PageRank算法
weixin_33928467的博客
08-07 135
1. PageRank算法概述          PageRank,即网页排名，又称网页级别、Google左側排名或佩奇排名。         在谷歌主导互联网搜索之前， 多数搜索引擎採用的排序方法， 是以被搜索词语在网页中的出现次数来决定排序——出现次数越多的网页排在越前面。 这个判据不能说毫无道理， 由于用户搜索一个词语。 通常表明对该词语感兴趣。 既然如此， 那该词语在网页中...
PageRank算法（Dead ends、Spider Traps问题）
qq_41427834的博客
11-28 5694
PageRank 1基本概念 2算法基础讲解 3 Dead Ends问题 4 Spider Traps问题 5 算法优缺点 6 使用β能否解决Dead Ends问题 1、基本概念 1.1 背景介绍 1.1.1 google提出 1.1.2 PageRank值高，则搜索内容时，出现在最前位 1.1.3 PageRank称为PR，对于网页进行排名，计算网站的重要性，PR值表示其重要性因子 2.1算法中心思想 2.1.1 数量假设：当在网页模型图中，一个网页接收到的其他网页指向..
浅析PageRank算法
wanghao_happy的专栏
07-06 3129
很早就对Google的PageRank算法很感兴趣，但一直没有深究，只有个轮廓性的概念。前几天趁团队outing的机会，在动车上看了一些相关的资料（PS：在动车上看看书真是一种享受），趁热打铁，将所看的东西整理成此文。 本文首先会讨论搜索引擎的核心难题，同时讨论早期搜索引擎关于结果页面重要性评价算法的困境，借此引出PageRank产生的背景。第二部分会详细讨论PageRank的思想来源、基础
Go-pagerank-加权PageRank算法Go实现
08-13
**Go-pagerank-加权PageRank算法Go实现** PageRank是Google早期用于网页排名的一种算法，它通过分析网络中的链接结构来评估网页的重要性。在Go语言中实现加权PageRank算法，可以让我们更好地理解其原理，并在实际...
Python机器学习机器学习十大算法英文文档PageRank
最新发布
04-15
综上所述，这份文档可能是一份包含了 Python 语言编写的机器学习算法的英文资料，其中详细介绍了机器学习中非常重要的十种算法，并可能以 PageRank 算法作为案例讲解。文档是通过百度网盘分享的，适合有一定英语水平...
ppopp20-ae-master_pagerank算法_超图_
09-30
综上所述，这个项目提供了实现超图PageRank算法的完整源码，包括了构建、调试和测试工具，对于理解PageRank在非传统图结构中的应用，以及学习如何实现这样的算法具有很高的价值。开发者可以借此深入研究超图的特性，...
数据科学导论大作业-基于python的PageRank算法实现和理论作业+源代码+文档说明+实验报告
01-02
数据科学导论大作业-基于python的PageRank算法实现和理论作业+源代码+文档说明+实验报告 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩...
海量数据挖掘MMDS week1: Link Analysis - PageRank
chuange6363的博客
08-14 362
http://blog.youkuaiyun.com/pipisorry/article/details/48579435 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskoveccourses学习笔记之链接分析：PageRank算法 链接分析与Page...
PageRank算法初探
weixin_34248023的博客
11-18 675
1. PageRank的由来和发展历史 0x1：源自搜索引擎的需求 Google早已成为全球最成功的互联网搜索引擎，在Google出现之前，曾出现过许多通用或专业领域搜索引擎。Google最终能击败所有竞争对手，很大程度上是因为它解决了困扰前辈们的最大难题：对搜索结果按重要性排序。而解决这个问题的算法就是PageRank。毫不夸张的说，是PageRank算法成就了Google今天的地位。 1...
PageRank算法详解
rover
05-31 3953
搜索引擎的主要工作，是爬虫建立资料库，根据关键词快速查找（倒排索引）含有关键词的页面，将结果按照重要程度排序后呈现给用户。核心难题在于如何对海量检索结果排序(Rank, Not Sort)。 1. PageRank和HITS 互联网的超链接(hyperlink)构成了一个巨大的有向图，图中的结点代表网页，有向连接表示超链接，称**入链(inlink)为连入某页面的、指向结点的超链接，而出链(outlink)**就是结点出发的超链接。 可以将超链接视为一种推荐，由我的主页指向你的主页的超链接，就是我对你的Ho
Mining of Massive Dataset----PageRank的两种问题spider traps和dead ends
weixin_33805992的博客
11-12 421
PageRank的两种问题 　　spidertraps（蛛网陷阱） 　　　　　　在几个网页的节点之间跳转，经过一段很长的时间之后，只能在节点n来回跳转（也就是说不嫩访问到其他的网页，只能点击访问节点n这个网页）。 　　解决方法： 　　　　在访问节点n的几率接近于1的时候，让他随机的跳转到任意一个网页（唉网页可以不在这些几点网页中）。 deadends...
PageRank算法
云计算?
09-21 4648
1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模型。目前很多重要的链接分析算法都是在PageRank算法基础上衍生出来的。PageRa...
机器学习手记[8]--Python Networkx库中PageRank算法实现源码分析
热门推荐
10-27 1万+
Python Networkx库中PageRank算法实现源码分析 网上对Page算法讲解的很多，实现代码也很多很杂， 所以为了找到一个更高质量的PageRank算法的实现， 我阅读了Python Networkx库上自带的pagerank方法的源码。部分多余内容我删除了，有兴趣可以直接下这个库查看源码 PageRank算法最主要的地方在于对两个问题的解决，一个是dangli
在windows下编译caffe的python接口（CPU模式）
01-17 3835
主要的资料来源是happynear的教程(英文github，中文csdn博客)，但是里面对python接口是分散讲的，而且有个地方有遗漏，摸索一天才发现怎么弄，所以这里针对python的部分单独讲讲。   我用的是VS2013，CPU模式，因为我的笔记本的N卡太弱了，所以我后来还是用CPU模式了。   第一步  下载所需2个包 一个happynear的github的包，另一个他的3rdp
[kaggle竞赛实践2] Titanic幸存预测问题--ID3决策树解决方案
12-15 2243
= = 尽管试了很长时间，正确率也只能到75%，也许用其他的决策树方法能达到更高的效果吧。 这次主要用的是决策树方法去解决问题的，在机器学习实战的ID3决策树算法上进行扩展的。发现了机器学习实战决策树的一个bug，同时领会到决策树的局限性。 1 问题分析 我们的问题和上一篇kaggle的一样，还是Ti
[kaggle竞赛实践3] Titanic幸存预测问题--朴素贝叶斯解决方法
12-17 1896
使用朴素贝叶斯的方法解决这个问题 先贴代码，明天补充，睡觉 数据处理和朴素贝叶斯py # -*- coding: utf-8 -*- ''' Created on Oct 12, 2010 Decision Tree Source Code for Machine Learning in Action Ch. 3 @author: Peter Harrington ''' from
PageRank算法详解与Map-Reduce实现详解
在PageRank算法的实现中，可以利用Map-Reduce将计算任务分解到多台机器上并行执行，提高效率。在Map阶段，处理每个网页的PageRank更新，而在Reduce阶段，汇总这些更新以获得全局的PageRank值。这种并行化处理使得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值