阅读论文：Distributed GraphLab

最新推荐文章于 2022-07-12 11:23:02 发布
最新推荐文章于 2022-07-12 11:23:02 发布
阅读量1.3k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： GraphLab
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kevinsf1993/article/details/51180294
本文介绍了分布式图计算框架Distributed GraphLab，它在云环境中支持机器学习和数据挖掘算法，解决了MapReduce等框架的不足。论文详细讨论了数据相关性、异步更新、动态调度、可串行化以及数据图、更新函数和执行模型等关键概念，阐述了如何在分布式环境中高效处理大规模数据。

这个星期阅读了一篇12年在期刊PVLDB上发表的一片论文《Distributed GraphLab: A Framework for Machine Learning and Data Mining in the Cloud》。虽然现在主流的数据并行处理框架，例如Mapreduce，在处理大规模数据时显得方便和实用，但是它们并不支持一些重要的机器学习和数据挖掘的算法，从而使整个系统处理数据的效率低下。这篇文章延续了作者在10年UAI上发表的《GraphLab: A New Parallel Framework for Machine Learning》中所做的工作，将GraphLab框架从共享内存的环境中迁移到了分布式的环境下，并维护了数据的强一致性保证。

  • 关于作者
作者Joseph Gonzalez博士毕业于CMU大学，在分布式图分析领域算得上是一位大牛，现在是UC伯克利大学的一位助理教授，同时也是美国Dato公司的联合创始人。关于它们的作品，推荐几篇比较著名的论文（包括本文）：

  1. GraphX: Graph Processing in a Distributed Dataflow Framework. OSDI 2014: 599-613
  2. PowerGraph: Distributed Graph-Parallel Computation on Natural Graphs.OSDI 2012: 17-30
  3. GraphLab: A New Framework For Parallel Machine Learning. UAI 2010: 340-349

论文内容大多是关于如何在分布式图计算平台下部署各类机器学习和数据挖掘的算法。其中部分项目例如PowerGraph已实现开源。

  • 机器学习和数据挖掘（ML&DM）
大规模并行的ML&DM系统通常具有如下的关键特征：

  1. 数据相关性：除了元素本身的数据（在图中表现为顶点的值）之外，元素与元素之间的数据（在图中表现为边的值）同样很重要。例如社交网络中的许多算法（Pagerank）就需要考虑边的数值，从而在大量的数据中找出更有效的信息
最低0.47元/天 解锁文章

200万优质内容无限畅学
基于图结构高性能计算框架：GraphLab
小飞鱼世界
01-08 5180
偶然觉得有必要关注下大规模机器学习和数据挖掘方法 刚阅读完 CMU的一篇《Distributed GraphLab；A Framework for Machine Learning and Data Mining in the Cloud》论文，虽然自己还木有分布式计算框架的经验，但还是想在这里抛砖引玉，望路过的大大们不吝啬赐教。自己开通博客，一方面记录并分享所学的东西，另一方面自己还是菜鸟，有
Parameter Server论文阅读笔记《Scaling Distributed Machine Learning with the Parameter Server》
iteye_9057的博客
01-14 799
工作一直在使用分布式的机器学习框架，有必要了解一些基本的原理，就先从李沐大佬的文章入手，写个笔记作为记录。 主要贡献 第三代开源的Parameter Server架构，具有以下特性 1）高效的通信 2）灵活的一致性模型 3）弹性可拓展能力 4）系统容错能力 5）易用性 工程挑战 通信：访问巨量的参数，需要大量的网络带宽支持。 容错：分布式计算需要较好的容错能力，failover机制。 相关工作 第一代的参数服务器架构 VLDB 2010，灵活性和性能都比较欠缺，使用memcached存储作为同步机制。 Ya
graphlab详细介绍
07-14
压缩包内包含了graphlab英文版PPT三张，自制的PPT一张，论文原文和对应的翻译，以及相关参考网址的总结
一周一论文（翻译）—— [PVLDB 12] Distributed GraphLab A Framework for Machine Learning 分布式机器学习图计算框架
Master-TJ的个人博客
06-13 2271
摘要        虽然高级别数据并行框架，像MapReduce，简化了大规模数据处理的设计和实现的系统，他们没有自然或有效地支持许多重要数据挖掘和机器学习算法并且导致学习系统效率低下。为了帮助填补这一重要空白，我们介绍了GraphLab框架，它自然表达异步的， 动态的，并行图计算，同时在共享内存设置上确保数据一致性和实现高度的并行性能。在本文中，我们扩展GraphLab框架到更具挑战性的分布式环...
[PVLDB 12] GraphLab : 分布式机器学习大规模图处理系统 学习总结
Master-TJ的个人博客
06-13 2423
        今天要讲的文章是PVLDB 2012年的一篇文章，Distributed GraphLab: A Framework for Machine Learning and Data Mining in the Cloud。本文主要解决的问题是：指数增长的机器学习和数据挖掘(MLDM，即Machine Learning and Data Mining)问题和日益成熟的MLDM技术，越来越...
《A Distributed Graph Engine for Web Scale RDF Data》2013——笔记
u013319237的博客
04-17 1180
ABSTRACT现有系统无法有效处理Web规模的RDF数据，不支持对RDF数据的许多有用和通用的基于图形的操作。本文使用Trinity.RDF，以原始图形式存储RDF数据，而不是三元组或者位图矩阵。IntroductionRDF数据越来越多。 数据库管理系统面临两个挑战：systems’ scalability and generality. 1.目前以三元组为形式并使用RDBMS进行存储，索
分布式系统(Distributed System)资料
尹成的技术博客
05-26 5205
分布式系统(Distributed System)资料《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解.《Distributed...
A Framework for Machine Learning and Data Mining in the Cloud
08-22
在此基础上，本论文进一步扩展了GraphLab框架至更为复杂的分布式环境，同时保留了强有力的数据一致性保证。 #### 分布式GraphLab的关键技术 1. **图基扩展**：为了减少网络拥堵和缓解网络延迟的影响，作者开发了...
MOCgraph：利用消息在线计算优化分布式图处理的可扩展方案
MOCgraph: Scalable Distributed Graph Processing Using Message Online Computing 在当前的研究领域中，分布式图处理框架如Pregel、GraphX、GPS和GraphLab等，其设计主要侧重于利用主内存来支持灵活的图操作，以...
PowerGraph：Distributed Graph-Parellel Computation on Natural Graph
睡不醒的关耳丹三郎
03-12 625
PowerGraph：Distributed Graph-Parellel Computation on Natural Graph 图并行抽象 图的并行抽象包含一个稀疏图 G = {V,E} 和顶点程序Q，顶点程序Q在每个顶点v ∈ V上执行，并且可以和相邻实例 Q(u) 交互( (u，v) ∈ E )。与更一般的消息传递模型相比，图并行抽象限制了顶点程序与图结构的交互，从而实现数据布局和通信的优化。 我们将讨论重点放在Pregel和GraphLab上，因为它们代表了现有的图并行抽象。 Pregel Pr
论文导读 | 分布式图模拟
weixin_48167662的博客
07-12 697
图模拟是一类宽松的图匹配模型。区别于子图同构要求匹配结果和匹配图具有相同的拓扑结构的规则，图模拟只对匹配节点的自身和一跳邻居有要求。得益于图模拟宽松的匹配规则，它具有较低的复杂度和更好的拓展性。这些优点引起了图算法界的注意，近些年，一些基于图模拟的研究工作陆续发表。...
GraphLab:新的面向机器学习的并行框架
热门推荐
cs870101的专栏
10-15 1万+
欢迎访问我的博客阅读：http://androidfuture.com/blog/?p=215  1.1 GraphLab简介 在海量数据盛行的今天，大规模并行计算已经随处可见，尤其是MapReduce框架的出现，促进了并行计算在互联网海量数据处理中的广泛应用。而针对海量数据的机器学习对并行计算的性能、开发复杂度等提出了新的挑战。 机器学习的算法具有下面两个特点：数据
graphlab试用笔记
非●梵高
09-04 1880
1.编译问题 mpi1.6会有hang up 的情况。 使用 1.4.5 https://bbs.archlinux.org/viewtopic.php?id=145518 gcc 必须大于 4.2  2.sample运行问题 bool line_parser #include #include using namespace std; struct web_page
Spark GraphX（一）
GatsbyNewton
11-08 2583
1.基础 Spark中属性图是由VertexRDD和EdgeRDD两个参数构成的。其中，每个vertex由一个唯一的64位长的标识符（VertexId）作为key。同时，属性图也和RDD一样，是不可变的、分布式的、可容错的。属性图Graph的定义如下： abstract class Graph[VD, ED]{ val vertices: VertexRDD[VD] val edges:
[OSDI 14] GraphX 基于Spark-Core下的分布式大图处理系统 学习总结
Master-TJ的个人博客
06-12 1628
    今天要讲的文章是OSDI 2010年的一篇文章，GraphX:  Graph Processing in a Distributed Dataflow Framework。本文主要想解决的问题就是：先有的专用图系统能够实现广泛的系统优化，但也是有代价的。 图只是较大的分析过程的一部分，通常将非结构化的图数据和表格式数据组合在一起。 因此，分析dataflow被迫组成多个系统，这增加了复杂性...
《大数据》2015年第3期“网络大数据专题”——从系统角度审视大图计算
weixin_45585364的博客
11-03 491
从系统角度审视大图计算吴城文，张广艳，郑纬民（清华大学计算机科学与技术系 北京 100084）摘要：大图计算已经成为学术界和工业界的一种基本计算模式，并且已经被应用到许多...
十分钟了解分布式计算:GraphLab
weixin_33877092的博客
06-13 326
GraphLab是一个面向大规模机器学习/图计算的分布式内存计算框架，由CMU在2009年开始的一个C++项目，这里的内容是基于论文 Low, Yucheng, et al. "Distributed GraphLab: A Framework for Machine Learning in the Cloud" Proceedings of the VLDB Endowment 5.8 (20...
基于GraphLab的图分析
LSEC小陆的博客
07-17 2700
基于GraphLab的图分析 问题的确定 首先我从kaggle yelp dataset下载了数据。数据主要包含7个csv文件。我们把数据导进来看看长什么样子。 yelp_business是商铺的一些信息，包括’business_id’,’name’,’neighborhood’,’address’,’city’,’state’,’postal_code’, ‘latitude’, ‘...
字节跳动自研万亿级图数据库 & 图计算实践 【太高级了，不是圈里的人，有简明见解的吗？】
乔治大哥的博客
02-26 3474
1. 图状结构数据广泛存在 字节跳动的所有产品的大部分业务数据，几乎都可以归入到以下三种： 用户信息、用户和用户的关系（关注、好友等）； 内容（视频、文章、广告等）； 用户和内容的联系（点赞、评论、转发、点击广告等）。 这三种数据关联在一起，形成图状（Graph）结构数据。 为了满足 social graph 的在线增删改查场景，字节跳动自研了分布式图存储系统...
'npm run build:distributed' failed
最新发布
03-12
<think>好的，我现在需要解决用户遇到的'npm run build:distributed'执行失败的问题。首先，我应该考虑用户可能遇到的各种常见原因，比如依赖问题、环境配置错误、脚本定义问题或者权限不足。 根据用户提供的引用内容，特别是引用[1]提到安装了Node.js和npm，但可能存在版本不兼容的情况。首先，我应该建议用户检查Node.js和npm的版本是否符合项目要求。通常，如果版本过旧或过新，可能导致构建失败。用户需要运行`node -v`和`npm -v`来确认版本，并查看项目文档中的版本要求。 接下来，引用[3]提到了Truffle和Ganache等工具，虽然这可能与当前问题无直接关联，但说明用户可能在使用其他JavaScript相关工具，可能存在全局依赖冲突。这时候，建议用户检查是否有全局安装的包干扰了项目，或者尝试使用nvm来管理Node版本，避免冲突。 另外，依赖安装是否正确也是一个关键点。用户可能没有正确安装项目依赖，或者存在损坏的node_modules。这时候，建议用户删除node_modules和package-lock.json（或yarn.lock），然后重新运行`npm install`，确保所有依赖正确安装。如果网络问题导致依赖下载失败，可以考虑切换npm源或者使用yarn替代。 然后，查看具体的构建错误信息非常重要。用户需要仔细阅读终端输出的错误日志，定位到具体的模块或文件。例如，如果错误提到某个模块找不到，可能需要检查该模块是否被正确安装，或者是否有拼写错误。此外，查看package.json中的"build:distributed"脚本定义是否正确，确保调用的命令和路径无误。 权限问题也可能导致构建失败，尤其是在Linux或Mac系统下。用户可能需要使用sudo权限，但更推荐修改项目目录的权限，避免全局使用sudo带来的安全隐患。此外，检查是否有杀毒软件或防火墙阻止了npm的某些操作，暂时禁用这些软件进行测试。 如果上述步骤无效，可能需要进一步查阅项目文档或社区讨论。用户可以在GitHub的issue板块或Stack Overflow搜索相关错误信息，寻找解决方案。如果问题依然存在，提供完整的错误日志和系统环境信息将有助于社区成员帮助诊断问题。 最后，引用[2]提到的编译步骤虽然与Node.js无关，但提醒用户注意构建环境的一致性。确保开发环境与生产环境配置一致，例如环境变量、配置文件等，避免因环境差异导致的构建失败。 总结下来，解决步骤应涵盖版本检查、依赖清理、错误日志分析、权限调整以及社区支持。逐步排查这些方面，应该能帮助用户解决'npm run build:distributed'失败的问题。</think>### 解决 'npm run build:distributed' 执行失败的方法 #### 1. 检查 Node.js 和 npm 版本 - **问题原因**：Node.js 或 npm 版本与项目要求不兼容。 - **解决步骤**： 1. 运行以下命令检查版本： ```bash node -v npm -v ``` 2. 对比项目文档（如 `package.json` 或 `README.md`）中的版本要求。 3. 若版本不匹配，使用工具（如 `nvm`）切换至指定版本： ```bash nvm install <指定版本> nvm use <指定版本> ``` 4. 重新执行 `npm install` 和 `npm run build:distributed`。 #### 2. 清理并重新安装依赖 - **问题原因**：依赖未正确安装或存在损坏。 - **解决步骤**： 1. 删除现有依赖和锁文件： ```bash rm -rf node_modules rm package-lock.json # 或 yarn.lock（若使用 yarn） ``` 2. 清除 npm 缓存： ```bash npm cache clean --force ``` 3. 重新安装依赖： ```bash npm install ``` 4. 重试构建命令： ```bash npm run build:distributed ``` - **注意**：若网络不稳定，可切换 npm 镜像源： ```bash npm config set registry https://registry.npmmirror.com ``` #### 3. 检查脚本定义与配置文件 - **问题原因**：`package.json` 中的 `build:distributed` 脚本配置错误。 - **解决步骤**： 1. 打开 `package.json`，确认脚本定义： ```json "scripts": { "build:distributed": "具体命令（如 webpack --config distributed.config.js）" } ``` 2. 确保引用的配置文件（如 `distributed.config.js`）路径和内容正确。 3. 若配置文件缺失，从项目仓库重新拉取或修复配置。 #### 4. 分析错误日志 - **问题原因**：构建过程中存在语法错误、依赖缺失或环境限制。 - **解决步骤**： 1. 仔细阅读终端输出的错误信息，定位具体模块或代码行。 2. **常见错误示例**： - **模块未找到**：重新安装相关依赖或检查拼写。 - **内存不足**：增加 Node.js 内存限制： ```bash NODE_OPTIONS="--max-old-space-size=4096" npm run build:distributed ``` - **权限问题**：使用 `sudo` 或调整目录权限： ```bash sudo chown -R $(whoami) /项目路径 ``` #### 5. 环境一致性检查 - **问题原因**：开发环境与生产环境配置不一致（如环境变量缺失）。 - **解决步骤**： 1. 检查项目是否依赖特定环境变量（如 `API_URL`）： ```bash # 临时设置环境变量 export API_URL=http://example.com && npm run build:distributed ``` 2. 确认构建工具（如 Webpack、Babel）的配置与当前环境兼容。 #### 6. 参考社区解决方案 - **问题原因**：已知工具链缺陷或第三方库版本问题。 - **解决步骤**： 1. 将错误信息的关键词（如 `ModuleNotFoundError: Can't resolve 'lodash'`）复制到搜索引擎。 2. 查阅 GitHub Issues、Stack Overflow 或开发者论坛的类似案例。 3. 尝试升级/降级特定依赖版本： ```bash npm install lodash@4.17.21 # 指定版本 ``` --- ### 相关问题 1. **如何调试 Node.js 内存溢出导致的构建失败？** - 使用 `NODE_OPTIONS="--max-old-space-size=4096"` 增加内存限制，或通过 `Chrome DevTools` 分析内存快照。 2. **如何修复 npm 全局依赖与项目依赖的冲突？** - 使用 `nvm` 管理 Node.js 版本，并通过 `npm ls -g --depth=0` 检查全局依赖冲突[^1]。 3. **Webpack 构建时如何优化大型项目的性能？** - 启用缓存（`cache: true`）、代码分割（`splitChunks`）和多线程加载（如 `thread-loader`）[^3]。 : 引用[1]中提到使用 Node.js 和 npm 管理依赖，版本冲突可能导致构建失败。 : 引用[3]中 Truffle 和 Ganache 的配置思路可类比到构建工具链的优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值