hama -- a parallel matrix computational package

Hama：大型数据集矩阵计算库
最新推荐文章于 2019-12-10 22:46:04 发布
最新推荐文章于 2019-12-10 22:46:04 发布 · 140 阅读 · 0
文章标签：

#HBase #Hadoop #Google

今天偶然发现了一个有趣的项目Hama，它是一个基于Hadoop HBase的大规模数据集矩阵计算库，有助于提高处理大规模数据集的效率。
Today, I accidently found an interesting stuff, which may help us operating large scales of data sets for redpoll. This is a matrix computational library based on hadoop hbase.

http://code.google.com/p/hama/
Hama-基于BSP模型实现并行计算
01-04 1379
1 Hama介绍     Apache Hama是一个纯BSP（Bulk Synchronous Parallel）计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。 BSP概念由Valiant（2010图灵奖获得者）在1990年提出，具体参看wikipedia。Google在2009年发表了论文，在分布式条件下实现了BSP模型。 2 Hama安装
hama-core-0.7.1.zip
10-16
【标题】"hama-core-0.7.1.zip" 提供的是 Apache Hama 的核心库，这是一个基于 Apache Software Foundation 开发的大数据并行计算框架。Hama 是为了解决大规模矩阵运算、图处理和其他数学问题而设计的，它特别适用于...
关于hama-0.7.1的配置
芒果summer小仙女
12-10 440
要注意非常重要的一点：配置hama-env.sh时，注意java_home必须是jdk8！！（因为jdk版本不对，耗费一天半的时间找错误。）
hama --KMeanBSP
sujingxd的博客
11-11 252
HAMA是基于BSP实现的开源平台，主要针对图模型。KMeans并没有使用Vertex，而是基本的BSP模型，即直接在peer粒度上发送和接收消息，不涉及顶点上之间的消息的传递。这种应用级算法主要看，sendmessage,和getcurrentmessage的内容以及对消息的处理方法。每个peer上会分配有不大于64M数据，KMeansBSP初始簇心按照随机选取或用户指定的方法上传，每个peer
图计算Hama-BSP模型的运行流程
ZH519080的博客
11-28 852
Hama-architecture： Apache-hama集群是以BSP为框架为基础由一个BSPMaster、（多个）互不关联的GroomServer计算结点、可独立运行的Zookpeer集群组成。BSPMaster采用“先进先出”原则对GroomServer进行监控、job的提交处理、任务的分配和记录整个的运行动态，BSPMaster调用BSP类的setup方法、bsp方法和cleanu...
BSP-Apache HAMA-Graph运行（1）
ZH519080的博客
07-01 480
Apache-HAMA框架图 1、由BSPJobClient实现作业提交，实现的方法是：GraphJob.submit() submit的主要内容是VertexID、VertexValue、EdgeValue等信息。 2、数据的加载 由“Loads vertices into memory ofeach peer，GraphJobRunner.loadVertices(
apache-hama-kcore
ZH519080的博客
10-31 659
package org.apache.hamaDemo;import java.io.IOException;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Tex
BSP-Apache HAMA-Graph运行（2）
ZH519080的博客
07-01 943
4、障栅同步 进入BSPPeerImpl.sync()方法中，sync()方法主要实现的方法是：messenger.getOutgoingBundles()、messenger.transfer()、enterBarrier()、messenger.clearOutgoingMessages()、leaveBarrier()等方法， BSPPeerImpl.sync()代码为： pub
BSP-Apache HAMA-Graph运行（3）
ZH519080的博客
07-07 547
5、通信信息接收 由localQueue.poll()得出，信息的接收是通过Queue来完成的。 在GraphJobRunner.loadVertices()方法完成了信息的发送（send()）、传递、障栅同步（sync()）、接收（getCurrentMessage()）等操作，而且信息的真正发送是在障栅同步（sync()）阶段开始的。信息的发送和接收并不是一一对应的
安装hadoop-hama
ZH519080的博客
06-18 1213
1、  在vmware forlinux上安装Centos6.5 2、  在centos上配置网络信息 3、  Centos创建用户“zhuhaichuan” 4、  关闭防火墙 5、  配置/etc/hosts文件 6、  Jdk安装 7、  ssh无密码登陆 8、  hadoop配置安装 9、  hama配置安装         注意：我的jdk安装在root用户中，ssh、
Hama-0.6.0
07-01
Hama-0.6.0是一个重要的开源项目，专为大数据处理设计，尤其在处理大规模图计算任务时表现出色。这个版本包含了安装版和源码，为用户提供了解析、编译以及自定义扩展的可能性。其核心是基于 Bulk Synchronous ...
Lua非空判断方法[源码]
11-24
本文详细介绍了在Lua中进行非空判断的几种方法，特别是针对table类型的变量。首先，文章指出了直接对nil值进行索引会导致异常的问题，并给出了一个简单的例子来说明如何避免这种情况。接着，文章讨论了如何判断一个table是否为空，指出不能简单地使用`#table == 0`的方式，而是应该使用`next(t) == nil`的方法。此外，文章还提到了`next`指令在LuaJIT中的优化问题，建议在非必要情况下少用。最后，文章简要介绍了如何判断一个字符串是否全部由空格组成，使用了正则匹配的方法。这些内容对于Lua开发者来说非常实用，能够帮助他们避免常见的错误。
JS表格转Excel实现[可运行源码]
11-24
该文章详细介绍了如何使用JavaScript将HTML表格数据导出为Excel文件。内容涵盖了针对不同浏览器的兼容性处理，包括IE和非IE浏览器的不同实现方式。对于IE浏览器，使用ActiveXObject进行导出；对于非IE浏览器，则通过base64编码和数据URI方案实现。文章还提供了完整的代码示例，包括表格数据的处理、格式化和导出功能，支持文本和图片类型的数据导出。
图片转bin文件存储[项目代码]
11-24
本文介绍了在OpenCV项目中如何将大量图片数据转换为二进制（bin）文件进行高效存储和读取的方法。作者在项目中遇到需要处理大量图片数据的问题，尝试了多种格式（如.mat、.txt、.yml）后发现效率较低。通过使用二进制文件存储，显著提升了读写速度。文章详细展示了使用OpenCV将图片写入二进制文件的代码示例，以及从二进制文件读取图片数据的实现方法。虽然该方法需要提前知道图片的尺寸和数量，但读写速度极快，适合处理大量图片数据。作者还提到可以通过换行符或终止符优化读取过程，但未深入探讨。
ROS视觉处理与色彩识别[项目源码]
11-24
本文详细介绍了在ROS环境下进行视觉处理的基础步骤，特别是针对色彩识别的实现方法。内容涵盖了从摄像头驱动的安装与配置（如usb_cam驱动和image_view工具的使用），到创建功能包和编写图像处理节点（包括RGB图像回调函数、HSV色彩空间转换、二值化处理及形态学操作）。此外，还演示了如何在仿真环境中获取图像，并通过OpenCV实现红色和绿色物体的识别与追踪。最后，文章提供了完整的代码示例和编译运行步骤，帮助读者快速上手ROS视觉处理项目。
Anaconda安装与使用指南[项目源码]
11-24
本文详细介绍了在Anaconda环境下安装和使用jupyter及numpy的步骤。首先，指导用户如何安装Anaconda并创建虚拟环境，然后详细说明了如何在虚拟环境中安装jupyter和numpy。接着，文章提供了多个numpy的练习示例，包括创建零向量、矩阵操作、归一化等。此外，还介绍了如何在Jupyter中完成numpy、pandas和matplotlib的例题，涵盖了从基础操作到实际应用的多个方面。最后，文章总结了实验过程中的经验，特别是在使用国内镜像源后下载速度的提升。
【动静障碍物】基于JPS算法（改进A）全局路径规划与DWA动态窗口局部避障的机器人自主导航混合控制算法（Matlab代码实现）
11-24
【动静障碍物】基于JPS算法（改进A）全局路径规划与DWA动态窗口局部避障的机器人自主导航混合控制算法（Matlab代码实现）内容概要：本文介绍了一种结合改进A*算法的JPS（跳跃点搜索）全局路径规划与DWA（动态窗口法）局部避障的混合控制算法，用于机器人在动静态障碍物环境下的自主导航。该算法通过JPS优化全局路径搜索效率，提升路径规划速度，并结合DWA实现实时动态避障，增强了机器人在复杂动态环境中的适应性和安全性。整个系统在Matlab平台上进行了代码实现与仿真验证，展示了良好的路径规划效果与避障性能。; 适合人群：具备一定机器人学、自动控制或路径规划基础知识的研究生、科研人员及从事智能机器人开发的工程技术人员。; 使用场景及目标：①应用于移动机器人在静态与动态障碍共存环境中的自主导航任务；②为研究高效全局规划与实时局部避障的融合策略提供技术参考与实现案例；③支持Matlab仿真环境下的算法验证与优化。; 阅读建议：建议读者结合Matlab代码深入理解JPS与DWA的集成逻辑，重点关注算法在路径最优性、计算效率与避障实时性之间的平衡设计，可进一步扩展至多机器人系统或复杂地形场景的应用研究。
Lua中loadstring应用[源码]
最新发布
11-24
本文介绍了在Lua编程中使用loadstring函数解析字符串公式的方法，特别是在游戏开发中的应用。通过示例代码展示了如何解析包含动态变量的字符串，如属性键、操作符和技能等级等，并动态计算其值。文章详细说明了如何利用loadstring将字符串转换为可执行的Lua代码，并处理复杂的公式解析，如计算buff持续时间和属性加成。这对于需要动态处理游戏内文本和公式的开发者具有实用价值。
VINS-Fusion部署流程[项目源码]
11-24
本文详细介绍了VINS-Fusion的部署及启动流程。首先，系统需要安装Ubuntu16.04以上版本并配置ROS环境，同时安装OpenCV、Glog、Ceres等依赖库。其次，编译功能包并进行多线程编译。启动阶段需获取IMU数据和图像信息，通过模拟器启动VINS-Fusion并查看Rviz可视化效果。标定部分包括相机内参和外参的配置，以及回环检测的优化。最后，文章简要提及实机启动的步骤，包括飞控和相机驱动的安装，以及通过脚本启动VINS-Fusion的流程。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值