在Redhat的Hadoop上安装Petuum笔记_如何安装petuum-优快云博客

本文介绍了Petuum——一个由卡耐基梅隆大学邢波教授团队开发的分布式机器学习平台，并详细记录了在Redhat系统上安装Petuum的过程及所需配置。Petuum支持多种机器学习算法，包括主题模型、深度学习、矩阵分解等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在介绍安装Petuum之前，首先介绍一下Petuum。Petuum 是卡耐基梅隆大学教授邢波组的项目。Petuum 是一个分布式机器学习平台,目标是为大规模机器学习提供一个通用的算法和系统接口,简化分布式机器学习程序的实现。

详细介绍:http://petuum.github.io/index-zh.html
相关技术细节:http://petuum.github.io/research.html
相关源码介绍:http://yinxusen.github.io/blog/2014/01/17/petuum-source-code-read-and-initial-test-result/

petuum 关键特征

•Bösen:基于受限异步一致性协议的分布式键值存储系统,可支持数据并行分布式机器学习编程。(存储)

Strads: 动态参数更新调度器,可支持模型并行分布式机器学习编程。(调度)

petuum 支持的算法

Topic Models:LDA、MedLDA
Deep Learning:Deep Neural Network (DNN)
Matrix Factorization and Sparse Coding:Matrix Factorization (collaborativefiltering)、negative Matrix Factorization (NMF)、Sparse Coding
Regression:Lasso Regression
Metric Learning:Distance Metric Learning
Clustering:K-means Clustering
Classification: Random Forest、 Logistic Regression、 SVM 、 Multi-class LogisticRegression

Redhat上安装命令

由于petuum官网只是提供了ubuntu的安装过程。而我们的Hadoop集群是在redhat上安装的。所以，我写了这个笔记来记录我在redhat上安装Petuum时所使用的命令和安装的包。

sudo yum install libtool
sudo yum install openmpi openmpi-devel openmpi-libs

mpi的地址加入到path

export PATH="$PATH:/usr/lib64/openmpi/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/openmpi/lib/"
export LD_LIBRARY_PATH="/home/lib"

sudo yum -y install bzip2-devel

mkdir petuum

安装grandle

export GRADLE_HOME=/opt/gradle/gradle-2.6（gradle的位置）
export PATH=$GRADLE_HOME/bin:$PATH

编译命令

cd strads
make
cd ../bosen/third_party
make
cd ../../bosen
cp defns.mk.template defns.mk
make
cd ..
sudo vim bosen/defns.mk
JAVA_HOME = /usr/java/jdk1.7.0_79
HADOOP_HOME = /home/edu/hadoop-2.6.0
#HAS_HDFS = # Leave empty to build without hadoop.
HAS_HDFS = -DHAS_HADOOP # Uncomment this line to enable hadoop

cd bosen
make clean
make

cd bosen/app/path_to_app
make clean
make

之后就可以跑petuum提供的算法了。