pig Map/Reduce模式安装

本文介绍如何在CentOS6.5环境下安装Pig 0.11.1,并配置相应的Java、Hadoop环境变量。文章还涵盖了修改hosts文件的方法及启动Pig shell的不同方式,并列举了Pig shell中可用的文件系统操作命令。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境:
CentOS6.5, Hadoop1.1.2, jdk1.6, pig 0.11.1


一、下载并解压pig安装包
可从以下链接下载;
pig-0.11.1.tar.gz


二、设置环境变量
1. 设置java环境变量
export JAVA_HOME=<JAVA_HOME>
export PATH=.:$JAVA_HOME/bin:$PATH


2. 设置hadoop环境变量
export HADOOP_HOME=<HADOOP_HOME>
export PATH=.:$HADOOP_HOME/bin:$PATH


3. 设置pig环境变量
export PIG_HOME=<HBASE_HOME>
export PATH=.:$PIG_HOME/bin:$PATH


4. 设置PIG_CLASSPATH环境变量
export PIG_CLASSPATH=<HADOOP_HOME>/conf


三、修改hosts文件
#使本机能够解析主机名为ip


四、启动grunt shell
1. pig -x local #本机模式启动

2. pig #Map/Reduce模式启动


五、pig shell 文件系统操作
#在grunt shell中输入help, 查看信息:


    "cat" ...
    "clear" ...
    "cd" ...
    "cp" ...
    "copyFromLocal" ...
    "copyToLocal" ...
    "dump" ...
    "describe" ...
    "aliases" ...
    "explain" ...
    "help" ...
    "history" ...
    "kill" ...
    "ls" ...
    "mv" ...
    "mkdir" ...
    "pwd" ...
    "quit" ...
    "register" ...
    "using" ...
    "as" ...
    "rm" ...
    "set" ...
    "run" ...
    "exec" ...
    "scriptDone" ...
    <IDENTIFIER> ...
    <PATH> ...


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值