Pig执行模式

本文介绍了Pig的两种执行模式:localmode和MRmode。localmode适用于试用Pig或处理小规模数据集,而MRmode则通过将查询翻译成MR作业在Hadoop集群上执行,适用于大规模数据处理。文章还详细解释了如何设置这两种模式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        Pig有两种执行模式:local mode 和 MR mode

        Pig的物理计划是一系列的MR作业,在local mode,作业在本地JVM中运行,在MR mode,作业在Hadoop集群上运行。


local mode:
        在local mode ,Pig运行在单个JVM中,访问本地文件系统。本模式只适合用于试用Pig或处理小规模数据集。
执行模式用-x或-exectype选项进行设置。
命令行输入:pig -x local则进入local mode运行并启动Grunt.

进入local mode的结果如下图所示:


使用quit命令结束Grunt会话。


MR mode:
        在MR模式下,Pig将查询翻译为MR作业,然后在Hadoop集群上执行,如果某一个Pig版本支持多个版本的Hadoop,可以通过PIG_HADOOP_VERSION环境变量来告诉pig他所连接的Hadoop版本,例如:
export PIG_HADOOP_VERSION=20
需要将Pig指向集群的namenode和jobtracker,如果Hadoop站点已经定义了fs.default.name和mapred.job.tracker,那么把Hadoop的配置目录添加到Pig的类路径即可:
在/etc/profile中添加如下内容:
export PIG_CLASSPATH=/opt/hadoop/conf/
(/opt/hadoop/conf/为我的电脑上Hadoop的安装路径)
重启使配置生效。
设置好Pig到Hadoop的连接后,就可以输入pig -x mapreduce或直接输入pig进入pig的mapreduce mode,MR mode 是pig的默认执行模式。

进入MR mode 的结果如下图所示:






评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值