pig

开源框架 - PigX - 脑残版使用教程 1、PigX简介 目录 文章目录**1、PigX简介**目录官方简介官方地址环境需求项目结构说明开源版商业版官方技术文档2、本机环境安装后台本地启动步骤前台本地启动步骤系统账号说明3、添加业务服务5、服务器部署4、开发示例 官方简介 基于 Spring Cloud Hoxton 、Spring Boot 2.3、 OAuth2的 RBAC权限管理系统 基于数据驱动视图的理念封装 element-ui,即使没有 vue的使用经验也能快速上手 提供对常见容器化支持 Docker、Kub 阅读详情

https://www.w3cschool.cn/apache_pig/apache_pig_installation.html

http://www.apache.org/dyn/closer.cgi/pig


Apache Pig 安装

由  jarodhu 创建,youj 最后一次修改  2016-12-28

本章将介绍如何在系统中下载,安装和设置 Apache Pig 。

先决条件

在你运行Apache Pig之前,必须在系统上安装好Hadoop和Java。因此,在安装Apache Pig之前,请按照以下链接中提供的步骤安装Hadoop和Java://www.w3cschool.cn/hadoop/hadoop_enviornment_setup.htm

下载Apache Pig

首先,从以下网站下载最新版本的Apache Pig:https://pig.apache.org/

步骤1

打开Apache Pig网站的主页。在News部分下,点击链接release page,如下面的快照所示。

Home Page

步骤2

点击指定的链接后,你将被重定向到 Apache Pig Releases 页面。在此页面的Download部分下,单击链接,然后你将被重定向到具有一组镜像的页面。

Apache Pig Releases

步骤3

选择并单击这些镜像中的任一个,如下所示。

click mirrors

步骤4

这些镜像将带您进入 Pig Releases 页面。 此页面包含Apache Pig的各种版本。 单击其中的最新版本。

Pig Release

步骤5

在这些文件夹中,有发行版中的Apache Pig的源文件和二进制文件。下载Apache Pig 0.16, pig0.16.0-src.tar.gz 和 pig-0.16.0.tar.gz 的源和二进制文件的tar文件。

Pig Index

安装Apache Pig

下载Apache Pig软件后,按照以下步骤将其安装在Linux环境中。

步骤1

在安装了 Hadoop,Java和其他软件的安装目录的同一目录中创建一个名为Pig的目录。(在我们的教程中,我们在名为Hadoop的用户中创建了Pig目录)。

$ mkdir Pig

第2步

提取下载的tar文件,如下所示。

$ cd Downloads/ 
$ tar zxvf pig-0.15.0-src.tar.gz 
$ tar zxvf pig-0.15.0.tar.gz 

步骤3

将 pig-0.16.0-src.tar.gz 文件的内容移动到之前创建的 Pig 目录,如下所示。

$ mv pig-0.16.0-src.tar.gz/* /home/Hadoop/Pig/

配置Apache Pig

安装Apache Pig后,我们必须配置它。要配置,我们需要编辑两个文件 - bashrc和pig.properties 。

.bashrc文件

在 .bashrc 文件中,设置以下变量

  • PIG_HOME 文件夹复制到Apache Pig的安装文件夹

  • PATH 环境变量复制到bin文件夹

  • PIG_CLASSPATH 环境变量复制到安装Hadoop的etc(配置)文件夹(包含core-site.xml,hdfs-site.xml和mapred-site.xml文件的目录)。

export PIG_HOME = /home/Hadoop/Pig
export PATH  = PATH:/home/Hadoop/pig/bin
export PIG_CLASSPATH = $HADOOP_HOME/conf

pig.properties文件

在Pig的 conf 文件夹中,我们有一个名为 pig.properties 的文件。在pig.properties文件中,可以设置如下所示的各种参数。

pig -h properties 

支持以下属性:

Logging: verbose = true|false; default is false. This property is the same as -v
       switch brief=true|false; default is false. This property is the same 
       as -b switch debug=OFF|ERROR|WARN|INFO|DEBUG; default is INFO.             
       This property is the same as -d switch aggregate.warning = true|false; default is true. 
       If true, prints count of warnings of each type rather than logging each warning.		 
		 
Performance tuning: pig.cachedbag.memusage=<mem fraction>; default is 0.2 (20% of all memory).
       Note that this memory is shared across all large bags used by the application.         
       pig.skewedjoin.reduce.memusagea=<mem fraction>; default is 0.3 (30% of all memory).
       Specifies the fraction of heap available for the reducer to perform the join.
       pig.exec.nocombiner = true|false; default is false.
           Only disable combiner as a temporary workaround for problems.         
       opt.multiquery = true|false; multiquery is on by default.
           Only disable multiquery as a temporary workaround for problems.
       opt.fetch=true|false; fetch is on by default.
           Scripts containing Filter, Foreach, Limit, Stream, and Union can be dumped without MR jobs.         
       pig.tmpfilecompression = true|false; compression is off by default.             
           Determines whether output of intermediate jobs is compressed.         
       pig.tmpfilecompression.codec = lzo|gzip; default is gzip.
           Used in conjunction with pig.tmpfilecompression. Defines compression type.         
       pig.noSplitCombination = true|false. Split combination is on by default.
           Determines if multiple small files are combined into a single map.         
			  
       pig.exec.mapPartAgg = true|false. Default is false.             
           Determines if partial aggregation is done within map phase, before records are sent to combiner.         
       pig.exec.mapPartAgg.minReduction=<min aggregation factor>. Default is 10.             
           If the in-map partial aggregation does not reduce the output num records by this factor, it gets disabled.
			  
Miscellaneous: exectype = mapreduce|tez|local; default is mapreduce. This property is the same as -x switch
       pig.additional.jars.uris=<comma seperated list of jars>. Used in place of register command.
       udf.import.list=<comma seperated list of imports>. Used to avoid package names in UDF.
       stop.on.failure = true|false; default is false. Set to true to terminate on the first error.         
       pig.datetime.default.tz=<UTC time offset>. e.g. +08:00. Default is the default timezone of the host.
           Determines the timezone used to handle datetime datatype and UDFs.
Additionally, any Hadoop property can be specified.

验证安装

通过键入version命令验证Apache Pig的安装。如果安装成功,你将获得Apache Pig的正式版本,如下所示。

$ pig –version 
 
Apache Pig version 0.16.0 (r1682971)  
compiled Jun 01 2015, 11:44:35


Pig安装 Pig有两种使用模式:本地模式和MapReduce模式。 Pig进行实际工作的模式是MapReduce模式,使用Pig的MapReduce模式首先需要已经安装好的hadoop集群,关于hadoop集群的搭建在之前已经讲过。 下面就在之前搭建的集群的基础上,安装pig。安装过程如下: 1 下载pig-0.9.0.tar.gz,复制到hadoop集群的master节点的根目录下(pig相当于ha 阅读详情

相关推荐

hadoop 之pig

相比Java的MapReduce api,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduce相比,Pig提供了更丰富的数据结构,一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作,包括在MapReduce中被忽视的连接Join操作。 pig 也是hadoop中的一员,是为了简化原生的mapreduce,不用运行jar便可以做mapreduce,只需要输入几行...

FREEDOM 2126

PIG框架学习2——资源服务器的配置详解

资源服务器配置@EnablePigxResourceServer详解

Bananaaay的博客 3424

开源:AI+无人机巡检系统项目调研

本文系统梳理了主流开源无人机巡检技术栈,涵盖飞控系统(PX4/ArduPilot)、地面站软件(QGroundControl)、AI视觉识别(VisDrone/MPID/CPLID数据集)、三维重建(OpenDroneMap/COLMAP)和仿真模拟(AirSim/Gazebo)五大领域。通过对比各项目的技术特点、开发语言、开源协议及商用友好度,为无人机巡检产品开发提供完整的技术选型参考。重点推荐PX4飞控、DroneKit开发API等商用友好项目,同时分析了GPL/AGPL协议项目的开源要求。

lovehu6686的博客 2459

开源微服务开发框架Pig

Pig是一个国内领先的微服务开发平台解决方案,它为企业服务化中台整合和数字化转型提供了强有力的支撑。目前已经升级到了PigX,有的使用者觉得它比RuoYi框架好用,大家可以使用对比一下。开源地址:pig: 基于Spring Boot 3.3、 Spring Cloud 2023 & Alibaba、 SAS OAuth2 的微服务RBAC 权限管理系统。🔝 🔝 记得上边点个star 关注更新。微服务交流群见底部二维码。

xuweilin的博客 1万+

【AutoSAR】【以太网】TCP/IP 栈详述与配置

目录 一、TCP/IP栈架构 二、TCP\IP栈的可扩展性 三、以太网协议V4 四、以太网协议 V6 五、基于IP的协议 六、函数调用序列图 一、TCP/IP栈架构 根据以上架构图,该栈主要包括:UPD\TCP\DHCP\ICMP\IPV4\IPV6\ARP; 二、TCP\IP栈的可扩展性 TCP\IP栈为适应不同的应用场景需求,将分为三类: 配置工程里的配置项: 三、以太网协议V4 1 IPV4 Internet Protocol (IP)是T.

专注汽车软件开发、AutoSAR、车载以太网、SOA、EE架构。 5698

Python 爬虫实战:爬取微博热搜与用户评论数据

本文系统讲解微博热搜榜单与用户评论数据的爬取技术方案。针对微博热搜榜采用Requests+BeautifulSoup解析静态HTML结构,实现高效爬取;对于动态加载的评论数据,使用Selenium模拟浏览器行为规避反爬机制。详细阐述技术选型、反爬策略、数据清洗及存储方法,提供完整代码实现和输出示例。同时强调合规要求,提示开发者需在遵守平台规则的前提下进行数据采集。该方案为舆情分析和热点研究提供了可落地的技术实现路径。

2503_91057718的博客 1719

【亲测免费】 Pig 项目安装和配置指南

Pig 是一个基于 Spring Cloud 2023、Spring Boot 3.3 和 OAuth2 的 RBAC(基于角色的访问控制)权限管理系统。该项目旨在为企业提供一个快速开发的框架,支持微服务架构和单体架构。Pig 项目主要使用 Java 作为编程语言,同时也涉及到前端技术如 Vue 3 和 Element Plus。 ## 2. 项目使用的关键技术和框架 Pig 项目使用了以下关...

gitblog_07564的博客 879

【系统分析师】核心考点:100个高频知识点汇总

本文系统梳理了系统分析师考试的11大领域高频考点,重点解析了计算机硬件与体系结构的7个核心知识点:计算机五大部件(CPU/存储器/总线等)、校验码类型(奇偶/海明/CRC)、CISC与RISC指令系统对比、总线分类与特性、RAID磁盘阵列级别、流水线技术原理及Flynn系统分类法。内容涵盖硬件组成、数据校验、指令架构、存储技术等关键概念,通过表格对比和公式说明,为考生提供结构化的知识框架与备考重点。

数据知道的博客 5573

java程序员的大数据之路(13):Pig入门

Pig入门

K_Ohaha的博客 859

IgH EtherCAT 从入门到精通:第 5 章 多主站与系统集成配置

本文介绍了 EtherCAT 多主站配置与系统集成方法。主要内容包括: 多主站实例配置原理:通过内核模块参数指定多个主站设备,每个主站独立管理一条 EtherCAT 总线,最多支持32个主站实例。 配置文件详解:在/etc/ethercat.conf中通过MASTER<X>_DEVICE变量定义各主站绑定的网卡或MAC地址,支持冗余备份配置。 系统服务集成:提供了systemd服务单元文件和传统init.d脚本两种方式实现开机自启动和管理,并建议通过override文件定制服务依赖关系。 架构示

从事嵌入式linux android驱动开发,拥有全栈能力 356

DBeaver配置本地mysql-connector驱动文件

本文摘要:介绍了数据库驱动管理的基本操作步骤:1)新建驱动管理器,填写MySQL驱动名称、类名和类型;2)添加本地MySQL驱动文件;3)创建数据库连接并测试。适用于MySQL5.x和8.x版本,帮助用户快速配置数据库连接。

litlit023的专栏 1702

Pig学习教程

Pig学习 1、Pig Latin简介 Pig是用来处理大规模数据的高级查询语言,结合Hadoop使用,可以在处理海量数据时达到事半功倍的效果。 Pig语句通常按照如下的格式来编写: ❑通过LOAD语句从文件系统读取数据。 ❑通过一系列“关系转换”语句对数据进行处理。 ❑通过STORE语句把处理结果输出到文件系统中,或使用DUMP语句把处理结果输出到屏幕上。 Pig有两种运行模式:Local模式和MapReduce模式。 Pig Latin是一种面向数据流的编程语言,一条语句就是一个操作,得

qq_27960935的博客 2865

092、Python在芯片验证中的应用:从脚本小子到验证架构师

Python在芯片验证中的高效应用 本文通过实际案例展示了Python在芯片验证中的关键作用。凌晨三点的调试场景揭示了传统方法的局限,Python脚本能在20分钟内分析80GB波形数据定位FIFO指针问题。文章重点介绍了两个核心工具: 智能日志分析系统:通过正则表达式和上下文分析,自动分类百万行验证日志中的错误,生成可视化报告,效率远超传统grep方法。 寄存器模型生成器:将Excel表格自动转换为UVM寄存器模型代码,将原本需要两周的手工工作缩短至两小时,同时保证零错误。 文章还展示了Python与Sys

z534437748的博客 74

Pig 安装

Pig 的安装  1.下载文件 在官方上下载下来 http://pig.apache.org/releases.html#Download 我个人下载的 版本是pig-0.11.0.tar.gz 2.安装 上传到服务器指定位置 由于我个人是新创建了一个pig用户来创建的,所以上传到了 /home/pig/这个目录 (用户创建 useradd  pig   -g root) 接

幸运小侯子 9981

有趣的方式学习DDR5(4)—— DDR5 SDRAM 启动与初始化过程全攻略

🟢。

weixin_43199439的博客 1625

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Apache Pig

一般而言,pig的函数分为4种类型过滤函数计算函数加载函数存储函数过滤函数@Override// 如果tuple为空,返回false// 获取当前员工的薪水,假设薪水字段为整数类型// 确保索引0对应的是薪水字段// 判断薪水是否大于等于3000return sal!继承自FilterFunc。FilterFunc是Apache Pig中的一个接口,用于定义过滤函数。重写exec方法Tuple一个Tuple通常对应于表中的一行数据。

wusuoweiieq的博客 1425

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Pig详解

1.   整体描述 Pig包括两部分:①用于描述数据流的语言,称为Pig Latin;②用于运行Pig Latin程序的执行环境,当前有两个环境:单JVM中的本地执行环境和hadoop集群上的分布式执行环境。 一个Pig Latin程序有一系列的操作和变换组成。每个操作或变换对输入进行数据处理,然后产生输出结果。这些操作整体上描述了一个数据流。Pig执行环境把数据流翻译为可执行的内部表示,...

crazzy_lp的博客 4300

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

pig入门学习

个人目前理解pig是对mapreduce的一种封装扩展,使写mapreduce简单化,可维护性更高一点,可透明性更清晰一点,操作数据更简单一点吧。 Pig latin是pig的使用语言和工具吧,至于其他的一些功能比如能执行hadoop的命令就先不提了。   1.      Pig中的模式 pig中模式就是说pig数据的数据格式是什么样的。 比如当执行 grunt> describe

幸运小侯子 2957

【软件工程实践】Pig项目1-什么是Pig

2021SC@SDUSC PIG在大数据平台中的位置与作用 题主并不没有上过大数据相关的课程,拿出了一份之前扫盲的时候整理的资料来带给大家 Pig是一种高级数据语言,运行于HDFS之上,是hadoop上层的衍生架构 主要的几种大数据架构及其之间的关系如下图所示 按照不同功能进行划分,一些的大数据项目可以如下所示 由上图可以看出,Pig是一种查询平台,我的资料中还有以下的引用: 简介:Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储..

Aulic的博客 848

Pig系列之二:Pig的安装和配置

Pig的安装和配置1 Pig的安装条件 Hadoop 0.20.2Pig有两种运行模式:Local模式和MapReduce模式。如果需要让作业在分布式环境下运行,则需要安装Hadoop,否则用户可以选择不安装。另外,当前Hadoop最新的版本为0.20.2,当然用户也可以选择安装其它版本,不过这里建议安装最新的Hadoop版本。因为新的版本修正了以前版本中的一些错误,并且添加了新的特性[1]。Java 1.6建议安装Java 1.6以上的版本。Java环境对于Pig来说是必须的(推荐从SUN官方网站上下

张林林|深蓝(Linlin Zhang,shenlan211314) 的专栏 9684

Pig

Pig概念: Apache Pig是建立在Hadoop之上的一个数据管理工具(类似Hive),用于分析较大的数据集,Pig通常与Hadoop 一起使用;我们可以使用Pig在Hadoop中执行所有的数据处理操作。 用户只需要借助 Pig Latin 的高级语言,编写对应的业务逻辑即可提交执行作业到Yarn上执行。 Apache Pig 为不熟悉MR编程的人降低管理大数据集的门槛。也为大数据高效管理提...

ho_ll_ow的博客 664

Pig实战

1. pig简介2. 安装pig3. 实战pig4. 深入pig5. 参考资料及代码下载 . Pig简介  pig是hadoop项目的一个拓展项目, 用以简化hadoop编程(简化的程度超乎想象啊),并且提供一个更高层次抽象的数据处理能力,同时能够保持hadoop的简单和可靠性。. 安装pig 2.1 下载pig:[点击下载]pig安装包2.2

记录、分享 1067

pig在MapReduce下的实例

Pig在MapReduce模式下的实例,计算每年温度最高值。

fumier的专栏 1998

Python——Pig Latin

“Pig Latin”是一个英语儿童文字改写游戏,整个游戏遵从下述规则: (1). 元音字母是‘a’、‘e’、‘i’、‘o’、‘u’。字母‘y’在不是第一个字母的情况下,也被视作元音字母。其他字母均为辅音字母。例如,单词“yearly”有三个元音字母(分别为‘e’、‘a’和最后一个‘y’)和三个辅音字母(第一个‘y’、‘r’和‘l’)。 (2). 如果英文单词以元音字母开始,则在单词末

TodLiuMeng的专栏 1740

pig入门

Pig是一种操作大规模数据集的脚本语言,是在HDFS和MapReduce之上的数据流处理语言,将数据流翻译成多个MR函数。   Pig包括两部分: PigLatin:用于描述数据流的语言 用于运行pig Latin程序的执行环境   PigLatin程序有一系列的operation和transformation组成,每个操作或变换对属于进行数据处理,将这些操作转换为一系列的MapRed

lvhuiyin的博客 985
上一篇: UML 及 StarUml
下一篇: 解决启动mongodb --fork报错 -ERROR: child process failed, exited with error number 1
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值