Pig脚本书写时候注意事项

最新推荐文章于 2020-11-07 16:28:30 发布
原创 最新推荐文章于 2020-11-07 16:28:30 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #pig #脚本

本文介绍了一种使用Hadoop处理Web日志的方法，通过Pig Latin脚本从HDFS加载原始日志文件，并利用自定义函数过滤掉由已知爬虫产生的记录，最后将清洗后的日志保存回HDFS。

set mapreduce.job.cache.files 'hdfs://192.168.100.163:9000/user/blacklist.txt#blacklist';

register ExtractAndTransform.jar

all_weblogs = load 'hdfs://192.168.100.163:9000/user/apache_tsv.txt' as(ip:chararray,timestamp:long,page:chararray,http_status:int,payload_size:int,useragent:chararray);

nobots_weblogs = FILTER all_weblogs BY NOT com.sn.hadoop.extract.pig.IsUseragentBot(useragent);

store nobots_weblogs into 'hdfs://192.168.100.163:9000/user/nobots_weblogs_another';

1、路径对应的都是HDFS

2、'='两侧都应该有个空格

Pig Latin脚本原理与代码实例讲解
AI天才研究院
06-04 930
Pig Latin脚本原理与代码实例讲解 1.背景介绍 Pig Latin是一种基于Pig的脚本语言,用于大数据处理和分析。Pig是一种高级数据流语言和执行框架,最初由Yahoo!研究院开发,旨在提供一种简单、高效的方式来分析大型数据集。Pig Latin是Pig的核心语言,它提供了
mapreduce中读取文件并缓存
行走的树
04-14 3193
//输入维表(type=0时直接输入该文件（文件地址是全路径加文件名）, type=1时输入该文件夹下的文件，地址只到文件夹，文件夹下面包含多个文件) public static void InputDimensionFile(String path_file, String type, Configuration conf, FileSystem fs) throws Exception {//
Pig学习教程
qq_27960935的博客
11-07 2765
Pig学习 1、Pig Latin简介 Pig是用来处理大规模数据的高级查询语言，结合Hadoop使用，可以在处理海量数据时达到事半功倍的效果。 Pig语句通常按照如下的格式来编写： ❑通过LOAD语句从文件系统读取数据。 ❑通过一系列“关系转换”语句对数据进行处理。 ❑通过STORE语句把处理结果输出到文件系统中，或使用DUMP语句把处理结果输出到屏幕上。 Pig有两种运行模式：Local模式和MapReduce模式。 Pig Latin是一种面向数据流的编程语言，一条语句就是一个操作，得
【pig】pig的注释格式
shuhuai007的专栏
12-24 6766
pig的注释格式共有两种： If you place Pig Latin statements in a script, the script can include comments. For multi-line comments use /* …. */ For single line comments use -- /* myscript.pig My
【pig】pig脚本规范
shuhuai007的专栏
01-21 1361
1. 注释方式     a) . --      b). /*   */ 示例： /*  * Licensed to the Apache Software Foundation (ASF) under one  * or more contributor license agreements.  See the NOTICE file  * distributed with thi
pig代码格式上小注意
weixin_34029949的博客
04-29 254
1，%default file test.txt 中不要用引號，'' 和“”都不行。'file'不会被识别 2，pig推断相等，用==，不是一个=。、 3。pig中仅仅用单引號。不用双引號。如： target_data = FILTER analyze_data BY (wizad_ad_id=='199' OR wizad_ad_id=='200' OR wizad_ad_...
pig基本语法——join
archer的技术故事
09-16 1821
主要参考： https://book.itxueyuan.com/3b7D/PDLO 1、基础数据： ============================================== [root@cdh1 data]# cat demodata xiaoxiao,12,12.1f aaa,13,1.1f kjkj,12,12.1f ddf,19,12.8f youyo...
pig-npp:记事本++的PIG脚本语法突出显示
05-28
标题中的“pig-npp”指的是一个专门为Notepad++文本编辑器设计的插件，用于对PIG（Hadoop Pig Latin）脚本进行语法高亮显示。PIG是一种高级编程语言，用于编写MapReduce作业，特别是在大数据处理领域。Notepad++是一...
pig编程指南中的样例脚本、UDF、数据集
05-29
在本书中，作者提供了丰富的样例脚本、用户定义函数（UDF）以及数据集，帮助读者理解并掌握Pig语言的精髓。Pig是Hadoop生态系统中的一个高级数据处理工具，其设计目标是简化大规模数据集的分析任务，通过提供一种...
nifty-pigunit:PigUnit 之上的扩展，用于编写更复杂的 Pig 脚本单元测试
06-30
Apache Pig 带有自己的测试框架 PigUnit。 尽管该框架为基本 Pig 测试提供了足够的功能，但它缺乏一些基本功能，例如： 能够测试具有多个输入的场景 以更模糊的方式断言输出。 它必须完全匹配 无法在脚本中放置 ...
pig基本语法——输入输出存储查看结构
archer的技术故事
09-16 1258
参考官网地址： http://pig.apache.org/docs/r0.17.0/basic.html   基础数据 # cat /root/xytest/pig/data/demodata xiaoxiao,12,12.1 aaa,13,1.1 kjkj,12,12.1 ddf,19,12.8   常规的程序 目前使用的都是pig -x local方式的 A = lo...
实现MapReduce作业的分布式缓存加载到本地计算节点
碣石观海的博客
05-28 477
一、问题场景 MapReduce任务是在独立的计算节点运行的。因此，对于作业提交节点上的某些文件，在计算节点本地是不存在的，会导致MapReduce任务失败（找不到文件）。 二、使用Hadoop分布式缓存（推荐） 1. 将计算结点需要的“边数据”（当前为"qqwry.dat"文件）上传到HDFS分布式文件系统中； 2. Job任务设置其（HDFS路径）为分布式缓存；（缓存文件会默认下载到每...
MapReduce
qq_44927239的博客
04-23 261
Map Join 1．使用场景 MapJoin适用于一张表十分小、一张表很大的场景。 2．优点 思考：在Reduce端处理过多的表，非常容易产生数据倾斜。怎么办？ 在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。 3．具体办法：采用DistributedCache （1）在Mapper的setup阶段，将文件读取到缓...
Mapreduce中分布式缓存的使用注意点
zgt99的专栏
01-22 3658
job.addArchiveToClassPath(archive); // 缓存jar包到task运行节点的classpath中 job.addFileToClassPath(file); // 缓存普通文件到task运行节点的classpath中 job.addCacheArchive(uri); // 缓存压缩包文件到task运行节点的工作目录 job.addCache
MapReduce 缓存文件
我们始终是路人
10-31 1251
/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { BufferedReader bufferedReader = new BufferedReader(new Fi
MapReduce工作笔记——Job上传普通文件和大文件
Congying-Wang的博客
11-29 2929
文章目录0. 前言1. 上传普通文件2. 上传大文件2.1 cacheFile上传至Hdfs2.2 cacheArchive上传压缩文件 MapReduce工作笔记 系列目录：MapReduce工作笔记——目录 0. 前言 我们在配置MR Streaming任务的时候，通常会上传mapper、reducer以及其他会用到的一些文件，在MapReduce工作笔记——Hadoop shell 常用...
Apache Pig的一些基础概念及用法总结
superye1983的专栏
08-17 8860
深入浅出，转一个 转载必须注明出处：http://www.codelast.com/ 转载地址 本文可以让刚接触pig的人对一些基础概念有个初步的了解。 本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解
【转载】各种sql语句在hadoop pig中的实现
weixin_30359021的博客
07-23 174
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1317084 欢迎加入Hadoop超级群:180941958 我这里以Mysql 5.1.x为例,Pig的版本是0.8 同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下: tmp_f...
Why does a Catalog job automatically appear after a GRT backup job completes?
weixin_33831196的博客
08-07 132
http://www.symantec.com/business/support/index?page=content&id=TECH190173ProblemWhenrunningaGranularRecoveryTechnology(GRT)backupjobofSharepoint,Exchange,orActiveDirector...
Notepad++中PIG脚本语法高亮插件pig-npp
pig-npp 是一个专为 Notepad++ 编辑器设计的语法高亮插件，用于支持 Apache Pig 脚本语言的代码着色与可视化增强。该项目由开发者在 2013 年 11 月任职于 PayPal 期间创建，最初可能是出于内部开发效率提升的需求而...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值