本文介绍Pig如何通过ANTLR生成语法树，并遵循规则生成逻辑计划（logicalPlan）。每个逻辑计划由多个操作符组成，这些操作符是Pig的基本操作单元。之后，逻辑计划被转换成物理计划（physicalPlan），并最终转化为MapReduce计划（mrPlan），实现从加载到存储的数据处理过程。
先贴几张pig的部分类图：
pig logicalPlan转换为physicalPlan的类图
logicalPlan生成mapreducePlan类图
pig的主要流程 使用antlr生成语法树，
对照规则rule生成logicalPlan，每个logicalPlan聚合多个operator，operator就是pig的一个原子操作
再转化为physicalPlan，每个physicalPlan都对应hadoop job的输入输出流
最后转化为mrPlan，每个mrPlan都是包含一个load到store的过程，聚合physicalPlan，可转化为hadoop job
扫一扫
925
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
