
ICT实习
Nazroo
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ICT实习第一周
任务:第一周没有实质性进展,主要学习和熟悉mapred,下周就换hive了,还有大半天,所以得抓紧了。。 感受:开会时每个人汇报自己上一周的工作进展,都是很详细的工作进度,比如不支持filter的like操作。。解决是scanmode永rough。。hive根据文件路径生成输入分片,保证每个文件只会被读取一次。。大多数术语还处于听不懂的阶段,,记了满满两大页天书,,,跟他们一比,自己之前学的搭配原创 2014-01-12 10:09:14 · 1494 阅读 · 1 评论 -
ICT实习第二周第一天
这周开始分配具体的任务了,主要是对hive支持的数据类型的编码方式进行调研, 我分到的是string类型数据,申跟我过了一下mapred工作流程,讲了一些关于mapred中getsplits和getrecordreader的东东,让我去看hive源码,找出outformat和recordwriter中关于string编码的部分,此是基于orcfile的,另外去github调研parquet,原创 2014-01-13 15:59:09 · 1382 阅读 · 0 评论