mapreduce 常用的map/reduce的key分隔符,自定义partition设置，

最新推荐文章于 2024-07-14 11:10:53 发布

原创最新推荐文章于 2024-07-14 11:10:53 发布 · 2.4k 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了Hadoop MapReduce框架中关键配置参数的作用与用法，包括map和reduce阶段的输出字段分隔符、map输出key字段数量、map输出key内部的分割符、用于分区的key字段数量以及reduce输出key字段数量等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

-D stream.map.output.field.separator ：设置map输出中key和value的分隔符
-D stream.num.map.output.key.fields ：设置map程序分隔符的位置，该位置之前的部分作为key，之后的部分作为value
-D map.output.key.field.separator : 设置map输出中key内部的分割符——备注：基于该分隔符，shuffle对key数值进行排序
-D num.key.fields.for.partition : 指定分区时，key按照分隔符切割后，其中用于分区key所占的列数（配合-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner 使用）
-D stream.reduce.output.field.separator：设置reduce输出中key和value的分隔符
-D stream.num.reduce.output.key.fields：设置reduce程序分隔符的位置

博客等级

码龄16年

27
原创

9
点赞

51
收藏

7
粉丝

关注

私信

热门文章

分类专栏

c/c++ 4篇
Node.js 2篇
PHP知识点整理 2篇
php 1篇
python 6篇
Hadoop 6篇
Sqoop 2篇
Scala 1篇

展开全部收起

上一篇：: hadoop streaming reduce端join的python两种实现方式

下一篇：: hadoop streaming map端join

最新评论

模拟可变分区存储管理的内存分配（C）
fly-liuhao: 又遇到一个问题： [code=cpp] 请输入一个数字(0：退出 1：分配 2：回收 3：显示 : 3 ----------空闲区表------------ |起始地址 | 长度 | | 30| 8| ----------已分配表------------ |起始地址 | 长度 | 作业标签 | | 12| 1| 7 | | 17| 2| 6 | | 17| 0| 5 | | 10| 2| 4 | | 13| 4| 3 | | 38| 7| 2 | 请输入一个数字(0：退出 1：分配 2：回收 3：显示 : 2 请输入待回收的作业标签：2 error:指针异常 [/code] 问题：fp->next可能为空，再进行下边界判断的时候就存在获取不到值解决：获取不到值，说明已经遍历结束，同后面代码一样添加判断，如下： [code=cpp] if ((fp->next->saddr + fp->next->len) == fitem->saddr) { //上边界与待回收的空间边界进行合并 fitem->saddr = fp->next->saddr; fitem->len = fp->next->len + fitem->len; //释放原有空闲块的内存 tmp_item = fp->next; fp->next = tmp_item->next; tmp_item->next = NULL; delete tmp_item; tmp_item = NULL; } //如果已经遍历到链尾则跳出 if (fp->next == NULL) { break; } //下边界相同 if ((fitem->saddr + fitem->len) == fp->next->saddr) { .... } //如果已经遍历到链尾则跳出 if (fp->next == NULL) { break; } [/code]
模拟可变分区存储管理的内存分配（C）
fly-liuhao: 程序还存在一个小Bug,就是在空闲区表只有一段可用内存的时候，无论怎么申请都会不成功，是因为p->next = pitem->next;指向的时候在最后一段就是为空，所以在后续的判断时就会把这种正常申请，当作没有查到合适空闲块处理，进而退出所以稍加改进，加一个标志位即可:判断但是否为查找到正常快正常退出 [code=cpp] //查找最适合的空闲块 p = free_head; while (p->next != NULL) { if (p->next->len >= len) { pitem = p->next; p->next = pitem->next; pitem->next = NULL; flag = 1; break; } p = p->next; } //空闲表中没有满足条件的空闲块 if (p->next == NULL&&flag == 0) { cout << "对不起，现在没有多余的内存空间，请稍后申请..." << endl; return; //exit(1); } [/code]

大家在看

最新文章

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。