- 博客(5)
- 收藏
- 关注
RSS订阅原创 学习hadoop-streaming组件，并使用它运行一个mapreduce任务
mapper和reducer会从标准输入中读取用户数据，一行一行处理后发送给标准输出。Streaming工具会创建MapReduce作业，发送给各个task tracker，同时监控整个作业的执行过程。这个工具通过标准输入和标准输出与Hadoop的MapReduce框架进行交互，使得非Java程序员也能方便地利用Hadoop进行大规模数据处理。一共2个reduce，map和reduce都是用,进行分隔，reduce用前四列进行排序，用前两列进行分区，分成了1，3和1，2两个区在两个reduce里。
2025-02-28 17:21:20
170
原创 学习hdfs权限类型和规则，并在sit环境完成相应的授权操作
必须包含用户、组和其他条目以与权限位兼容。规范仅包含访问条目，则保留现有的默认条目。规范仅包含默认条目，则保留现有的访问条目。规范同时包含访问和默认条目，则两者都会被替换。：递归地对所有文件和目录应用操作。条目之外的所有条目。条目是为了与权限位兼容。，而现有条目会保留。，丢弃所有现有条目。：要修改的文件或目录。添加新的权限来使用此。
2025-02-26 15:50:59
352
原创 完成hdfs操作相关的命令学习，并用程序来向hdfs中写入数据(语言不限，可以是shell, java,python)
【代码】完成hdfs操作相关的命令学习，并用程序来向hdfs中写入数据(语言不限，可以是shell, java,python)
2025-02-26 15:07:28
140
原创 理解hadoop的核心组件，描述每个组件的作用，并在sit环境查看各组件的部署位置
【代码】理解hadoop的核心组件，描述每个组件的作用，并在sit环境查看各组件的部署位置。
2025-02-25 09:26:17
333
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人