- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hadoop yarn 8088看不到mapreduce任务进度的解决办法
对于Hadoop yarn8088端口或yarn application -list无法看到mapreduce任务进度的解决方法，包含了作者在解决这一问题以及途中遇到的一些问题以及解决这些问题时的全过程。
2022-11-18 12:36:34
2495
1
原创 MapReduce分区+排序综合案例
MapReduce分区和排序综合案例。 在进行MapReduce计算时，有时会需要我们把最终的输出数据按照某种规则放到不同的不同的文件中，比如手机号的前三位划分省份，要把同一个省份的数据放到同一个文件中。对于MapReduce的最终输出数据，最终来自于Reducer，如果要得到多个文件，就意味着要有同样多数量的Reducer任务在运行。而Reducer的数据来自于Mapper，也就是说，在Mapper阶段要将划分数据，之后将不同的数据交给不同的Reducer运行。
2022-11-10 17:07:45
1388
原创 MapReduce序列化
为什么不用Java的序列化方式：Java序列化的方式实现java.io.Serializable接口，但是java的序列化是一个重量级序列化框架，他会附带很多额外的信息。为什么要序列化：由于在运行程序的过程中，保存在内存中的对象会因为断电而丢失，或者在分布式系统中，对象需要由一台计算机传递给其他计算机进行计算，所以对象需要转化为文件或实际可传输的数据流。什么是反序列化：反序列化就是将收到的字节序列或者磁盘中的持久化数据转化为内存中的对象。注意1：在重写序列化方法和反序列化方法时要注意顺序一致。
2022-11-05 12:23:09
468
原创 HDFS的API操作
通过Java API访问HDFS实现1、创建目录2、创建文件3、读取文件内容4、文件的删除5、文件的上传6、文件的下载7、列表显示指定目录下的文件和子目录信息8、复制文件9、重命名文件操作。
2022-10-26 18:31:13
1579
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人