
Spark
文章平均质量分 93
相关知识
伍华锋
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
MapReduce常见的知识点
文章目录1. 准备部分2. jar包依赖3. Map部分4.Reduce部分5.提交部分6.打包提交原博文,点击这里接下来以一个简单的WordCount为例子,介绍Java版本的MapReduce的程序编写。mapreduce程序主要分三部分:1.map部分,2.reduce部分,3.提交部分。1. 准备部分hadoop中,针对数据类型自成一体,与java的数据类型对应。封装在hadoop.io包中,主要分为基本类型和其它类型。基本数据类型其它类型2. jar包依赖创建一个maven工转载 2021-08-10 14:52:46 · 750 阅读 · 0 评论 -
sequenceFile读写文件、记录边界、同步点、压缩排序、格式
文章目录sequenceFile读写文件、记录边界、同步点、压缩排序、格式(1)写入数据到文件(2)从文件读取数据(3)其他序列化框架调用方法(4)记录边界和同步点(5)查看序列化文件(6)输出排序后的sequenceFile文件(7)sequenceFile文件格式原博文,点击这里sequenceFile读写文件、记录边界、同步点、压缩排序、格式HDFS和MapReduce是针对大文件优化的存储文本记录,不适合二进制类型的数据。SequenceFile作为小文件的容器,SequenceFile类型将转载 2021-08-10 10:03:22 · 980 阅读 · 0 评论