- 博客(1)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 MapReduce中自定义InputFormat，处理输入小文件的问题，输出时使用SequenceFileOutPutFormat合并文件
1.需求 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决 方案。将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件 格式），SequenceFile里面存储着多个文件，存...
2018-07-19 21:45:35
1904
2
mysql-connector-java-8.0.12.jar
mysql-connector-java-8.0.12.jar，mysql驱动jar包，图形化工具加载驱动即可连接mysql数据库
2018-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人