hadoop
关注
分享
扫一扫
wzyhahaha
殚精竭虑勤勉谦和
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
编译hadoop-2.6.0，安装所有native类库
编译hadoop-2.6.0 首先，一开始的问题是在学习《hadoop权威指南》的时候学到了压缩这节，就去了解了一下压缩需要安装类库，hadoop-2.6.0/lib/native库里面有东西，hadoop checknative却显示里面全部都是false。查了资料才发现，这说明hadoop是未编译的。我这里用的是CentOS6系统。最好全程使用root用户来操作，省的遇到麻烦。步骤很长，但请...原创 2019-01-31 19:05:44 · 1496 阅读 · 0 评论 -
解决SequenceFile doesn't work with GzipCodec without native-hadoop code!问题
解决SequenceFile doesn’t work with GzipCodec without native-hadoop code!问题 照着Hadoop权威指南一直往下走，遇到了压缩的坑，以为完成了编译，就解决了问题，没想到问题还在后面。 用的是Hadoop2.6.0 出问题的代码是这一句： //设置压缩格式 SequenceFileOutputFormat.setOutputCompr...原创 2019-01-30 17:44:30 · 1261 阅读 · 0 评论 -
《hadoop权威指南》第九章中的NcdcStationMetadata类
百度查不到，谷歌查不到，具体的initialize方法自己能写出来又担心写出来的不对，于是上github找了作者的源码，不错，几乎是完全相同。 import org.apache.hadoop.io.IOUtils; import java.io.*; import java.util.HashMap; import java.util.Map; public class NcdcStation...原创 2019-01-31 19:54:35 · 283 阅读 · 0 评论 -
spring boot\spring data与hadoop如何整合，以及解决tomcat冲突的问题
初衷： 为将hadoop集成到Spring项目当中。一开始尝试直接导入hadoop依赖包，也是因为对依赖冲突不够了解，导致了tomcat中的若干依赖于hadoop中的依赖相互冲突。 矛盾： 针对于spring-boot-starter-web: <dependency> <groupId>org.springframework.boo...原创 2019-08-24 20:32:23 · 1789 阅读 · 1 评论