
Hadoop
拉丁解牛说技术
大道至简、行胜于言。坚持实用至上,擅长结合大厂生产实践案例,持续专注分享互联网金融技术架构实战经验。
展开
-
Hadoop 3.0 新特性总结
JDK8、EC、大于2个namenode、Java最低版本要求从Java7 更改成Java8所有的Hadoop JARs都是针对Java 8 编译的。仍在使用Java 7 或更低版本的用户必须升级至Java 8。HDFS支持纠删码(Erasure Coding)与副本相比纠删码是一种更节省空间的数据持久化存储方法。标准编码(比如Reed-Solomon(10,4))会有1.4 倍...原创 2018-10-14 15:47:27 · 506 阅读 · 0 评论 -
Hadoop 3.0 安装部署
最近在虚拟机上新装了一个单节点的Hadoop,用于日常测试。下载二进制包,解压。官网 http://hadoop.apache.org1、 安装ssh,否则Pseudo-Distributed Operation 模式下启动hdfs会失败。sudo apt-get install ssh2、打开 etc/hadoop/hadoop-env.sh 配置java home e...原创 2018-11-17 18:04:24 · 460 阅读 · 0 评论