Hadoop
拉丁解牛说技术
大道至简、行胜于言。坚持实用至上,擅长结合大厂生产实践案例,持续专注分享互联网金融技术架构实战经验。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop 3.0 新特性总结
JDK8、EC、大于2个namenode、 Java最低版本要求从Java7 更改成Java8 所有的Hadoop JARs都是针对Java 8 编译的。仍在使用Java 7 或更低版本的用户必须升级至Java 8。 HDFS支持纠删码(Erasure Coding) 与副本相比纠删码是一种更节省空间的数据持久化存储方法。标准编码(比如Reed-Solomon(10,4))会有 1.4 倍...原创 2018-10-14 15:47:27 · 564 阅读 · 0 评论 -
Hadoop 3.0 安装部署
最近在虚拟机上新装了一个单节点的Hadoop,用于日常测试。 下载二进制包,解压。官网 http://hadoop.apache.org 1、 安装ssh,否则Pseudo-Distributed Operation 模式下启动hdfs会失败。 sudo apt-get install ssh 2、打开 etc/hadoop/hadoop-env.sh 配置java home e...原创 2018-11-17 18:04:24 · 497 阅读 · 0 评论
分享