qq_29220057的博客

向HDFS集群写10个128M文件 hadoop jar /opt/module/hadoop-2-7-2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB 测试读 hadoop jar /opt/module/...

1.集群规模 每天日活100万，每人一天平均100条数据，每条日志1kb左右，半年内不扩容，保存3副本，预留20%-30%buffer,数仓分层 2.框架版本选型 apache大公司，运维麻烦，组件间兼容性需要自己调研 CDH 用的多，中小公司用得多 HDP开源 3.服务器选型 1)物理机 2)云主机 4.什么是shuffMap Reduce 5.分区排序左侧写数据，右侧写索...