
Hadoop
dlphay
e-mail:740595707@qq.com
展开
-
Hadoop - 初理解
Hadoop是什么? 大量数据进行分布式处理的软件框架,存储HDFS和计算Map/Reduce,像使用单机一样使用分布式,用户可以不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速计算和存储。 Hadoop背景与现状? 大型企业将Hadoop 技术运用在自身的服务中。 Hadoop解决方案的商业型公司也纷纷跟进,提供Hadoop的商业服务。 越来越多的企业将Had...原创 2019-07-26 10:30:05 · 210 阅读 · 0 评论 -
Hadoop+Spark集群配置
重要参考文献:http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/ 准备工作 操作系统:Ubuntu-14.04.1-desktop-amd64 Hadoop 版本:hadoop-2.7.2:包含文件管理系统 HDFS 和任务调度系统 YARN Spark 版本:spark-1.6.1-bin-without-hado...原创 2019-07-28 17:24:44 · 558 阅读 · 0 评论