
-------【大数据】
唐大麦
只要往前走,就不会迟。精疲力尽的时侯应该选择休息,切不可放弃。
展开
-
大数据工程师技能图谱
大数据通用处理平台 SparkFlinkHadoop 分布式存储 HDFS 资源调度 Yarn Mesos 机器学习工具 Mahout Spark MlibTensorFlow (Google 系)Amazon Machine LearningDMTK (微软分布式机器学习工具) 数据分析/数据仓库(SQL类) PigHivekylinSpark SQL,Spar转载 2016-04-15 10:31:29 · 2762 阅读 · 0 评论 -
一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择。 大数据,首先你要能存的下大数据。 传统的文件系统是单机的,不能横跨不同的转载 2016-04-15 10:32:31 · 2670 阅读 · 1 评论