chairon的博客

HDFS： 资源管理（全局统一的环境变化） spark 集群中每一个节点都能看到相同的目录树和文件路径， 某一节点对目录树的修改(如增加或删除数据)，任何其它节点都可以同步感知这个变化。 并行计算框架：yarm、flink、 第10周： ppt答辩大作业准备情况、集群使用情况、工作情况。 编程模型 1.MapReduce编程模型-wordcount(单词计数) 方框：数据 箭头：网络传输 椭圆：计算任务 — shuffling：多对多的映射->以字母序归类单词到reduce（B、C、D、

1. 相关概念 云计算是处理大数据的工具，能够有效获取目标信息。 是传统计算机和网络技术融合发展的产物。包含：网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡 主要分为三层：Iaas（基础设施即服务）、Pass(平台）、SaaS（软件） 数据中心：一整套复杂的设施。 云数据中心：基于云计算架构的， 2. 虚拟化技术 核心思想：利用软件或固件管理程序构成虚拟化层，把物理资源映射成虚拟资源。在虚拟资源上可以 ...