这天有点热的博客

最近在看大数据的课程做了一点笔记。 hadoop 安装： 创建hadoop账户 安装java环境 打开终端，输入 sudo useradd -m hadoop -s /bin/bash 输入密码 sudo passwd hadoop 为hadoop添加管理员权限 sudo adduser hadoop sudo 下载hadoop-2.x.y.tar.gz 把上述文件复制到 安装到/usr/l...

hadoop框架中最核心的设计是为海量数据提供存储的HDFS和对数据进行计算的MapReduce MapReduce的作业包括：1、从磁盘或者从网络读取数据，即IO密集工作；2、计算数据，即cpu密集工作 hadoop集群的整体性能取决于cpu、内存、网络以及存储之间的性能平衡，因此运营团队在选择机器配置时要针对不同的工作节点选择合适的硬件类型 一个基本的hadoop集群中的节点主要有 NameN...

分布式文件系统HDFS 1、计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 与之前使用多个处理器和专用高级硬件的并行化处理装置不同，目前的分布式文件系统采用的计算机集群，都是普通的硬件构成的，这就大大降低了硬件上的开销。 分布式文件系统在屋里结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫主节点（Master Node）或者也称...