hadoop大数据平台

java环境 java-1.8.0-openjdk-devel

jvm虚拟机

hadoop软件解压即可用

JAVA_HOME是java的安装路径

hadoop对主机名强依赖，意思是主机名hostname要能ping通

jar命令 是运行一个jar文件

hadoop要运行，主要依赖两个的配置

JAVA_HOME

HADOOP_CONF_DIR

hadoop里面client是切分文件

分片、副本，和es差不多

namenode管理数据分片之后存储到哪里

fsimage 名称空间与数据块的映射信息

副本策略也是namenode负责

hadoop三大核心组件

HDFS

Mapreduce

Yarn

.xml 是可扩展标记语言

配置hadoop是在做填空题

jsp命令查询java系统的角色

hdfs是hadoop的文件系统

yarn是分布式计算框架

datanode所消耗的资源主要为磁盘的io

也就是说使用raid阵列可以优化磁盘的io消耗

zookeeper 应用程序协调服务

hadoop\zookeeper\kafka都是java写的，也都是apache基金会的开源项目

hadoop的namenode有点像k8s的etcd

haproxy可以走tcp也可以走http

Haproxy对于后端服务器的健康检查默认是用tcp三次握手，可以选http状态码检查

nginx\haproxy\lvs\keepalived负载均衡反向代理健康检查，这些功能，在云平台都用一个ELB给解决了。如果在物理机上部署服务的话，keepalived高可用感觉很实用，装个软件，配个虚拟ip，就跟那个虚拟路由器是一个工作原理。

批量操作的时候，感觉ansible还有点绕，直接在命令行写循环，也挺好用的，有的也可以用windterm等软件的同步输入。

看了hadoop的视频，感觉其他软件的配置都简单多了，hadoop是真的步骤多。