分布式开源框架hadoop集群搭建方法及基本命令

Hadoop是一个开源框架,允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器,每个都提供本地计算和存储

资源下载地址：
https://download.youkuaiyun.com/download/u011004306/12292060
常见问题：
副本集空间问题，在从节点hdfs-site.xml下加入以下内容，并执行命令hadoop-daemon.sh start/stop datanode

dfs.data.dir
file:///data/hadoop-datadir1/data,data/hadoop-datadir2/data

常用命令
hdfs safe node设置命令：（log中包含：重新缓存数据时间到，开始重新缓存数据库数据到hdfs）
去主机上执行：hadoop dfsadmin -safemode leave

hdfs下载
hadoop fs -get hdfs://192.168.0.111:9000/file

Hadoop删除页面文件命令：
./hdfs dfs -rm /file/filename_1547123709128.json