
大数据开发
长风。
打篮球敲代码的阿风
展开
-
Hadoop分布式搭建之hadoop集群搭建实践
Hadoop2.7.2分布式搭建 1~5步三台机器都要做 1、 新建三个虚拟机 2、 分别给三台机器配置网络,修改主机名(重启永久生效) 3、 关闭防火墙 4、 配置映射文件 [root@hadoop-NN ~]# vi /etc/hosts 192.168.28.77 hadoop-NN 192.168.28.78 hadoop-DN 192.168.28.79 hadoop-DN2 IP...原创 2019-03-31 20:05:23 · 236 阅读 · 0 评论 -
Linux常用命令之Linux常用命令实战知识点
在在复习linux,这是以前做的笔记,分享一下。。。 Linux系统: 一切皆文件 操作文件就是操作Linux系统 一、Linux版本 1、Redhat 企业版、收费 2、centOS Redhat的社区版、免费 3、Ubuntu 4、红旗 二、Linux的特点 1、多用户、多任务 2、丰富的网络功能 3、良好的用户界面 4、良好的可移植性 5、良好的速度性能 6、可靠地系统安全 7、具有标...原创 2019-03-29 11:23:18 · 222 阅读 · 0 评论 -
HDFS读写流程之HDFS读写流程实战知识点
翻了翻以往做的笔记,分享一个hdfs的读写流程 hdfs读写流程在上学期间可没少抄写。。。 HDFS读写流程 一、 写流程 1、 客户端访问NameNode,获取元数据信息,NameNode判断写入的文件是否存在。 1) 如果要写入文件已存在,返回给客户端不可写入。 2) 如果不存在,返回给客户端可以写入、DataNode信息。 2、 缓存文件第一个块到本地 3、 缓存块成功后,NameNode会...原创 2019-03-29 11:29:37 · 351 阅读 · 0 评论 -
hadoop,hdfs,yarn,linux命令,shell脚本讲解
数据1:hadoop,hdfs,yarn,linux命令,shell脚本讲解 1.描述一下hadoop的三大核心和四大模块 hadoop三大核心:HDFS,MapReduce,yarn hadoop四大模块: 1.hadoop common:为其他hadoop模块提供基础设施 2·hadoop hdfs:一个高可靠,高吞吐量的分布式文件系统 3.hadoop mapreduce:一...原创 2019-04-23 23:40:28 · 996 阅读 · 0 评论