wow_is_nothing的博客

1 写数据流程（上传）（1）客户端请求namenode上传文件（大小、副本个数、物理块大小）（2）namenode进行检查、校验（权限、存储容量）后，生成该文件对应的元数据，并返回OK给客户端（3）客户端请求上传第一块数据，namenode将第一块的元数据信息返回给客户端（4） 客户端和元数据信息中的3台机器建立连接通道（5）通道建立后，3台机器返回OK给客户端（6）客户端本地读取第一块数据的内容，并将其转为分布式输出流(DistributeOutputStream)——封装为数据包，提高效率

1、首先创建一个maven项目，在pom.xml中添加一些必要的依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.2.1</version> </depende

1、hdfs的shell客户端我们曾在bin>hadoop namenode-format对namenode进行过初始化。输入hdfs ，会展示一些命令。hdfs dfs展示一些具体的操作hdfs文件系统的命令，大部分命令和linux的一致，多出来的-get、-put分别是下载和上传。2、hdfs dfs -mkdir /data2在hdfs文件系统根目录下 / 创建一个data2文件。输入linux01:9870打开页面。3、hdfs dfs -put jdk-8u141-li

1、上传文件alt+p或者rz将文件hadoop安装包上传至/opt/apps/下。2、解压压缩包hadoopvar -zxf hadoop包名3、hadoop目录介绍log日志，是在使用后自动创建的。4、修改配置文件配置文件的位置：ls /opt/apps/hadoop-3.2.1/etc/hadoop4.1 vi hadoop-env.sh进入文件后，输入":set nu"显示行号，在54行处，将#删除，把JAVA_HOME变量的绝对路径，这是配置Hadoop使用的ja

1、将hadoop安装包解压至windows中的文件下2、在windows的环境变量中，新建HADOOP_HOME环境变量，路径=hadoop的解压位置bin的上一级目录。3、在环境变量Path中添加%HADOOP_HOME%\bin;一路点击确定后退出。这类似于JAVA_HOME的配置。4、重启电脑，重启集群，重启idea，如果还是同样的错误，就将hadoop/bin/的hadoop.dll复制到C:\Windows\System32下，再次重启idea就行了。...

1、什么是Hadoop？Hadoop，简单而言，就是一个用于处理海量数据的分布式框架。他是将一堆海量的数据分发至不同的电脑上进行存储和处理分析，这样就避免了因数据量太大，导致在一台电脑处理数据时出现宕机或者崩溃的情况，不仅提高了海量数据的处理速度，还具有极高的安全性。他解决了两大难题：海量数据的存储和海量数据的处理分析，这也构成了hadoop的两大核心：HDFS和MapReduce。2、Hadoop的特点（1）高可靠性：在处理数据时，Hadoop往往会将数据备份多份分发至不同的机器进行保存，这样就避