DamoLLL的博客

HDFS根据命令编写代码package com.bigdata.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsPermission;import org.junit.Test;import java.io.IOException;import java.net.URI;import java.ut

HDFS Architecture（HDFS 结构）HDFS架构服务器：机架式服务器、刀片式服务器、塔式服务器官网地址：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.htmlHDFS文件一旦创建，除了追加和截断外，不需要更改。 支持将内容追加到文件末尾，但不能在任意点更新。Moving Computation is Cheaper than Moving Data 移动计算比移动数据

Maven中设置jdk的版本为 1.8，编码格式utf-8<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.1</version> <configuration> <source>1

HDFS的端口号9000：hdfs节点内部通信端口50070：hdfs的web端口出现以下问题：就是没有在环境变量PATH中找不到[hadoop@hadoop101 sbin]$ hadoop-daemon.sh-bash: hadoop-daemon.sh: command not foundhosts的位置HDFS集群注意事项如果对NN进行格式化，一定要保证DN和NN的 clusterID一样clusterID存在 /home/hadoop/apps/hadoop/data/df

大数据1、海量数据2、处理海量数据的一系列技术：存储和计算大数据元年：2013年 阿里王坚：2016年大数据技术解决两个问题1、存储数据2、计算数据准备工作准备三台虚拟机 （hadoop101,hadoop102,hadoop103），他们之间可以相互拼通NAT模式：配置ip和主机的映射[root@hadoop101 ~]# vim /etc/hosts192.168.10.101 hadoop101192.168.10.102 hadoop102192.168.10.