TimliangLei

HDFS的架构介绍 主从结构 主节点，只有一个: namenode 从节点，有很多个: datanodes namenode负责： 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系（一个block64MB） datanode负责： 存储文件 文件被分成block存储在磁盘上 为保证数据安全，文件会有多个副本MapRed

实现ssh免密钥登陆 1.关闭防火墙service iptables stop 重启后也关闭chkconfig iptables off 查看状态 service iptables status 补充 服务开机自动启动：chkconfig 服务名 off/on 自定义开机：vi/etc/rc.local添加以下内容 2.设置ip vi /etc/sysconfig/netwo

Hadoop使用的是HDFS，实现的功能和我们使用的磁盘系统类似，支持通配符。 1、查看文件列表 查看hdfs中/目录下的所有文件的详细信息。hadoop fs -ls /递归的查看hdfs中/目录下所有文件（包括子目录下文件）hadoop fs -lsr /

在操作之前先要做好准备工作。Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(configuration); 操作名称 操作位置 代码 1、新建文件夹 命令行 hadoop fs -mkdir /newDir Eclipse fileS

一、通配符 通配符 注解 * 代表0到多个字符 ? 代表单一字符 [ ab ] 代表字符类型，匹配{a,b}中的一个字符 [ ^ab ] 代表不是｛a,b｝中的一个字符 [ a-b ] 代表匹配一个a到b之间的字符包括ab，ASCII代码在a-b之间的 [ ^a-b] 代表不在a到b之间的字符包括ab {a,b} 代表匹配a或b的一个语句

MapReduce特点适合数据复杂度运算 不适合算法复杂度的运算 不适合实时计算、流式计算、DAG有向图计算 综上，要求算法足够简单，数据可以足够大！MapReduce架构采用Master/Slave 执行流程MapReduce包含四个组成部分 Client JobTracker TaskTracker Task Map算法Reduce数据 从HDFS出来Split[0,1,……

今天碰到一个奇怪的问题：安装了一台centos6，获取的ip地址为192.168.0.131/24，因为是安装的服务器，所以打算把此地址设置成静态ip地址，系统不能上网了。 检查了好半天，发现ping 8.8.8.8 是可以ping通，但是ping www.baidu.com不能ping通。 然后去配置dns吧，在系统–首选项–网络连接，去“ipv4设置”里面添加dns服务器为网关地址。因为我们

目录 配置hadoop-env.sh 配置yarn-env.sh 配置core-site.xml 配置hdfs-site.xml 配置mapred-site.xml 配置yarn-site.xml 配置slaves文件配置hadoop-env.sh打开配置文件hadoop-env.shcd etc/hadoopvi hadoop-env.sh加入配置内容，设置了hadoop中jdk和

我们要分析的文件是：/var/log/anaconda.syslog具体操作