郝大侠的博客

1.先把4个配置文件导入src下2.把hadoop的4类jar包导入3.如果使用java调试跑hadoop数据需要注意权限！public static void main(String[] args) throws Exception { System.setProperty("HADOOP_USER_NAME", "root"); //设置权限 Configuration ...

1.新建普通java项目2.导入hadoop包导包步骤3.导入两个核心配置文件注意hdfs-site.xml文件中配置权限信息，否则一会容易发生权限不够，拒绝写入。4.编写从hdfs读取数据和上传数据public static void main(String[] args) throws Exception { Configuration conf = new Confi...

sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager

1.解压安装Hive2.安装并配置mysql``参考这篇文章https://blog.youkuaiyun.com/jmkmlm123456/article/details/84583263在mysql下创建hadoop用户，root不允许外连。3.配置 Hive进入 hive 安装目录下的配置目录，然后修改配置文件：[zkpk@master ~]$ cd /home/zkpk/apache-...

安装1、通过 yum 命令安装可以先通过 yum list |grep mysql 方式查看有哪些版本的 mysql#yum install mysql-server mysql-devel mysql#service mysql start/service mysql stop#mysqladmin -u root password 123456#show variables li...

MapReduce

1 概述Hadoop内置的输入文件格式类有： 1）FileInputFormat

hadoop 现在的架构

MR是指MangerResource

hadoop shell非常轻量的封装在HDFS FileSystem API之上。在执行hadoop命令时，如果穿进去的是fs，实际上执行的是org.apache.hadoop.fs.FsShell 这个类。在0.20.2版本中FsShell实例化了一个org.apache.hadoop.fs.FileSystem 对象，并且将命令行参数与类方法映射起来。比如，执行hadoop fs –mk...

目录/opt/soft/hadoop/sbin可设置为变量path1.start.all.sh： a.hadoop-config.sh b.start-dfs.sh 1)libexec/hadoop-config.sh 2)sbin/hadoop-daemons.sh --config .. --hostname .. st...

源码详见：github：图片中例子源码

Driverpackage MapReducer.wordcount;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org...

1、下载hadoop-native-64-2.6.0.tar2、解压安装即可cd /opt/soft/hadoop-2.6.0-cdh5.5.0/lib/nativerm -rf *tar -vxf hadoop-native-64-2.6.0.tar

Hdfs运行原理分布式存储数据。文件 节点 数据块！ HDFS的主节点，主要有两大作用： 一是管理文件目录结构：一块元数据是文件与数据块之间的信息 /opt/workspace/hadoop/hdfs/name/current —hads-defaults.xml 静止持久化存储在磁盘上，通过fsimage edits文件维护fsimage:目录和数据快信息以及edits的操...

读取流@Test public void run2() throws IOException{//写入数据 Configuration conf = new Configuration(); FileSystem fs = null; BufferedWriter bufferedWriter =null; try {...

1.top命令检查下cpu占用情况，如果有java进程占用大量cpu，kill -9 pid 2.检查linux系统 /tmp,/var/tmp,将异常文件删掉，留下java,将java进程x权限去掉，chmod a-x java 3.检查定时器，crontab -l ,删掉可疑定时器任务， 4.删掉集群中，带有dr.who的所有application作业 5.在yarn-site.xm...

hadoop命令hadoop fs -lsr <args>hadoop fs -moveFromLocal <src> <dest>hadoop fs -mv URI [URI …] <dest>hadoop fs -put <localsrc> ... &lt

expect自动登录操作#!/usr/bin/expectset ip [lindex $argv 0]set username [lindex $argv 1]set passwd [lindex $argv 2]set cmd [lindex $argv 3]spawn ssh ${username}@${ip}expect { "(yes/no)" {send ...