hadoop学习笔记

【Hadoop_exporter】prometheus监控hadoop 下载jmx_prometheus_javaagent-0.15.0.jar https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.15.0/ 写需要监控的角色专属yaml namenode.yaml startDelaySeconds: 0 #master为本机IP(一般可设置为localhost);1234为想设置的jmx端口 hostPort: localhost:1234 #jmxUrl: servi 阅读详情

前言: 之前学习hadoop总结的笔记。

1. hadoop 伪分布式式安装
    1.1 修改ip地址,立即生效(service network restart)
    1.2 关闭防火墙
        1.2.1 关闭命令 service iptables stop
        1.2.2 查看防火墙状态 service iptables status
        1.2.3 关闭防火墙自动运行 
            1.2.3.1 关闭命令 chkconfig iptables off 
            1.2.3.2 执行查看 chkconfig --list | grep iptables
    1.3 设置主机名
        1.3.1 修改命令 vi /etc/sysconfig/network 重启查看 (hostname)
    1.4 SSH配置
        1.4.1 ssh-keygen -t rsa (免密码登陆)
        1.4.2 cd ~/.ssh 进行操作 cp id_rsa.pub authorized_keys 
    1.5 ip与hostname绑定
        1.5.1 执行命令 vi /etc/hosts
    1.6 安装jdk和hadoop
        1.6.1 tar -zxvf jdk-1.7.1.tar.gz  tar -zxvf hadoop.tar.gz 
        1.6.2 mv 文件夹 别名
    1.7 配置 etc/profile
        1.7.1  

            export JAVA_HOME=/usr/local/jdk
            export SCALA_HOME=/usr/local/scala
            export SPARK_HOME=/usr/local/spark
            export JRE_HOME=${JAVA_HOME}/jre
            export HADOOP_HOME=/usr/local/hadoop
            export CLASS_PATH=.:${JAVA_HOME}/lib:${JAVA_HOME}/lib
            export  PATH=.:${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin


        1.7.2 验证: java -version 、 hadoop -version
    1.8 修改hadoop配置文件
        1.8.1 hadoop/conf 
            1.8.1.1 hadoop-env.sh 设置jdk目录
            1.8.1.2 core-site.xml               

                <property>
                    <name>fs.default.name</name>
                    <value>hdfs://hadoop:9000</value>
                </property>
                <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/usr/local/hadoop/tmp</value>
                </property>

      1.8.1.3 hdfs-site.xml               

                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
                <property>
                    <name>dfs.permissions</name>
                    <value>false</value>
                </property>
                <property>
                    <name>dfs.name.dir</name>
                    <value>/usr/local/hadoop/hdfs/name</value>
                </property>

            1.8.1.4 mapred-site.xml

                <property>
                    <name>mapred.job.tracker</name>
                    <value>hadoop:9001</value>
                </property>

        1.8.2 hadoop namenode -format 进行格式化配置文件
            1.8.2.1 start-all    启动hadoop
            1.8.2.2 jps             查看hadoop当前进程
                3249 JobTracker
                3371 TaskTracker
                3176 SecondaryNameNode
                3494 Jps
                2966 NameNode
                3073 DataNode
        1.8.3 C:\Windows\System32\drivers\etc 进行本地映射访问
2. HDFS(Hadoop Distributed File System)
    2.1 hadoop 
        2.1.1 hadoop fs -ls hdfs://hadoop:9000/ 完整的HDFS文件系统访问路径
        2.1.2 hadoop fs -lsr hdfs://hadoop:9000/ 完整的HDFS文件系统列表访问路径
        2.1.3 hadoop fs -ls / 同上一样的效果
        2.1.4 hadoop fs -ls mkdir /File_name 在HDFS文件系统中 创建文件夹或者文件
        2.1.5 hadoop fs -put 'source_path' 'target_source' 上传文件到hdfs
    2.2  hdfs-shell
        2.2.1 -ls      <path> 对hdfs下一级目录查看
        2.2.2 -lsr     <path> 对hdfs目录递归查看
        2.2.3 -mkdir   <path> 创建目录
        2.2.4 -put     <src>   <des> 从linux上传文件到hdfs
        2.2.5 -get     <des>   <src> 从hdfs下载到linux
        2.2.6 -text    <path> 查看文件内容
        2.2.7 -rm      <path> 删除文件
        2.2.8 -rmr     <path> 递归删除文件
        2.2.9 -help ls          hdfs-shell帮助
3. java进程pid
    3.1  NameNode(是整个文件系统的管理节点,接受用户的操作请求)
        3.1.1 fsimage:元数据镜像文件(储存某一时间内NameNode元数据信息)
        3.1.2 edits: 操作日志文件
        3.1.3 fstime: 保存最近一次checkpoint 的时间
    3.2 SecondaryNameNode(HA的一个解决方案)
        3.2.1 从NameNode的(fsimage,edits)下载元数据信息,然后把二者合并,然后生成新的fsimage在本地保存,然后将它推送到NameNode并重置NameNode的edits
        3.2.2 默认安装在NameNode的节点上(不安全)
    3.3 DataNode(提供真实数据的存储服务)
        3.3.1 基本存储单位(block:块)。HDFS默认Block大小为64MB,以256MB为例,Block=256/64=4块(超过Block按Block划分,如果不足按实际大小划分)
        3.3.2 HDFS中,如果一个文件小于一个数据块大小,并不占用整个数据块存储空间
        3.3.3 Replication 多复本。默认三个
4.对HDFS进行操作
    4.1 URL的方式访问HDFS       

URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); //设置URL的访问形式支持hdfs
        <!--Exception in thread "main" java.net.MalformedURLException: unknown protocol: hdfs-->
        final URL url = new URL(path);
        final InputStream in = url.openStream();
        /*
         * in 输入流
         * out 输出流
         * buffsize 缓存大小
         * close 传输完成后是否关闭  
         */
        IOUtils.copyBytes(in, System.out, 1024, true); 

    4.2 FileSystem操作       

 //FileSystem
         /*
         *   URI arg0 :hdfs路径
         *   Configuration arg1:
         */ 
        final FileSystem fileSystem =    FileSystem.get(new URI(path), new Configuration());
        4.2.1  //创建文件夹 hadoop fs -mkdir file_name
            fileSystem.mkdirs(new Path("/b"));
        4.2.2  //删除文件夹 hadoop fs -rm file_name
            /*
            * Path arg0:hdfs路径
            * boolean arg1:退出删除:如果是文件夹(true),文件(true or false) 
            */
            fileSystem.delete(new Path("/b"),true);
        4.2.3 //上传文件 hadoop fs -put  <src>   <des>
            final FileInputStream in = new FileInputStream(new File("D:/file.txt"));
            final FSDataOutputStream out = fileSystem.create(new Path("/c/"));
            IOUtils.copyBytes(in, out, 1024,true);
        4.2.4 //下载文件 hadoop fs -get file_name  <des>   <src>
            final FSDataInputStream in =  fileSystem.open(new Path("/c/"));
            IOUtils.copyBytes(in, System.out, 1024,true);
        4.2.5 //浏览文件 hadoop fs -text <path>
            final FileStatus[] fs =     fileSystem.listStatus(new Path("/c/"));
            for (FileStatus fileStatus : fs) {
                System.out.println(fileStatus.isDir()?"文件":"文件夹");
                System.out.println(fileStatus.getPath().toString() + "  : " + fileStatus.getBlockSize() + " : " + fileStatus.getPermission() + ":" + fileStatus.getLen() );
            }

5.RPC (Remote Procedure Call)远程过程调用--指的是不是同一个进程(至少两个过程[调用方、被调用方])
    5.1 client 主动发起请求,指定ip和port的server方法,把结果返回给 client
    5.2 RPC 是hadoop的基础 
        5.2.1 服务端 MyServer               

 /** Construct an RPC server.
                 * @param instance the instance whose methods will be called 实例的方法将被调用
                 * @param conf the configuration to use 配置使用
                 * @param bindAddress the address to bind on to listen for connection 地址绑定监听连接
                 * @param port the port to listen for connections on 端口上监听连接
                 * @param numHandlers the number of method handler threads to run 方法处理程序线程的数量
                 * @param verbose whether each call should be logged 每个调用是否应该被记录
                 */
            final Server server = RPC.getServer(new MyProtocol(), address, port, new Configuration());
            server.start();

        5.2.2 客户端 MyClient             

/**
               * Get a proxy connection to a remote server 得到一个代理连接到远程服务器
               * @param   Class<? extends VersionedProtocol> protocol protocol class 协议类
               * @param long clientVersion client version 客户端版本
               * @param  InetSocketAddress addr remote address 远程地址
               * @param Configuration  conf configuration to use  配置使用
               * @param  int connTimeout time in milliseconds before giving up 时间以毫秒为单位之前放弃
               * @return the proxy
               * @throws IOException if the far end through a RemoteException
               */
             MyProtocolInterface protocol =    (MyProtocolInterface) RPC.waitForProxy( MyProtocolInterface.class, 
                23456L, new InetSocketAddress(MyServer.address, MyServer.port), new Configuration());
             String result = protocol.hello("hadoop"); //代码调用发生在服务端
             System.out.println(result);
             RPC.stopProxy(protocol);//关闭网络连接    

        5.2.3 协议接口 
              报错解决
            /* Exception in thread "main" java.lang.IllegalArgumentException: rpc.MyProtocol is not an interface */
            public interface MyProtocolInterface  extends VersionedProtocol {
            public abstract String hello(String name);        
            }
    5.3 RPC 实例理解
        5.3.1 RPC 是一个远程过程调用
        5.3.2 当客户端调用服务端的方法,意味调用的是服务端的对象的方法
        5.3.3 如果服务端的对象允许客户端进行调用,那么这个对象必须实现VersionedProtocol接口,因为RPC内部使用的是JDK的代理对象
6. MapReduce 一种分布式框架
    6.1 MR(Map和Reduce),用户需要实现map()和reduce()两个函数,这两个函数的形象是key、value对,表示函数的输入信息
    6.2 MapReduce 执行顺序
        6.2.1 读取hdfs中的文件,每一个解析成<k,v> 每一个k,v调用一次map()函数
        6.2.2 覆盖map()函数,接收产生的<k,v>处理 转换成新的<k,v>输出
            6.2.1.1                     

  /** @param K1 key the input key.   k1  每一行的起始位置 偏移量(offset)
                   * @param V1 value the input value. v1  每一行中的文本的内容
                   * @param OutputCollector<K2, V2> output collects mapped keys and values. k2 每一行中的每个单词
                   * @param Reporter reporter facility to report progress. v2 每一行中的每个单词出现的次数,默认1
                   */
                   static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
                        @Override
                        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context) throws IOException, InterruptedException {
                               final String[] splited = value.toString().split("/");
                               for (String world : splited) {
                                 context.write(new Text(world), new LongWritable(1L));
                            }
                        }
                   }

        6.2.3 对产生的<k,v> 和新产生的 <k,v> 进行一个分区(默认是一个区)
        6.2.4 对不同分区中的数据进行排序(按照k)、分组。分组指的是相同key的value放到一个集合中。
        6.2.5 (可选)对分组后的数据进行规约。
        6.2.6 多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点上。
        6.2.7 对多个map的输出进行合并、排序。覆盖reduce函数,接收的是分组后的数据,实现自己的业务逻辑,处理后,产生新的<k,v>输出。
        6.2.8 对reduce输出的<k,v>写到hdfs中。
            6.2.7.1  

 /*
                   * @param k2 key the key. k2 每一行中的每个单词
                   * @param Iterator<V2>  values the list of values to reduce.v2 每一行中的每个单词出现的次数,默认1
                   * @param   OutputCollector<K3, V3> output to collect keys and combined values.  k3  整个文件中的不同单词
                   * @param  Reporter reporter facility to report progress.  v3  整个文件中不同单词出现的次数
                   */
                   static class MyReducer extends Reducer<Text,LongWritable, Text, LongWritable >{
                        @Override
                        protected void reduce(Text k2, Iterable<LongWritable> v2s, Reducer<Text, LongWritable, Text, LongWritable>.Context context) throws IOException, InterruptedException {
                        Long sum = 0l;
                        for (LongWritable v2 : v2s) {
                                sum += v2.get();
                            }
                           context.write(k2, new LongWritable(sum));
                        }
                   }      

         6.2.9 提交作业到jobtracker
                

Job job = new Job(new Configuration(), KpiApp.class.getSimpleName());
                 FileSystem fileSystem = FileSystem.get(new URI(INPUT_PATH),new Configuration());
                 if(fileSystem.exists(new Path(OUTPUT_PATH))){
                    fileSystem.delete(new Path(OUTPUT_PATH), true);
                 }
                 //指定输入文件
                 FileInputFormat.setInputPaths(job, INPUT_PATH);
                 //指定哪个类用格式输入文件
                 job.setInputFormatClass(TextInputFormat.class);--可省略                 
                 //设置字定义mapper类
                 job.setMapperClass(MyMapper.class);
                // 指定<k2,v2>输出类型
                 job.setMapOutputKeyClass(Text.class);--可省略
                 job.setMapOutputValueClass(KpiWriterable.class);--如果<k3,v3>的类型与<k2,v2>类型一致,则可以省略
                 //指定分区
                 job.setPartitionerClass(HashPartitioner.class);--可省略
                 job.setNumReduceTasks(1);            --可省略    
                 //4-4 TODO 排序、分组、(可选)归纳
                 //设置自定义reduce
                 job.setReducerClass(MyReducer.class);
                 //指定<k3,v3>输出类型
                 job.setMapOutputKeyClass(Text.class);
                 job.setMapOutputValueClass(KpiWriterable.class);                 
                 //指定输出到哪里
                 FileOutputFormat.setOutputPath(job, new Path(OUTPUT_PATH));
                 //设置输出文件的格式化类
                 job.setOutputFormatClass(TextOutputFormat.class);--可省略                 
                 //提交到jobtracker
                 job.waitForCompletion(true);


        6.2.10 mapreduce执行过程 
            6.2.10.1 map、reduce键值对格式
                    函数        输入键值对    输出键值对
                    map()         <k1,v1>      <k2,v2>
                    reduce()     <k2,{v2}>      <k3,v3>    
            6.2.10.2 map任务处理
                6.2.10.2.1 读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数。
                6.2.10.2.2 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出。
                6.2.10.2.3 对输出的key、value进行分区。
                6.2.10.2.4 对不同分区的数据,按照key进行排序、分组。相同key的value放到一个集合中。
                6.2.10.2.5 (可选)分组后的数据进行归约。
            6.2.10.3 reduce任务处理
                6.2.10.3.1 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点。
                6.2.10.3.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出。
                6.2.10.3.3 把reduce的输出保存到文件中.    
        6.2.11 JobTracker
            6.2.11.1 负责接收用户提交的作业,负责启动、跟踪任务执行。
            6.2.11.2 JobSubmissionProtocol是JobClient与JobTracker通信的接口。
            6.2.11.3 InterTrackerProtocol是TaskTracker与JobTracker通信的接口。
        6.2.12 TaskTracker
            6.2.12.1 负责执行任务。
        6.2.13 JobClient
            6.2.13.1 是用户作业与JobTracker交互的主要接口。
            6.2.13.2 负责提交作业的,负责启动、跟踪任务执行、访问任务状态和日志等。
        6.2.14 MapReduce驱动默认的设置
            InputFormat(输入)    TextInputFormat
            MapperClass(map类)    IdentityMapper
            MapOutputKeyClass    LongWritable
            MapOutputValueClass    Text
            PartitionerClass    HashPartitioner
            ReduceClass        IdentityReduce
            OutputKeyClass        LongWritable
            OutputValueClass    Text
            OutputFormatClass    TextOutputFormat
        6.2.15 Writable接口<MR的任意Key和Value必须实现Writable接口.>
            6.2.15.1 Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.                

public interface Writable {
                  /** 
                   * Serialize the fields of this object to <code>out</code>.
                   */
                  void write(DataOutput out) throws IOException;
                  /** 
                   * Deserialize the fields of this object from <code>in</code>.  
                   */
                  void readFields(DataInput in) throws IOException;
                }

            6.2.15.2 MR的任意key必须实现WritableComparable接口
                public interface WritableComparable<T> extends Writable, Comparable<T> {}
        6.2.16 MapReduce 0.*版本的书写
            6.2.16.1 final JobConf job = new JobConf(Old.class);
                 FileInputFormat.setInputPaths(job, new Path(INPUT_PATH));
                 FileOutputFormat.setOutputPath(job, new Path(OUTPUT_PATH));
                 JobClient.runJob(job);

        6.2.17 MapReduce 1.*版本的书写
            6.2.17.1 final Job job = new Job(new Configuration(), KpiApp.class.getSimpleName());
                 FileInputFormat.setInputPaths(job, INPUT_PATH);
                 FileOutputFormat.setOutputPath(job, new Path(OUTPUT_PATH));
                 job.waitForCompletion(true);

        6.2.18 /**
             * 问:为什么使用Combiner?
             * 答:Combiner发生在Map端,对数据进行规约处理,数据量变小了,传送到reduce端的数据量变小了,传输时间变短,作业的整体时间变短。
             * 
             * 问:为什么Combiner不作为MR运行的标配,而是可选步骤哪?
             * 答:因为不是所有的算法都适合使用Combiner处理,例如求平均数。
             *
             * 问:Combiner本身已经执行了reduce操作,为什么在Reducer阶段还要执行reduce操作哪?
             * 答:combiner操作发生在map端的,处理一个任务所接收的文件中的数据,不能跨map任务执行;只有reduce可以接收多个map任务处理的数据。
             *
             */
      6.3 代码如何提交到jobtracker
        6.3.1 调用的job.waitForCompletion(true)进行提交
            6.3.1.1 实际上执行的 connect();
                    info = jobClient.submitJobInternal(conf);
            6.3.1.2 在connect()方法中,实际上创建了一个JobClient对象。
                   在调用该对象的构造方法时,获得了JobTracker的客户端代理对象JobSubmissionProtocol。
                   JobSubmissionProtocol的实现类是JobTracker。
            6.3.1.3 在jobClient.submitJobInternal(conf)方法中,调用了
                JobSubmissionProtocol.submitJob(...),
                即执行的是JobTracker.submitJob(...)。
7. Hadoop的基本类型(必须实现Writerable接口)
    7.1 java类型和hadoop类型对照
        7.1.1 Long    LongWritable
              Integer    IntWritable
              Boolean    BooleanWritable
              String    Text
        7.1.2 java类型如何转化为hadoop基本类型
            7.1.2.1 调用hadoop类型的构造方法,或者调用set()方法。
                    new LongWritable(123L);
        7.1.3 hadoop基本类型如何转化为java类型
            7.1.2.2 对于Text,需要调用toString()方法,其他类型调用get()方法
8. Reduce获取命令行
    8.1

public class WorldCount extends Configured implements Tool{
    public static void main(String[] args) throws Exception {
        ToolRunner.run(new Configuration(), new CacheFileApp(), args);  
    }
    @Override
    public int run(String[] args) throws Exception {
            Path in = new Path(args[0]);  
        Path out = new Path(args[1]);  
    }
}

9. Combiners(组合器)编程
    9.1 每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
    9.2 combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。
    9.3 如果不用combiner,那么,所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
    9.4 注意:Combiner的输出是Reducer的输入,Combiner绝不能改变最终的计算结果。所以从我的想法来看,Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。
    9.5  

 static class MyCombiner extends Reducer<Text, LongWritable, Text, LongWritable>{
           @Override
        protected void reduce(Text k2, Iterable<LongWritable> v2s, Reducer<Text, LongWritable, Text, LongWritable>.Context context) throws IOException, InterruptedException {
              System.out.println("输入分组:" + k2.toString() +",....");
               long times = 0L;
               for (LongWritable count : v2s) {
                times += count.get();
                //输入的k2,v2    的键值对数量
                System.out.println("键值对:<"+ k2.toString()  +", " + count.get()+">");
            }
               context.write(k2,new LongWritable(times));
           }
       }            

10. Partitioner(分区)
    10.1 Partitioner是partitioner的基类,如果需要定制partitioner也需要继承该类。
    10.2 HashPartitioner是mapreduce的默认partitioner。
        10.2.1 计算方法
            which reducer=(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks,得到当前的目的reducer。
    10.3 分区的例子必须打成jar运行(job.setJarByClass)
        10.3.1     

static class MyPartitioner extends HashPartitioner<Text, KpiWriterable> {
            @Override
            public int getPartition(Text key, KpiWriterable value, int numReduceTasks) {
                return (key.toString().length() == 11) ? 0 : 1;
            }
        }

        10.3.2 根据业务需要,产生多个输出文件
         10.3.3 多个reduce任务在运行,提高整体job的运行效率
11. Shuffle
    11.1 每个map有一个环形内存缓冲区,用于存储任务的输出。默认大小100MB(io.sort.mb属性),一旦达到阀值0.8(io.sort.spill.percent),一个后台线程把内容写到(spill)磁盘的指定目录(mapred.local.dir)下的新建的一个溢出写文件。
    11.2 写磁盘前,要partition,sort。如果有combiner,combine排序后数据。
    11.3 等最后记录写完,合并全部溢出写文件为一个分区且排序的文件。
        11.1.1 Reducer通过Http方式得到输出文件的分区。
        11.2.2 TaskTracker为分区文件运行Reduce任务。复制阶段把Map输出复制到Reducer的内存或磁盘。一个Map任务完成,Reduce就开始复制输出。
        11.3.3 排序阶段合并map输出。然后走Reduce阶段。
12. hadoop分布式安装
    12.1 分布结构
        12.1.1 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
        12.1.2 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
    12.2 各节点重新产生ssh加密文件
    11.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息
    12.4 两两节点之间的SSH免密码登陆
        12.4.1 ssh-copy-id -i  hadoop1
        12.4.2 scp /root/.ssh/authorized_keys   hadoop1:/root/.ssh/ 
    12.5 把hadoop0的hadoop目录下的logs和tmp删除
    12.6 把hadoop0中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点
        12.6.1 scp  -r /usr/local/jdk
        12.6.2 hadoop1:/usr/local/
    12.7 把hadoop0的/etc/profile复制到hadoop1和hadoop2节点,在目标节点中执行source  /etc/profile
    12.8 编辑hadoop0的配置文件slaves,改为从节点的hostname,分别是hadoop1和hadoop2
    12.9 格式化,在hadoop0节点执行hadoop namenode -format
    12.10 启动,在hadoop0节点执行start-all.sh
    12.11 注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。
    12.12 动态的增加一个hadoop节点
        12.12.1 配置新节点的环境
        12.12.2 把新节点的hostname配置到主节点的slaves文件中
        12.12.3 在新节点,启动进程
                12.12.3.1 hadoop-daemon.sh start datanode
                12.12.3.2 hadoop-daemon.sh start tasktracker
        12.12.4 在主节点执行脚本 hadoop dfsadmin -refreshNodes
13. ZooKeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务
    13.1 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等
    13.2 可以用来保证数据在ZooKeeper集群之间的数据的事务性一致。
    13.3 搭建ZooKeeper服务器集群
        13.3.1 ZooKeeper服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。
        13.3.2 在hadoop0的/usr/local目录下,解压缩zk....tar.gz,设置环境变量
        13.3.3 在conf目录下,修改文件 vi zoo_sample.cfg  zoo.cfg
        13.3.4 编辑该文件,执行vi zoo.cfg
            13.3.4.1 修改dataDir=/usr/local/zk/data
            13.3.4.2 新增server.0=hadoop0:2888:3888
            13.3.4.3 server.1=hadoop1:2888:3888
            13.3.4.4 server.2=hadoop2:2888:3888
        13.3.5 创建文件夹mkdir /usr/local/zk/data
        13.3.6 在data目录下,创建文件myid,值为0
        13.3.7 把zk目录复制到hadoop1和hadoop2中
        13.3.8 把hadoop1中相应的myid的值改为1
            13.3.8.1 把hadoop2中相应的myid的值改为2
        13.3.9 启动,在三个节点上分别执行命令zkServer.sh start
        13.3.10 检验,在三个节点上分别执行命令zkServer.sh status 
14. Hive(Hadoop Database)
    14.1 一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
         HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协调工具。
        14.1.1 表(table),储存管理数据
        14.1.2 行健(row key),类似mysql的主键,行健是HBase表天然自带的
        14.1.3 HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的。
            HBase表中的数据,每个列族单独一个文件。
        14.1.4 时间戳(timestamp),列(也称作标签、修饰符)的一个属性。
            行键和列确定的单元格,可以存储多个数据,每个数据含有时间戳属性,数据具有版本特性。    
            如果不指定时间戳或者版本,默认取最新的数据。
        14.1.5 存储的数据都是字节数组。
        14.1.6 表中的数据是按照行键的顺序物理存储的。

    14.2 HBase的物理模型
        14.2.1 HBase是适合海量数据(如20PB)的秒级简单查询的数据库。
        14.2.2 HBase表中的记录,按照行键进行拆分, 拆分成一个个的region。
            许多个region存储在region server(单独的物理机器)中的。
            这样,对表的操作转化为对多台region server的并行查询。
        14.2.3.HBase的体系结构
            14.2.3.1 HBase是主从式结构,HMaster、HRegionServer
    14.3 Hive 伪分布安装
        14.3.1 解压缩、重命名、设置环境变量
        14.3.2 修改$HBASE_HOME/conf/hbase-env.sh,修改内容如下:            
            export JAVA_HOME=/usr/local/jdk
            export HBASE_MANAGES_ZK=true
        14.3.3 修改$HBASE_HOME/conf/hbase-site.xml,修改内容如下:            

<property>
              <name>hbase.rootdir</name>
              <value>hdfs://hadoop:9000/hbase</value>
            </property>
            <property>
              <name>hbase.cluster.distributed</name>
              <value>true</value>
            </property>
            <property>
              <name>hbase.zookeeper.quorum</name>
              <value>hadoop</value>
            </property>
            <property>
              <name>dfs.replication</name>
              <value>1</value>
            </property>

        14.3.4 (可选)文件regionservers的内容为hadoop
        14.3.5 启动hbase,执行命令start-hbase.sh
        启动hbase之前,确保hadoop是运行正常的,并且可以写入文件
        14.3.6 验证:
            14.3.6.1 执行jps,发现新增加了3个java进程,分别是HMaster、HRegionServer、HQuorumPeer
            14.3.6.2 使用浏览器访问http://hadoop:60010
        14.3.7 hbase的机群搭建过程
            14.3.7.1 集群结构
                14.3.7.1.1 主节点(hmaster)是hadoop
                14.3.7.1.2 从节点(region server)是hadoop1和hadoop2
            14.3.7.2 修改hadoop0上的hbase的几个文件
                14.3.7.2.1 修改hbase-env.sh的最后一行export HBASE_MANAGES_ZK=false
                14.3.7.2.2 修改hbase-site.xml文件的hbase.zookeeper.quorum的值为hadoop,hadoop1,hadoop2
                14.3.7.2.3 修改regionservers文件(存放的region server的hostname),内容修改为hadoop1、hadoop2
            14.3.7.2 复制hadoop中的hbase文件夹到hadoop1、hadoop2中    
            14.3.7.3 复制hadoop中的/etc/profile到hadoop1、hadoop2中,在hadoop1、hadoop2上执行source /etc/profile
            14.3.7.4 首先启动hadoop,然后启动zookeeper集群。
        最后在hadoop上启动hbase集群。
15. Pig 基于hadoop的一个数据处理的框架
    15.1 MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。
        15.1.1 Pig的数据处理语言是数据流方式的,类似于初中做的数学题。
        15.1.2 Pig数据类型
            15.1.2.1 int、long、float、double、chararry、bytearray
            15.1.2.2 复合数据类型:Map、Tuple、Bag  
            15.1.2.3 Bag的类型如{('age',31),('name','张三')}
    15.2 安装Pig
        15.2.1 把pig-0.11.1.tar.gz复制到/usr/local下
        15.2.2 使用命令tar -zxvf  pig-0.11.1.tar.gz解压缩
        15.2.3 使用命令mv pig-0.11.1  pig 进行重命名
        15.2.4 编辑文件vi /etc/profile 设置环境变量
        15.2.5 编辑文件$PIG_HOME/conf/pig.properties,增加两行如下内容
            fs.default.name=hdfs://hadoop:9000
            mapred.job.tracker=hadoop:9001   

 


 

hadoop exporter配置Prometheus & Grafana 实践 hadoop exporter prometheus grafana配置 阅读详情

相关推荐

【学习笔记】尚硅谷Hadoop大数据教程笔记

本文是尚硅谷Hadoop教程的学习笔记,由于个人的需要,只致力于搞清楚Hadoop是什么,它可以解决什么问题,以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。 一、Hadoop入门 大数据的特点: Volume(大量) Velocity(高速) Variety(多样) Value(低价值密度) 1. Hadoop概念 是一个分布式系统基础架构 2. Hadoop优势 高可靠 高扩展性 高效性 高容错性 3. Hadoop组成 (1) HDFS架构概述 HDFS(Hadoop

m0_67403013的博客 2109

Hadoop学习笔记

Hadoop学习简介前言:大数据的概念一、Hadoop入门1.概念1.1 Hadoop是什么?1.2 Hadoop发展历史1.3 Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapRecduce三者间的关系1.6大数据技术生态体系1.7推荐系统案例2. 环境准备2.1模板虚拟机的准备2.2克隆2.3安装JDK以及Hadoop3.Hadoop生产集群搭建3.

NotLency的博客 3242

Hadoop学习笔记(一)初识Hadoop

前言 研究生阶段将要接触大数据和深度学习的知识,在网上找的教程大多一上来就是一堆名词又解释不清楚,对新手相当不友好,在慕课网看到一个教程,利用博客记录下自己学习的过程。 hadoop介绍 关于hadoop 最好的介绍莫过于官网的文档,hadoop的官网如下, http://hadoop.apache.org 我们一句一句来看看hadoop官网是怎么介绍的。 The Apache™ Hadoop® ...

微信搜:import_bigdata,大数据领域硬核原创作者 866

Hadoop笔记整理

Hadoop 一. 引言 1.1 什么是大数据 大数据:(Big Data):数据量级很大的应用处理。TB级 ,日数据增长GB级 K -- M---- G ---- T ----PB ---- EB ---ZB 1024 通过对海量数据进行分析,挖掘,进而发现数据内在的规律,从而为企业或者国家创造价值。 1.2 大数据特点 4V 是大数据典型的特点具体指的是: # 1.Volume (大量) 数据量很大,至少是TB或者日均增加GB级 # 2.Variety (多样) a.结构化数据 :

m0_46168848的博客 964

3.Hadoop学习笔记.pdf

hadoop学习笔记,hadoop简介,适用于hadoop入门,讲解hadoop安装,使用,基本原理,大数据,分布式等概念

Hadoop权威指南学习笔记整理

Hadoop权威指南学习笔记整理

hiee467的专栏 774

RoboMaster电控入门:手把手教你用STM32CubeMX配置大疆C板CAN总线驱动GM6020电机

本文详细介绍了如何使用STM32CubeMX配置大疆C板CAN总线驱动GM6020电机,适用于RoboMaster电控入门。从硬件准备到CubeMX工程初始化,再到CAN过滤器配置和电机控制协议解析,手把手教你避开常见配置陷阱,实现精准控制。

weixin_42524762的博客 270

hadoop学习笔记.rar

hadoop学习笔记.rar

120

详解机器人标定

这里是机器人在取料之前,先把自己的角度补正到与 物料当前角度一致,到(X’,Y’)位置处,然后移动 CDx,Cdy,与物料位置也重合,然后去取料。可以使用实物标定,机器人抓住工件摆放9个位置,得到9个机械坐标,相机也得到9个像素坐标,(机器人每次需要回到固定位置拍照),然后标定。(X0,Y0)为旋转中心, (X1,Y1)及(X2,Y2)为工件在视野中旋转角度a的前后坐标,(Xt,Yt)为两点连线的延长。(rx0, ry0)为旋转中心,( x, y)为被旋转的点,(x0,y0)旋转后的点。

weixin_56819992的博客 7633

从CTF到实战:Frida Hook无导出SO函数的3种特殊姿势

本文深入探讨了在移动安全逆向工程中,如何利用Frida Hook无导出SO函数的三种高级技巧:字符串引用定位法、调用栈回溯法和内存特征码扫描。针对安卓So层加固和混淆场景,文章结合CTF赛题与实战案例,详细解析了每种方法的原理、实现步骤与适用场景,为安全研究人员提供了从理论到实践的完整解决方案。

jenkins8butler的博客 518

hadoop入门学习笔记

Map提供分散的功能,分散数据让服务器处理,reduce的功能是聚合,将分布式的处理结果汇总统计。

little_TianYe的博客 566

三相Vienna整流器过零点电流畸变?试试这个SVPWM调制波补偿技巧

本文针对三相Vienna整流器在电流过零点附近出现的电流畸变问题,提出了一种基于SVPWM调制波补偿的有效解决方案。该方法通过注入零序分量重构占空比,巧妙解决因拓扑约束导致的调制矛盾,在基本不增加计算复杂度的前提下,显著平滑电流波形,降低THD。

weixin_29212867的博客 115

zk hdfs hadoop yarn hive 学习笔记

zk hdfs hadoop yarn hive 学习笔记 如图 posted on 2018-08-12 21:04 大侠去哪儿 阅读(...) 评论(...) 编辑 收藏 var allowComments=true,cb_blogId=276464,cb...

weixin_30496751的博客 113

PyTorch生成式人工智能(25)——基于Transformer实现机器翻译

不同于循环神经网络 (RNN) 按顺序处理数据,Transformer 以并行的方式处理输入数据(例如句子)。这种并行处理提高了效率,但并未使其能够识别输入的顺序。为了解决这个问题,Transformer 向输入的词嵌入中添加了位置编码。这些位置编码是分配给输入序列中每个位置的独特向量,其维度与输入词嵌入对齐。本节将以英语到法语的翻译为例,通过介绍如何训练 Transformer 模型将英语句子转换为法语,深入理解 Transformer 的架构及自注意力机制的运作方式。

盼小辉丶的博客 2805

AI Agent智能体在Android开发中的应用

本文探讨了AIAgent(智能代理体)在Android开发中的应用,涵盖技术原理、实践案例与未来趋势。AIAgent通过机器学习、自然语言处理等技术实现代码生成、测试自动化及性能优化,显著提升开发效率。例如,强化学习模型可优化APP响应时间(公式:$\text{响应时间}=f(\text{负载},\text{资源})$),自动化测试覆盖率提升至95%。

郑伟强dev的专栏 126

Hadoop脚本——Hadoop实战初级部分学习笔记

4、Hadoop脚本 1、bin目录 hadoop:hadoop shell hadoop-config.sh  给hadoop的一些变量赋值 HADOOP_HOME、HADOOP_CONF等   hadoop-deamon.sh   call salves.sh   start-all.sh start-dfs sh start-

hdngbj的专栏 1444

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Hadoop初窥学习笔记

Hadoop核心组件 Hive 功能:用于将SQL语句转化为可执行的Hadoop任务,降低了使用门槛 Hbase 类型:存储结构化数据的分布式数据库 区别:放弃传统关系型数据库事务的特性,追求更高的扩展。并且提供对数据的随机读写和实时的访问,实现对表数据的读写功能 Zookeeper 功能:提供分布式一致性 HDFS 概念:Hadoop的文件系统,将所有文件以块的形式存储...

a2370889_com的博客 292

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Hadoop学习笔记—Yarn

Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数据平台的建设,在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记,由于时间关系,不打算去修改其中的错别字和排版问题,直接释出原始笔记。 一些基本知识 ResourceManager 的恢复 当ResourceManager 挂掉重启后,为了使之前的任务能够继续执行,而不是重新执行。势必需要yarn记录应用运行过程的状态。 运行状态可以存储在 ZooKeeper FileSyste

weixin_38166318的博客 342

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Hadoop学习笔记之HDFS架构

1 Master(NameNode/NN)  带 N个Slaves(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个Blockblocksize:128M130M ==&gt; 2个Block: 128M 和 2MNN:1)负责客户端请求的响应2)负责元数据(文件的名称、副本系数、Block存放的DN)的管理DN:1)存储用户的文件对应的数据块(Block)2)要定期向...

Archer9511的博客 491

Hadoop学习笔记1之模块和简单安装

后续更新Hadoop学习笔记,根据学习徐培成老师大数据课程整理一.Hadoop的四个模块(1)Hadoop common:              支持其他模块的工具模块(2)Hadoop Distributed File System (HDFS)              分布式文件系统,提供了对应用程序数据的高吞吐量访问。              进程:                 ...

寸先生的AI道路 290

Hadoop基础操作(学习笔记二)

Hadoop基础操作(学习笔记二) 去发现同类优质开源项目:https://gitcode.com/ 欢迎来到Hadoop基础操作的学习笔记第二部分。本笔记详细介绍了Hadoop集群的基本管理和操作步骤,适合初学者快速上手。以下是本文档涵盖的主要内容: 一、Hadoop集群基本信息查看 监控服务: 通过访问http://master:50070/,您可以监控HDFS的状态。 资源信息: 查看集群...

gitblog_06538的博客 364
上一篇: Kafka、RocketMQ、RabbitMQ的优劣势比较
下一篇: 冒泡、选择、折半排序
「已注销」
博客等级 码龄13年 194粉丝 106原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值