RZH_long的博客

1.fetch抓取 select * from A;这种语句可以直接读取文件，不走MR程序会快很多； 不走MR程序的情况： 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。 设置conversion参数后再执行sql: hive (default)> set hive.fetch.task.

行存储的特点：查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。 列存储的特点：因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。 TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的； ORC和PARQUET是基于列式存储的（实际生产一般用这两种和sn...

压缩格式jar包目录一览表 压缩格式 对应的编码/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache.hadoop.io.compress.GzipCodec bzip2 org.apache.hadoop.io.compress.BZip2Codec

maven导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories> <dependencies> ...

select的语法概述(掌握每个关键字的含义和使用): SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list [HAVING condition]] [CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list] ] ...

--------------------------------------------数据导入-------------------------------------------------- 1.直接向分区表中插入数据（强烈不推荐使用，会调用MR程序，非常慢） insert into table score3 partition(month ='201807')values ('001','002','100'); 2.通过load方式加载数据 load data local inpath .

-----------------------------创建数据库表语法(熟悉关键字)----------------------------------------- CREATE [EXTERNAL] TABLE[IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY(col_name data_t...

--------------------------------------hive的交互:-------------------------------------------------- 1.Hive交互shell(不常用) cd/export/servers/hive-1.1.0-cdh5.14.0 bin/hive 2.第二种交互方式：Hive JDBC服务（一般后台启动输出日志到文件，常用） 启动服务端，客户端进行连接。 前台启动 cd /export/servers/hi..

1、解压hive cd /export/softwares tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/ 直接启动bin/hive cd ../servers/ cd hive-1.1.0-cdh5.14.0/ bin/hive hive> create database mytest; 缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一； 使用mysql共享hive元数据..

package com.cn.demo_groupTopN; import org.apache.hadoop.io.WritableComparable; import org.apache.hadoop.io.WritableComparator; /** * 继承WritableComparator类，重写compare 方法 相同的订单ID认为相同 */ public class MyGroupCompactor extends WritableComparator { /*.

package com.cn.demo_outputformat; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hado.

package com.cn.demo_xwjhb; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.BytesWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.mapreduce.InputSplit; import org.apache.hadoop.mapreduce.JobContext; import org.apa.

------------------------------------reduce端join------------------------------- package demo06.reducejoin; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Map.

文件压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输 在重新编译过hadoop的c源码后才可以用谷歌的snappy压缩。 我们可以使用bin/hadoop checknative 来查看我们编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包 //查看压缩支持情况 bin/hadoop checknative //在线安装 yum install openssl-devel 这种压缩对应的java类 压缩格式 ...

package demo04.flow; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner; /** * 分区继承于这个类，重写getPartition方法返回数字根据数字分到各个reduce,此处传入的是K2,V2 */ public class FlowPartion extends Partitioner<Text, FlowNum> { @Override .

package demo05.flowOrder; import demo04.flow.FlowNum; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * 排序和序列化要实现WritableComparable这个接口,重写compareTo和write，readFields方法.

import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * 序列化和比较： * 序列化实现:Writable * 比较实现:Comparable * 既序列化又比较实现:WritableComparable 后面要加泛型 */ public class SortWritable i.

package com.a.b.partion_demo; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner; public class MyPartioner extends Partitioner<Text,NullWritable> { @Override public in.

连接zk: bin目录下执行脚本zkCli.sh quit退出; ------------------------------------------------------------------------------------ 创建节点： create [-s] [-e] path data acl -s : -e : create /abc helloworld 创建一个永久节点， create -s /bbb helloworld 创建永久的顺序节点 create -e /m

关于apache相关软件的安装包：a'paparchive.apache.org/dist/ 1.解压安装包: tar -zxvf 压缩包 -C 目标路径 2.创建目录：mkdir -p /export/servers/zookeeper-3.4.9/zkdatas 3.拷贝配置文件： cp zoo_sample.cfg zoo.cfg 4.修改拷贝过来的配置文件zoo.cfg： #服务目录 dataDir=/export/servers/zookeeper-3.4.9/zkdatas #客

前提是 windows上host(域名解析文件)文件配置完成。C:\Windows\System32\drivers\etc 各台linux服务器和本机能互通。 虚拟机zookeeper集权搭建完成并启动。 package cn.itcast_zk.demo01; import org.apache.curator.RetryPolicy; import org.apache.curator.RetrySleeper; import org.apache.curator.framework.Curat.

zookepper的学习 1.zk的介绍：一个分布式的服务协调框架 主要用于协调辅助其他的框架正常运行， 主要解决应用系统当中的一致性问题 zk本质上是一个分布式的小文件存储系统：zk上面的每个文件最好不要超过1M 分布式：每台机器看到的数据都是一样的 2.zk的主要作用 2.1 统一命名服务。 2.2.分布式配置管理 3.zk的架构图 主从架构：主节点是任务分配的节点，一般1-2个。从节点是执行任务的节点。 主备架构：解决主节点单一故障的问题。主节点挂了，选一个从节点当主节点。

ls: -R 递归枚举 Usage:hdfs dfs -ls [-R] <args> mkdir: -P 创建父目录和子目录 Usage:hdfs dfs -mkdir [-p] <paths> moveFromLocal:从本地剪切文件到hdfs 注意大小写 Usage:hdfs dfs -moveFromLocal <localsrc> <dst> moveToLocal :从hdfs移动到系统，此命令还不支持 Usage:hdf...

apache版本的hadoop三种运行环境的介绍 1.standAlone：单机版的hadoop运行环境，所有都跑在一台环境上 2.伪分布式：主节点都在一台机器上，从节点分开到其他机器上，借助3台机器实现 3.完全分布式：主节点全部分散到不通的机器上 namenode active 占用一台机器 namenodestandBy占用一台机器 resourceManager active 占用一台机器 resoureceManagerstandby 占用一台机器 standAlone环境的h

----------------------------------主程序入口---------------------------------- package com.demo01.wordcount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.I.

package com.cn.demo01; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.junit.Test; import java.io.*; import jav.