小丑八怪的博客

一、集合数据类型在hive中的数据类型 ：int bigint double string timestampstruct 结构体 类似于java对象array 数组map 键值对{“name”: “songsong”,“friends”: [“bingbing” , “lili”] ,“children”: {“xiao song”: 18 ,“xiaoxiao song”: 14},“address”: {“street”: “hui long guan”

case when 和聚合函数表格内容如下：zs A 男ls A 男ss B 男fj A 女rb B 女hh B 女需求 结果如下；+--------+----+----+| dname | m | f |+--------+----+----+| A | 2 | 1 || B | 1 | 2 |+--------+----+----+--创建表create table tb_emp(name string ,dname string

1 导出数据方式1.1export tb_name to HDFS_PATH1.2如果数据是普通的文本数据 在shell客户端使用get下载数据hdfs dfs -get /tb_name/filehive端： hive> dfs -get /文件 1.3不开启hive终端 执行SQL语句 hive -e "use dafault; select * from tb_user "; hive -e "select * from tb_user " >&g

1 内部表和外部表在hive中的表分两种1)外部表 external2)内部表 默认的 也称管理表 managertable区别详解：先创建一个表create table tb_log(id int,name string，age int,gender string)row format delimited fields terminated by ‘,’location ‘hdfs://linux01:8020/data/log/’创建一个表(管理表)c

一、HIVE的安装（Linux）1 、mysql数据 远程连接权限mysql -uroot -p 输入密码set global validate_password_policy=0;set global validate_password_length=1; 这个两个设置以后 密码很简单不会报错4） ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘root’; 把修改密码为root5）grant all privileg

hbase中的数据怎么实现修改hbase中的数据存储在hdfs中，而hdfs中的数据是不支持修改的，那hbase中的put、delete操作是怎么实现的呢？如上图，客户端进行删除操作时，会往hdfs中的hfile文件中追加数据，数据中会记录用户的操作delete，为墓碑标记(标记着数据要删除)，在下次获取该数据时，会发现有两个该数据，其中一条有墓碑标记，则不会返回客户端数据。之后会将原来的数据和用户删除后生成的记录合并生成一个新的hfile文件。和hdfs不支持数据修改的时不相违背的，hba

Hbase读写数据流程提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Hbase读写数据流程前言写数据流程读数据流程前言学习大数据过程中记下的一些笔记提示：以下是本篇文章正文内容，下面案例可供参考写数据流程写数据流程(put为例)1、客户端请求Zookeeper插入数据put ‘a’,‘rk001’,‘cf:age’,‘21’

1 静态数据如下 uid001,zss,23,F uid002,lss,13,M uid003,ww,22,M uid004,zl,34,F uid005,tq,43,M uid006,wb,55,F uid007,sj,98,M 2 在hbase中创建一张表create 'tb_imp' ,'info'3 根据数据 生成hbase文件#info:列族名 name:属性 imp:表名 /tsv/input：输入路径 /tsv/output：输出路径hbase org.

封装一个Hbase工具类public class HbaseUtils { /** * 获取数据 * @param result 行数据 */ public static void showData(Result result){ while (result.advance()){ Cell cell = result.current(); String row = Bytes.toString(

HbaseUtilspackage com.doit.Utils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.Admin;import org.apache.hadoop.hbase.client

wordcount为例以MR程序的WC为例 如果处理的数据只有四个单词 a b c da 和 c 出现的次数特别多(a/c.hashCode%2=1)–>分区 1 多b 和 d 出现的次数很少 (b/d.hashCode%2=0) -->分区0 少a c -->reduce1 a: iterator<1,1,1,1,1,1,1,1,1,1,1,1,1,1> 时间久(排序 内存)b d -->reduce0 b: iterator<1,1&

order.txt :order011,u001order012,u001order033,u005order034,u002order055,u003order066,u004user.txt:u001,senge,18,male,angelababyu002,ss,58,male,ruhuau003,shuaishuai,16,female,chungeu004,laoyang,28,female,zenggeu005,nana,24,female,huangbou006,d

文件：A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,L… …一、/** * A:B,C,D,F,E,O * B:A,C,E,K * 好友列表作为k：B-->A C-->A D-->A * A-->B C-->B E-->B * 将matask端的value（本人）添加到list集合 集合中任意两人的共同好友即为maptask的key * 再写一个MR聚合

{“movie”:“1193”,“rate”:“5”,“timeStamp”:“978300760”,“uid”:“1”}{“movie”:“661”,“rate”:“3”,“timeStamp”:“978302109”,“uid”:“1”}{“movie”:“914”,“rate”:“3”,“timeStamp”:“978301968”,“uid”:“1”}{“movie”:“3408”,“rate”:“4”,“timeStamp”:“978300275”,“uid”:“1”}… …定义一个Mo

HADOOP的JAVA客户端1 配置Maven仓库修改settings.xml<localRepository>D:\my_repository\repository</localRepository><mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexu

HDFS安装部署1 上传hadoop安装包链接：https://pan.baidu.com/s/1Fk7_ZsEENrolML_8VQuPoQ提取码：g22p复制这段内容后打开百度网盘手机App，操作更方便哦cd /opt/apps rz2 解压tar -zxvf hadoop-3.1.1.tar.gz3 配置vi /opt/apps/hadoop-3.1.1/etc/hadoop/hadoop-env.shexport JAVA_HOME=/opt/apps/jdk1

1、路径绝对路径：带盘符的相对路径：相对于当前目录 ./ 当前目录 ./a.txt ./b.doc ../ 上级目录2、基本命令2.1 lsls ls ./ 查看当前目录下的文件ls -l ll 查看当前目录下的文件详细信息ls / 查看根目录下的文件2.2 cdcd /bin/ 切到根目录下的bin目录cd ../ 切到上级目录cd ~ 切到用户的目录cd -

1、解压压缩命令tar -zcvf 1.txttar -zcvf my.tar.gz 1.txt 2.txt 打包压缩tar -zxvf my.tar.gz 解压tar -zxvf my.tar.gz -C /root/aa 解压到指定目录 -z .gzip压缩格式 -c 压缩 -x 解压 -v 显示进度 -f 必选 紧跟打包压缩的文件名2、JAVA_HOME配置1、上传jdk-8u141-linux-x64.tar.gz压缩文件 2、解压3、配置 vi /