- 博客(16)
- 收藏
- 关注
RSS订阅原创 sbin和bin目录命令不可用
1.、etc/profile配置出错 2.、/etc/profile不可用 upset/etc/profile 先禁用 reboot 重启
2020-12-21 14:37:58
364
1原创 LOAP引擎：clickhouse06：简单介绍几个JSON函数
数据准备 create table tb_json(cont String) engine=Log; insert into tb_json values('{"movie":"1207","rate":"4","timeStamp":"978300719","uid":"1"}') ,('{"movie":"2028","rate":"5","timeStamp":"978301619","uid":"1"}') ,('{"movie":"531","rate":"4","timeStamp":"
2020-12-07 23:03:02
612
原创 LOAP引擎：clickhouse05： 漏斗函数的应用
部分数据 {"account":"l4d9TM","appId":"cn.doitedu.app1","appVersion":"2.0","carrier":"小米移动","deviceId":"KVlABkbMqqwn","deviceType":"REDMI-5","eventId":"adClick","ip":"180.62.91.180","latitude":25.213352855705107,"longitude":100.58718180057615,"netType":"WIFI"
2020-12-07 22:11:20
355
原创 LOAP引擎：clickhouse04： 特殊sql语句写法
1.with with (select count(1) from tb_user) as cnt select sum(age) / cnt from tb_user ; 2.array join create table tb_user4( id Int8, arr Array(String) ) engine=Log; insert into tb_user4 values(1,['yyy','jjj','www']),(2,Array('uuu','ooo')); s.
2020-12-07 00:38:22
160
原创 LOAP引擎：clickhouse03：文件的导入导出方式
1.文件导入方式 1.HDFS方式 代码如下： create table tb_user1( id Int8, name String ) engine = HDFS('hdfs://linux01:8020/user.csv','CSV'); ---HDFS('文件的地址',文件的格式) 2.文件引擎 文件以空格隔开时 1.建表 drop table tb_file; create table tb_file( id UInt8, name String )engine=File(
2020-12-07 00:26:17
623
原创 LOAP引擎：clickhouse02： 引擎及sql语法
**clickhouse 的sql语句要求很严格，区分大小写 建表数据类型： Int8 .... Int256 UInt8 UInt256 Float32 Float64 String Date DateTime 常用引擎 1.日志引擎 具有最小功能的轻量级引擎。当您需要快速写入许多小表（最多约100万行）并在以后整体读取它们时，该类型的引擎是最有效的。 1.Log引擎（数据分块） create table `tb_user`( id String , name String...
2020-12-04 22:24:57
293
原创 LOAP引擎：clickhouse 01： 介绍、安装及集群搭建
前言 ClickHouse是一个完全的列式数据库管理系统，允许在运行时创建表和数据库，加载数据和运行查询，而无需重新配置和重新启动服务器，支持线性扩展，简单方便，高可靠性，容错。它在大数据领域没有走 Hadoop 生态，而是采用 Local attached storage 作为存储，这样整个 IO 可能就没有 Hadoop 那一套的局限。它的系统在生产环境中可以应用到比较大的规模，因为它的线性扩展能力和可靠性保障能够原生支持 shard + replication 这种解决方案。它还提供了一些 SQL
2020-12-04 19:57:52
854
原创 hive07: hive中sql常用函数
1.case..when 数据 求出不同部门男女各多少人 王奔 A 男 娜娜 A 男 宋宋 B 男 凤姐 A 女 热巴 B 女 慧慧 B 女 建表并导入数据 create table tb_emp( name string, dname string, gender string ) row format delimited fields terminated by '\t'; load data local inp...
2020-12-03 23:40:14
748
原创 hive06: hive的排序方法
1.order by 全局排序 1,a 4,b 5,b 7,c 3,a 2,a 8,e 6,c create table tb_sort( id int, name string ) row format delimited fields terminated by ','; load data local inpath '/data/x' into table tb_sort; select * from tb_sort order by id; 全局排序，查询结果慢 2.dist.
2020-12-03 21:32:00
127
原创 hive01 . hive配置和安装
1.hive安装详细步骤 hive的安装 1 mysql数据 远程连接权限 1) mysql -uroot -proot （要把密码改为root 改密码方法： set password=PASSWORD ('root') ; ） 2) set global validate_password_policy=0; 3) set global validate_password_length=1; 这个两个设置以后 密码...
2020-12-01 19:33:26
234
原创 hive02. hive命令
1.常见的交互命令 [root@doit01hive]$ bin/hive -help usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify t...
2020-12-01 19:33:16
169
原创 hive03 .hive建表
1.建表语法 建表 create [external] table [if not exists] table_name [(col_name data_type [comment col_comment], ...)] [comment table_comment] [partitioned by (col_name data_type [comment col_comment], ...)] 分区 [clustered by (col_name, col_name, ...) 分桶 [sort
2020-12-01 19:32:14
142
原创 hive04 . hive数据导入和导出方式
1.指定location create table tb_log2( id int , name string ) row format delimited fields terminated by "," location '/data/log/' ; -- 指定了路径，路径的文件会被直接加载到table中 2.可以将结构化数据直接put到表目录中 mv到指定的目录 1.在网址http://linux01:9870中查到自己想要将数据传入的表格的位置 通常在/user/hive/wa.
2020-12-01 19:31:54
161
原创 hive05： hive的分区表及分桶表
目录 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集 1.静态分区 2.动态分区 3.修改分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集 1.静态分区 文件中存储的指定规则的数据 创建静态分区步骤： 1）前提有静态数据 2020112.
2020-12-01 19:30:29
189
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人