weixin_42842042的博客

原创 Scala学习笔记（1）

Scala中的类object默认是静态的 1.变量的定义 特点： 1可以自动推导数据类型， 2代码行末不需要";"， 3是强数据类型编程语言， 4使用val修饰的变量不可以更改变量的值，使用var修饰的变量可以变化 5建议使用val修饰变量，静态变量加载较快 6变量定义的时候需要赋值 2字符串的拼接 print(s"$j*$i"+"="+(i*j)+" ") 3数据类型 3.1数据类型分类 .Any是scala中所有类型的父类，类似于java的Object Any的子类分为AnyVal(数值类)和AnyR

原创 我的第一个maven的web项目

1.解压tomcat到指定路径 2.创建maven的web项目 2.1新建maven项目java22 2.2修改本地仓库 3在新建的项目java22中创建文件a.html,内容如下： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <h1&

原创 impala简介

这里写目录标题1 impala简介1.1特点1.2启动客户端命令1.3元数据1.4修改权限命令1.4.1开放hdfs用户超级管理员1.4.2将用户切换为hdfs超级管理员1.4.3修改权限1.4.4修改本地运行模式1.5外部参数1.6内部参数1.7基本语句1.8Hue页面1.9基本语法1.9.1数据类型1.9.2建库1.9.3建表1.9.4创建分区表1.10视图1.11DML语言1.12格式化数据1.13特殊的格式化数据Parquet 1 impala简介 impala是一种新型数据查询系统。能用SQL查询

原创 clickhouse 中JDBC代码

package jdbc; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import ru.yandex.clickhouse.ClickHouseDriver; /** * @author stjzstart * @create 2020-10-21 21:43 */ public class CHJ.

原创 clickhouse创建分布式引擎表

1.没有副本的分布式引擎表 1.1 修改文件/etc/clcikhouse-server/config.xml， <listen_host>::</listen_host> 115 <!-- Same for hosts with disabled ipv6: --> 116 <!-- <listen_host>0.0.0.0</listen_host> --> 117 118...

原创 click-house函数的使用

1.from表函数 1.1 hdfs 格式：hdfs(url,format,struct) 代码： select toInt32OrNull(id) , name , job from hdfs('hdfs://linux01:8020/doit18/user2.csv' ,'CSV','id String ,name String,job String'); 1.2 file 格式：file(path,format,struct) 代码： select * from fi

原创 click-house其他引擎

1.其他引擎 1.1memory 特点：数据不会写入到磁盘，重启机器以后表还在但是数据丢失 应用场景：测试代码段 代码： -- 创建一个Memory引擎的表 create table tb_memory(id Int8 , name String) engine = Memory ; -- 插入数据 insert into tb_memory values (1,'zss'),(2,'lss'),(3,'peiqi') ; -- 存储数据的文件夹中没有对应的表文件夹 -- 查看数据 selec

原创 ClickHouse MergeTree家族引擎

1.1ClickHouse MergeTree家族引擎特点： 1支持数据的更新 2支持数据的排序 3支持快速查询 4 支持建立索引 5支持数据分区 6 可以自动合并，去重，局部聚合 1.2代码解读 1.2.1代码基本格式 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],

原创 ClickHouse简介

olap定义： 完全列式存储的数据库管理系统， 可自己管理数据，读取mysql hdfs 网络 本地文件 例子：select * from mysql_tb_user join hive_tb_user 存储海量数据， 解决并发问题， 完全列式存储 olap适用场景：多维度不固定，运算不固定，及时 Hbase适用场景：单一维度 Hive适用场景：固定多维度 olap优点： 1及时返回结果； 原因：1 用C语言写的 2 利用c语言和硬件的交互优势，更好读写数据 3 方便实时数据结构管理数

原创 hive优化

1 查询的时候不要写*，不要生成笛卡尔积 2 hive中的文件格式尽量用列式存储，如 ORC parquet 3使用分区表，可设置二级分区 4使用分桶表 5合理设置reduce个数 6 不要使用压缩文件 7测试代码逻辑，本地运行模式，set mapreduce.framework.name=local 8join:map端的join，小表join大表 9不要用Count(Distinct)函数 10 关闭严格模式 11 SQL优化 ...

原创 Doit学习笔记DAY07

原创 Doit学习笔记DAY05和DAY06

原创 Doit学习打卡DAY04

原创 Doit学习打卡DAY03

原创 DOIT学习打卡DAY02

在这里插入图片描述 List item

原创 DOIT学习打卡day01

DOIT学习打卡day01