- 博客(5)
- 收藏
- 关注
RSS订阅原创 hadoop、zk、kafka命令集合
1 Hadoop命令1.1点单启动和关闭-- 可以将后面 namenode 换成 datanode,secondarynamenode,resourcemanager,nodemanager [atguigu@hadoop112 ~]$ hdfs --daemon start namenode[atguigu@hadoop112 ~]$ hdfs --daemon stop namenode1.2群起集群[atguigu@hadoop112 hadoop-3.1.3]$ ./sbin/stop
2022-03-07 17:13:20
216
原创 java基础语法
1.java种默认数据类型 ,及其初始值问题1.java中基本数据类型:(从小到大)byte-short-char-int-long-float-double 还有一个booleanjava中引用数据类型:数组 类 接口 注解 枚举java中默认数据类型:整数类型是int,浮点类型是double初始值问题:成员变量:都有初始值局部变量:基本数据类型无初始值,引用数据类型有初始值成员变量:都有初始值局部变量:基本数据类型无初始值,引用数据类型有初始值
2022-03-05 17:19:00
494
原创 Hive SQL 及 hive参数 优化
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是：减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数、Key打散）避免全表扫描（例如on添加加上分区等）减少job数（例如相同的on条件的join放在一起作为一个任务）1. 使用分区剪裁、列剪裁在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。select a.* from a left join
2021-12-29 16:21:34
836
原创 大数据面试题（二） 项目架构
第2章 项目架构2.1 提高自信云上数据仓库解决方案：https://www.aliyun.com/solution/datavexpo/datawarehouse2.2 数仓概念数据仓库的输入数据源和输出系统分别是什么？输入系统：埋点产生的用户行为数据、JavaEE后台产生的业务数据、个别公司有爬虫数据。输出系统：报表系统、用户画像系统、推荐系统2.3 系统数据流程设计2.4 框架版本选型1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力雄厚，有专业的运
2021-08-13 11:16:55
146
原创 Hive的SQL总结
本地模式: set hive.exec.mode.local.auto = true;DDL- 库创建数据库create database if not exists Demo1;过滤查询数据库show databases like 'D*'; 查看数据库-- 显示详细数据库desc database Demo1;-- 显示数据库show databases;删除空数据库drop database Demo1;强制删除数据库 cascadedro.
2021-06-22 14:01:43
416
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人