20180531早课记录22-Hive

最新推荐文章于 2018-06-11 13:37:21 发布
原创 最新推荐文章于 2018-06-11 13:37:21 发布 · 163 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #Hive

本文介绍了Hive数据仓库的基本概念，包括其默认使用的数据库、元数据及数据存储位置，SQL语法特点，底层计算引擎的选择，并探讨了使用MySQL作为元数据存储时的注意事项。
1.hive是什么?

基于Hadoop的一个数据仓库工具

2.hive的默认使用什么数据库?生产上我们一般用什么?

默认使用derby
生产使用MySQL

3.hive的元数据存储在哪? 数据存储在哪?

MySQL HDFS

4.hive的SQL语法和什么类似

和MySQL语法类似

5.hive底层执行计算引擎是什么

MapReduce/tez/spark

6.hive使用mysql做元数据存储，那么部署过程中，注意什么

注意mysql的高可用

7.接上题，配置文件里要哪些参数

url，username，pwd，driver

8.提醒大家，我上课是Apache，若泽是cdh的，其实都是一样的。
gt-scheduler:GT排程器
05-04
3. 条件筛选：在生成的组合中，系统会依据用户的限制条件（如避免早课、特定时间段不可用等）进行过滤。 4. 优化评分：对剩余的时间表进行打分，可能基于课程间的间隔时间、连续上课时长等因素，以评估每个时间表的...
Cad实习报告总结3000字-.docx
06-27
同时，实习报告应详细记录设计的步骤与过程中遇到的问题及解决办法。 4. 与绘图员的沟通 实习生应该学会如何与绘图员进行有效的沟通，尤其是关于专业操作技巧的心得交流，这对于快速提升个人的专业技能非常有帮助...
20180607早课记录26-Hive
MySQL技术
06-07 137
1.hive哪些sql会触发mr job 带聚合函数,某些insert,还有create table as select 2.create table t as select …这样的SQL会不会创建mrjob 会 3.hive的数据分为哪两块 分别存储哪里 元数据和真实数据,分别存储在mysql,hdfs中 4.一般工作中，udf编写是很多的，那么怎样临时生效，永久生效?...
20180604早课记录24-Hive
MySQL技术
06-07 175
1. hive数据分为哪两块?分别存储在哪? 元数据和数据本身； mysql等关系型数据库 和 hdfs 2. hive的建表SQL语句你们觉得里有哪些内容?（不光光是字段的定义） 定义分区，分隔字符，内外表之分 3. 默认的换行符和分割符是什么? /t /r 4. 加载数据或本地数据到hive表或者覆盖hive表，语法是什么? LOAD DATA LOCAL INP...
20180516早课记录11-Linux
MySQL技术
05-16 161
1.MySQL二进制编译部署时，我们是创建一个用户mysqladmin，怎样将/usr/local/mysql目录设置为家目录 useradd -u 514 -g dba -G root -d /usr/local/mysql mysqladmin 2.哪几种方法让新的家目录有.bash_profile文件?（跳跃思维） cp /etc/skel/.* /usr/local/mysql ...
20180518早课记录13-MySQL
MySQL技术
05-18 150
1.join哪几种 left join right join inner join 2.left join是哪个表数据最全 左表 3.分组函数有哪些 group by 4.分组语法是什么?要注意什么 group by column 查询列要放到group by里面，函数除外 5.分组时，过滤的语法 having 6.排序语法，默认是降序? 不是 默认...
20180507早课记录04-Linux
weixin_34137799的博客
05-09 93
1.读写执 英文字母是什么，数字分别多少 rwx 421 2.rwxr--r-x 数字多少 745 3.上题的第一组，第二组，第三组，分别表示哪种用户可以有权限的 拥有者用户 此用户组 其他用户 4.修改用户和用户组的命令是什么? 文件夹的需要加什么参数 chown -R 5.修改权限的命令，和对文件夹是 加什么参数 chmod -R 6.vi哪三种模式 命令模式编辑模式尾行模式 7.vi的 ...
20180611早课记录28-Sqoop
MySQL技术
06-11 193
1.sqoop是什么? 主要用于在Hadoop与RDBMS间进行数据的传递 2.sqoop分为哪两个分支，各最新版本是什么? sqoop1：1.4.7 sqoop2：1.99.7 3.在工作中我们用的最多的是sqoop1，那么导入和导出，谁给谁的 导入是RDBMS到Hadoop 导出是Hadoop到RDBMS 4.假如输入一个命令找不到not found，你们觉得该怎么...
20180608早课记录27-Linux
weixin_34348805的博客
06-08 103
1.pwd是什么 显示当前所在的绝对路径 2.绝对路径和相对路径是什么区别 绝对路径是从/目录开始相对路径是相对于现在目前所在的位置 3.切换到上一次命令 cd - 4.切换到上一层命令 cd .. 5.切换到家目录哪些命令 cd cd ~ 6.创建一个文件，你觉得哪些命令可以 vi或vimtouch其他重定向 7.创建文件夹的命令和级联创建参数是什么 mkdir -p 8.查看命令帮助，我们...
20180605早课记录25-Linux
weixin_33868027的博客
06-07 105
1.vi，清空文件内容，然后从window记事本拷贝内容去Linux文件里，哪些命令?注意点是什么? 命令行模式下输入gg + dG清空文件 注意要在编辑模式复制，如果在命令模式复制，会丢失前几行 2.执行一个命令，说not found，那么你们觉得该怎么办 首先看看命令有没有打错 然后检查环境变量或者find下 实在没有在进行安装 3.我们执行命令是从哪个环境变量里找的? PATH 4.判断一个...
20180530早课记录21-Linux
weixin_34306676的博客
05-30 103
1.tar解压什么问题 用户用户组 2.搜寻xxx命令是什么 find / -name xxx 3.我们执行命令，其实去哪个变量去找 PATH 4.说说大R的参数命令 chown chmod 5.说说小r参数 cp rm ls 6.哪些方式创建文件 vi touch echo等重定向 7.清空一个文件内容的方法哪些? vi gg dGecho "" > xxxcat /dev/null ...
真香！_耳聆网_[声音ID：36415]-1.wav
03-13
真香！_耳聆网_[声音ID：36415]-1.wav
print("早课")这一行前面的空格怎么打啊
最新发布
11-11
> `print("早课")` 这一行前面的空格怎么打啊？ 这是一个非常好的问题，涉及到 Python 中一个非常重要的概念：**缩进（Indentation）**。 --- ### ✅ 回答： 在 Python 中，`print("早课")` 前面的“空格”不是...
Hadoop用户配置ssh免密登录
MySQL技术
05-17 3899
一般生产环境 Hadoop组件都是由hadoop用户来启动，首先需要配置hadoop用户ssh免密登录 1.创建Hadoop用户 [root@hadoop000 ~]# useradd hadoop [root@hadoop000 ~]# id hadoop uid=1102(hadoop) gid=1102(hadoop) groups=1102(hadoop) [root@hado...
Hadoop jps正确使用流程及报错处理
MySQL技术
05-19 2107
简介： jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 详细参数请参考：https://www.cnblogs.com/toSeeMyDream/p/5747412.html *注：*jps命令有个地...
Hadoop用户重新部署HDFS
MySQL技术
05-19 521
前言： 在这篇文章中https://www.jianshu.com/p/eeae2f37a48c 我们使用的是root用户来部署的，在生产环境中，一般某个组件是由某个用户来启动的，本篇文章介绍下怎样用hadoop用户来重新部署伪分布式(HDFS) 1.前期准备 创建hadoop用户，及配置ssh免密登录 参考：https://www.jianshu.com/p/589bb4...
【Hadoop】YARN伪分布式部署和MapReduce案例
MySQL技术
05-19 460
前言： 前几篇文章 我们介绍了HDFS组件的配置及启动，Yarn是Hadoop集群的资源与作业调度平台，下面介绍下Yarn的伪分布部署及MapReduce简单使用。 1.配置文件及启动 [hadoop@hadoop000 hadoop]$ pwd /opt/software/hadoop-2.8.1/etc/hadoop [hadoop@hadoop000 hadoop]$ cp m...
Hadoop伪分布式部署(HDFS)
MySQL技术
05-17 327
环境要求：java、ssh 1.上传并解压tar包 [root@hadoop000 software]# rz #上传hadoop-2.8.1.tar.gz [root@hadoop000 software]# tar -xzvf hadoop-2.8.1.tar.gz 2.配置环境变量 [root@hadoop000 software]# vi /etc/profile...
【Hadoop】Hadoop2.8编译
MySQL技术
05-16 218
Hadoop编译步骤： 1.解压Hadoop源码包 [root@hadoop000 ~]# mkdir -p /opt/sourcecode [root@hadoop000 ~]# mkdir -p /opt/software [root@hadoop000 sourcecode]# cd /opt/sourcecode # 将hadoop-2.8.1-src.tar.gz下载（或者用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值