chaohui2638457321的博客

一、将MySQL数据导入到hdfs 1.在hdfs创建文件夹存放数据 hdfs dfs -mkdir -p /data/base　　#用于存放数据 2.我们cd到sqoop目录下执行命令 drop table if exists default.hive_zhaopin_snappy ;　　#如果存在就先删除 create table default.hive_zhaopin_snappy( id int, jobname string, salarylevel string ) ROW FO

Hive 将库和表的元数据(metadata)存储在关系型数据库(MySQL) 将表的内容数据(data)存储在HDFS 通过命令行终端(hive)或者使用JDBC服务(hiveserver2)连接Hive集群，将HQL提交到集群通过MapReduce运行 SparkSQL 将库和表的元数据(metadata)存储在关系型数据库(MySQL) 将表的内容数据(data)存储在HDFS 通过命令行终端(spark-sql)或者使用JDBC服务(thrif

package com.zch.spark.sql.exercise import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} /** * Author: zhaoHui * Date: 2021/12/20 * Time: 16:21 * Description: */ object SparkSQL_Exercise_Demo04 { def.

对于df结构的理解 1、DataFrame = Dataset[Row] DataFrame 在Spark1.6之后就没有单独保存此类，其实是装有Row对象的Dataset Dataset的创建一般会将 Row 封装为一个案例类 而虽然移除了DataFrame这个类，但是还是依旧保存这个方法，是因为它的创建方式灵活， 增加或者删除某个字段时操作方便，而Dataset需要增删某一个字段时，则需要根据需求 创建新的Row对象，程序性能较差 2、Row Row是一个特质，D.

1、是什么 SparkSQL是Spark的一个模块，用于处理结构化数据，提供了新的数据抽象DataFrame和Dataset 特点 兼容性 可以在同一个Spark任务中混合使用SQL处理和算子编程， SparkSQL中RDD可以进行算子编程，DF和DS可以支持SQL操作，RDD、DF、DS之间可以互相转换。 统一的数据访问 SparkSQL可以使用相同的API访问各种常见的数据源 文本格式: text csv json 列式存储: parquet orc

Hive的核心原理 外部表和管理表(内部表) 区别 创建时 外部表需要添加external 删除时 管理表会删除元数据(mysql)和表的内容数据(HDFS) 外部表仅仅删除元数据(mysql) 表的分区 -- 创建表t_weblog create external table db_test01.t_weblog(line string); ​ -- 创建外部表读取已经存储在HDFS的文件 create external table t_weblog_03 (str string) loc

Hive的函数 Hive的内建函数 -- 列出所有可用的函数 show functions; ​ -- 查看某个函数的用法 desc function substr; ​ -- 查看函数的详细用法(包含案例) desc function extended substr;CO 函数的学习方法 官方文档 LanguageManual UDF - Apache Hive - Apache Software Foundation 日期相关和String相关的函数 每个至少操作一

Hive操作 Hive作为Hadoop生态的数据仓库工具，支持类似SQL的结构化查询语句，与标准SQL不同的是，HiveSQL支持更多的函数，用于海量数据的处理 数据库与数据仓库 对比 数据库 数据仓库 数据湖 数据量 MB、GB GB PB TB GB TB PB 数据种类 结构化数据 关系型数据、K-V数据 关系型结构化数据 结构化、半结构化、非结构化 实现方式 MySQL Oracle Hive Spar

安装Hive 1、上传解压 上传 apache-hive-2.3.9-bin.tar.gz 到 /opt/ 解压压缩包： [root@zhaohui01 opt]# tar zxvf apache-hive-2.3.9-bin.tar.gz 2、修改配置文件 修改hive-env.sh.template 文件为 hive-env.sh 在 hive-env.sh 添加如下环境变量 HADOOP_HOME=/opt/hadoop-2.7.7 HIVE_CONF_DIR=/op

Hive是Hadoop生态的数据仓库工具 Hive将存储在HDFS上的文件映射为关系表 通过解析开发者提交的SQL语句，将SQL转换成MR任务，提交到Hadoop执行 Hive提供了命令行客户端和JDBC

1. date_format 格式化日期 用法：date_format(date,格式) 1 2 3 42. date_add, date_sub 日期的加减 用法： date_add(date,number) number为正数则加，为负数则减 date_sub(date,number) number为正数则减，为负数则加 1 2 3 案例： --今天开始90天以后的日期 hive >select date_add('2021-03-01 11:20:00', 90); _c0 2021-05-3

1. 字符 ascii 码函数:ascii 语法: ascii(string str) 返回值: int 说明:返回字符串 str 中第一个字符的ascii 码 举例: hive> select ascii('ba') from test; OK 98 2. base64 字符串 语法: base64(binary bin) 返回值: string 说明:返回二进制 bin 的 base 编码字符串 举例: hive> select base64(binary('tes

需求 1、写sparkSQL语句 package com.zch.spark.sql.exercise ​ import org.apache.spark.sql.SparkSession ​ /** * Author: zhaoHui * Date: 2021/12/24 * Time: 15:39 * Description: 1、使用SparkSQL在hive创建表 * 2、使用SparkSQL关联Hive查询数据 * 3、将查询出来的数据保存到新的表中 */ object