大数据工程师之SQL&HSQL&SPARK算子练习

最新推荐文章于 2024-05-23 19:17:58 发布
原创 最新推荐文章于 2024-05-23 19:17:58 发布 · 409 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sql #hive #spark

本文为大数据开发工程师提供了一套综合练习，涵盖SQL（MySQL）、HIVE和SPARK的题目及解答。通过这三个语言的实践，你可以检验自己在大数据处理方面的能力。包含建表SQL、数据导入HIVE以及相关资源的百度云链接。欢迎在评论区交流和完善。

目录

写在前面

       作为一名合格的大数据开发工程师，SQL&HSQL&SPARK算子,对于我们来说如同吃饭喝水的东西，想到即可实现、信手拈来；这里提供一套习题，可以用这三种语言同时练习一遍，如果这三种都可以很顺利的完成，那么恭喜你，在这方面你已经勉强合格了！(如果觉得写的还不够过瘾，那就再用scala搓一遍)

       表不多，数据也不多，主要是给大家一个达到训练的目的！

SQL部分（MySQL）

  • 下图为表关系
    在这里插入图片描述
建表sql+答案提取： 百度云链接
提取码：7xnq

HIVE部分（MySQL）

这里提供的是建表语句，还有通过sqoop从mysql将数据导入至hive对应的表中；

建表sql+sqoop导数据脚本+答案提取：
最低0.47元/天 解锁文章
大数据面试SQL题-笔记01【运算符、条件查询、语法顺序、表连接】
upward
07-15 1755
大数据面试SQL题-笔记01【运算符、条件查询、语法顺序、表连接】
8.sql和hsql以及flink-sql总结
04-03 1954
文章目录1. SQL1.1. 初始化操作1.2. 数据定义语言DDL（==Data Definition Language==）1.3. 数据操纵语言DML（==Data Manipulation Language==）1.4. 数据查询语言DQL（==Data Query Language==）1.5. 数据控制语言DCL（==Data Control Language==）2. HQL3. F...
hsql例题
sghuu的博客
11-14 377
关于字符串转换成日期格式的函数： select from_unixtime(unix_timestamp('2015/01/01' ,'yyyy/MM/dd'), 'yyyy-MM-dd') ; 2019-01-01 建表语句： drop table action if exists ; create table action( id string , vd string, vc int...
牛客题霸-SQL篇——10~20题
dearQiHao的博客
06-08 815
目录+ SQ11:获取所有员工当前的manager描述实例代码: + SQ11:获取所有员工当前的manager 描述 有一个员工表dept_emp简况如下: 第一行表示为员工编号为10001的部门是d001部门。 有一个部门经理表dept_manager简况如下: 第一行表示为d001部门的经理是编号为10002的员工。 获取所有的员工和员工对应的经理，如果员工本身是经理的话则不显示，以上例子如下: 实例代码: select d.emp_no,m.emp_no manager from de
大数据——Scala算子练习题
热门推荐
Vicky_Tang
07-21 1万+
package cn.kgc.praitce import java.io.File import scala.collection.mutable import scala.io.Source object Test { def main(args: Array[String]): Unit = { //各表数据 val course = Source.fromFile(new File("file/course.txt")) .getLines().map(...
Hsql每日一题 | day01
最新发布
很开心你能来~
05-23 667
hsql 习题--找出连续活跃3天及以上的用户
hsql数据库（HyperSQL ）（简单了解一下）
一个后端菜鸟的博客
04-24 2931
HSQLDB 的2.0版本有三个事务控制模式。它支持读取未提交内容和可串行化隔离级别，支持表级锁或多版本并发控制(MVCC)，或者锁和MVCC结合。早期的版本是基于中断的HypersonicSQL数据库引擎。(Hyper SQL Database)是一个用Java编写的关系数据库管理系统，轻量级数据库，免费的，可以嵌入式，也可以在内存中使用，还可以在当做服务使用，不过我倒是还没实战过。干我忘记我从哪第一次看到的这个数据库了。，是按照标准SQL和JDBC 4的规范编写的。本文展示的也是2.0的版本，
【小贪】数据库常用：MySQL, HQL, Spark SQL对比及常用语法
打瞌睡_的博客
04-08 1058
近期致力于总结科研或者工作中用到的主要技术栈，从技术原理到常用语法，这次查缺补漏当作我的小百科。以下整理错误或者缺少的部分欢迎指正！！！
大数据基础：HQL 入门必练50题_1
程序员小菜鸡Cjp的博客
06-03 500
Hive sql入门必练50题
spark sql 执行hql
sunlang的博客
05-27 786
在shell脚本中，hql使用 $hive -e "$sql" 这里将hive的mr替换为spark 前提条件，配置好spark on hive 将$hive 替换为$spark-sql就可以了 如果遇到小文件过多的问题，在sql中设置set spark.sql.shuffle.partitions=100; ...
SparkSQL 入门简介
猫君之上的博客
04-29 538
1.SparkSQL概述 SparkSQL的前身是Shark，它的底层依赖于Hive，因此其发展受制于Hive的发展，后来项目组将Shark废弃，保留了其中非常优秀的特点：比如内存存储技术，动态字节码技术等，重新组织了一个项目，这个项目就是SparkSQL，通过Spark去操作Hive，即Spark-on-Hive,同时在hive里面也推出了一个子模块，是hive的计算引擎基于spark，即hiv...
spark三种连接join
weixin_30474613的博客
11-03 276
本文主要介绍spark join相关操作。 讲述spark连接相关的三个方法join，left-outer-join，right-outer-join，在这之前，我们用hiveSQL先跑出了结果以方便进行对比。 我们以实例来进行说明。我的实现步骤记录如下。 1、数据准备 2、HSQL描述 3、Spark描述 1、数据准备 我们准备两张Hive表，分别是orders（订单表...
Spark SQL 算子详解
zholeiv5
11-05 1206
1、.show() show(numRows: Int) -- 显示numRows条 show(truncate: Boolean) -- 是否最多只显示20个字符，默认为true show(numRows: Int, truncate: Boolean) --综合前面的显示记录条数，以及对过长字符串的显示格式 2、first, head, take, takeAsList：获取若干行记录 这里列出的四个方法比较类似，其中 　　（1）first获取第一行记录 　　（2）head获取第
**HQL经典练习50题之(二)**
FzzF-李玉龙的博客
12-27 929
26、查询每门课程被选修的学生数: select course_id,count(stu_id) from t_score group by course_id ; 运行结果: 1 6 2 6 3 6 27、查询出只有两门课程的全部学生的学号和姓名: select a.*,count(a.stu_id) from t_stu_info a join t_score b on a.stu_id...
HSql练习题
cxfxsl的博客
12-04 2017
小的练习，都包含一个知识点： --试题一： --如表一所示，请用sql语句统计出各分行下的客户余额排名情况，所统计的结果展现形式为： --Rank_cd 排名 Org_name 所属分行 Cust_id 客户号 Current_bal 当前余额 --客户余额计算口径：客户所有账户余额的总和（一个客户可能有多个账户）。 --数据输入 Rank_cd Org_name Cust_id Current_bal （排名） （所属分行）
6-大数据-hql执行流程
yaoyelinger0912的博客
07-13 401
通过命令行或者客户端提交，经过compiler编译器，运用MetaStore中的元数据进行类型检测和语法分析，生成一个逻辑方案，通过优化处理，产生一个MapReduce任务 所有的命令和查询都会进入到driver(驱动模块)，通过该模块 对输入进行解析编译，对需求的计算进行优化，然后按照指定 的步骤执行(通常是启动多个MapReduce任务(job)来执行)。 当需要启动job时，hive本身不会...
什么是AI算子开发
AI与算法都要通俗易懂
11-08 4047
这是因为x86的架构和指令集并没有针对卷积这一算法做特殊的指令设计，因此我们要想实现这个功能，基本上也只能根据卷积的运算逻辑，来一层层的循环遍历完成。因此，在AI芯片上，一个卷积的运算实现，可能就用一条指令，就可以完成很多个数据的乘累加操作，不需要再像上面的代码一样，写那么多循环来遍历卷积核。虽然这几年市场冷静了一些，但不可否认的是，搞算法依然是香饽饽，而与算法相关的岗位中，有一个独特的存在，那就是AI 算子开发工程师。其实算子开发岗位，与算法岗位有相似之处，但又不是纯算法，还需要和硬件、芯片打交道。
MySql经典50道SQL练习题
weixin_55076626的博客
10-05 2286
SId 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别CId 课程编号,Cname 课程名称,TId 教师编号TId 教师编号,Tname 教师姓名SId 学生编号,CId 课程编号,score 分数。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值