2501_91535448的博客

原创 hive课堂笔记(12)

影评大数据分析# 准备数据——上传数据文件。

原创 hive课堂笔记(11)

准备数据数据文件hive-wc.txt中的内容如下：hello,java。

原创 hive课堂笔记(10)

substring(字段名，起始位置，长度)-------截取子串函数。（3）查询顾客的购买明细及月购买总额，并将cost按照日期进行累加。（1）查询在2021年4月份购买过的顾客及总人数。（2）查询顾客的购买明细及月购买总额。（5）查询前25%时间的订单信息。数据文件：payment.txt。（4）查询顾客上次的购买时间。（6）其他切片信息。

原创 hive课堂笔记(9)

# 准备数据# 字段：员工id,员工名字,工作岗位,部门经理,受雇日期,薪水,奖金,部门编号# 英文名：EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,BONUS,DEPTNO# 字段：部门编号,部门名称,部门地点# 英文名：DEPTNO,DEPTNAME,DEPTADDR

原创 hive课堂笔记(8)

建一分区表bigdata,按班级、性别分区，每个分区分两个桶，按id分桶，每个桶的数据按id升序排序。

原创 hive课堂笔记(7)

Hive分桶是一种强大的数据组织技术，主要用于：· 高效数据抽样： 通过TABLESAMPLE实现快速、低成本的随机采样。· 优化连接操作： 通过桶连接（Bucket Map Join）显著提升大表间Join的性能。· 提升查询效率： 对分桶列进行过滤或聚合时，可减少数据扫描量。注意事项：· 分桶数应选择合理，通常与HDFS块大小和数据总量相关。· 向分桶表插入数据必须通过INSERT ... SELECT语句，不能直接LOAD DATA。

原创 hive课堂笔记(6)

6个数据文件2023年计算机专业数据：20230101,王强,男,计算机,2023,0120230102,李娜,女,计算机,2023,0120230103,张伟,男,计算机,2023,0120230104,刘芳,女,计算机,2023,0120230105,陈杰,男,计算机,2023,0120230106,赵敏,女,计算机,2023,0120230201,黄伟,男,计算机,2023,0220230202,周琳,女,计算机,2023,02。

原创 Spark课堂笔记(4)

准备数据上传数据文件 secondhand.csv 到hdfs监控的 /spark/data 下上传时会出现的问题：解决方式：hdfs dfsadmin -safemode leave（离开安全模式下的命令）

原创 Spark课堂笔记(3)—未完成版

原创 Spark课堂笔记(2)

语法1、使用括号来定义元组val/var 元组 = (元素1, 元素2, 元素3....)2、使用箭头来定义元组（元组只有两个元素）val/var 元组 = 元素1->元素2示例语法使用List(元素1, 元素2, 元素3, ...)来创建一个列表(列表的元素、长度都是不可变)示例1示例2数组：存储相同类型元素的固定大小的序列。语法// 用元素直接初始化数组val/var 变量名 = Array(元素1, 元素2, 元素3...)示例。

原创 hive课堂笔记(4)(5)

第一种：用记事本打开数据文件，另存为，修改编码为utf-8，再保存。/user/hive/warehouse/库名.db/表名/数据文件名。create table----hive内部表，由hive管理的表。（3）分区可以分为一级分区（分区字段是一个），二级分区（分区字段是二个）......（1）把海量数据根据结构考虑分门别类保存（大化小），使用分区表，提高查询效率。数据文件中没有和分区字段对应的数据。（导入数据时，不需要指定分区字段的值，由系统根据数据文件的情况自行判定）（导入数据时，指定分区字段的值）

原创 Spark课堂笔记(1)

下载好压缩包，放在一个自己能找到的文件夹中，以便之后使用。

原创 hive课堂笔记(2)

where不能使用聚合函数：SUM/ AVG/ MAX/ MIN/ COUNT。20 世纪指的是 year 字段小于 2000 的电影。where actor = '莱昂纳多·迪卡普里奥';⚠️注意：确定导出位置，文件夹建议是空的。where actor='莱昂纳多·迪卡普里奥';注意：不要破坏文件系统！

原创 hive课堂笔记(1)

以追加的方式进行导入数据，所以出现重复值，这种情况是错误。用新的数据文件的数据覆盖旧的数据。

原创 HDFS的常用命令的综合案例

hadoop

原创 Hadoop平台搭建作业

修改之后输入exit，后来输入R重启即可成效。