在DataGrip中,sparkSQL分析数据导入mysql

本文介绍了如何使用Spark进行数据操作,包括删除表、创建表、数据加载以及创建临时视图。同时展示了如何使用MySQL的LOADDATAINFILE命令从CSV文件导入数据并映射字段。遇到问题时,作者鼓励读者在评论或私信中提问。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

全是代码,cv替换成你们自己的就行。涉及到业务,中间删改了的,可能有点问题,自己看着改把。

spark操作:
drop table test.base_tb;
CREATE TABLE IF NOT EXISTS test.base_tb(
    pk_id BIGINT COMMENT '自增id',
	datatime STRING COMMENT '数据日期'
    .....
	)
row format delimited fields terminated by '\t';
LOAD DATA INPATH '/hdfs/xlsx2hdfs/hdfs文件' INTO TABLE test.base_tb;


select * from test.base_tb limit 1;

//spark做计算查询 /查询的数据创建一个临时视图
select name,idcord,province,city,idcord_loc,mar_status,home_address from test.base_tb;

-- 创建一个临时表或视图
DROP VIEW IF EXISTS temp_result;
CREATE OR REPLACE TEMPORARY VIEW temp_result AS
SELECT name, idcord, province, city, idcord_loc, mar_status, home_address
FROM test.base_tb;
//临时表保存到本地。路径:/ProgramData/MySQL/MySQL Server 8.0/Uploads/

select * from temp_result limit 1;

mysql操作:
通过使用 @variable 来指定变量,然后在 SET 子句中将这些变量映射到相应的列。
LOAD DATA INFILE '/ProgramData/MySQL/MySQL Server 8.0/Uploads/hm
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值