- 博客(4)
- 收藏
- 关注
RSS订阅原创 在DataGrip中，sparkSQL分析数据导入mysql
简单讲就是创建临时表或者视图，把需要的字段映射进mysql。中间细节有点忘了，行不通的话，想问的评论或者私信问我，有时间就回。全是代码，cv替换成你们自己的就行。涉及到业务，中间删改了的，可能有点问题，自己看着改把。
2024-01-12 17:06:23
419
1
原创 xslx表格文件采集到hdfs流程&hdfs数据 load到hive表
值得注意的是脚本内容指定了一个json文件，如果后面需要同步其他任务，记得修改相关配置；后端启动hive --service metastore：nohup hive --service metastore > /dev/null 2>&1 &python datax/bin/datax.py json文件路径/job.json。iconv -f gbk -t UTF-8 目标csv文件 > 生成新csv文件。可以查看文件现在的编码格式（编码格式不匹配会导致文件内中文乱码）。），按照需求配置json文件。
2024-01-12 16:51:45
1091
1
原创 配置spark on hive，后续可以使用DataGrip连接spark编写sparkSQL
使用DataGrip连接spark编写sparkSQL
2024-01-12 16:39:30
1403
1
原创 DataGrip连接Phoenix 操作spark
首先，打开datagrip，打开File->new->driver。这样你就可以用datagrip连接上phoenix了。然后，创建phoenix连接。进入Advanced。
2024-01-12 16:12:58
696
2
空空如也
canal-同步速度没有达到预期效率
2024-07-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人