- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark清洗完数据导入到数据库中
那么引进完csv文件进行数据清洗完又是个什么东西呢，又该怎么设置导入到数据中，真是一点不懂，我觉的是要转成daraframe格式，然后又上gpt上搜了搜怎么导入到数据库中，之前学过可以先上传到hdfs上然后再hive上建表加载到hive表上经过sqoop传输到数据中，我想应该能直接传输到数据库中，最后也是成功了。a为转换为dataframe之后的，localhos：3306需要替换成自己的数据库连接，hnsd是具体的数据库名字statci是你导入数据后起的表名字，下面root 和密码就不多说了。
2023-12-23 13:24:37
566
1
原创 基于javaAPI的sparksql
今天在做spark清洗时遇到导出到hdfs问题，读取的时候没有问题但是导出时user变成lenove了。设定虚拟机上的用户这样就能导出成功了。
2023-12-22 20:56:26
461
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人