- 博客(11)
- 收藏
- 关注
RSS订阅原创 Oracle数据库如何导入dump文件
在Oracle中，可以理解为一个用户就是一个数据库，然后数据是存放在表空间中的。导入文件，有两种格式，看导出文件是以什么方式的。有IMP方式和IMPDB方式。本文为IMPDBN方式。
2024-06-12 21:31:15
1809
原创 Navicat连接Oracle sys用户连接不上
众所周知，使用系统管理用户（sys）登录Oracle，需要写成sys as sysdba形式，但是在Navicat中，这样写就会报错。在高级选项中，将默认的角色改为SYSDBA就可以了。
2024-06-11 20:38:52
861
原创 Hive删除有分区的外部表，重新插入，查询不到数据
我建了一个外部表，并且在创建表时设置了分区，当我把这个外部表删除后，重新建一模一样的表，却查询不到数据。（按理说，删除外部表，不会删除数据的，怎么会查不到数据呢）
2023-12-29 21:06:36
709
1
原创 Spark打成Jar包只有3KB
由于我将打成的jar放入到linux中，进行spark-submit运行，报了没有发现类的错误。然后我就重新打jar包，发现jar包只有3kb，肯定是打Jar包的问题，所以才会没有类。我是先clean, 然后再打包的，然后出现了这样的错误。
2023-12-29 20:54:49
598
1
原创 java.sql.SQLException: Cannot create错误
本来用德鲁伊能正常的从数据库查询数据，但就修改了compeonumtab这个实体，给它添加了一个有参构造器，就报错了。在compeonumtab这个类中，添加一个无参构造器就可以了！在没有添加有参构造器时，默认有一个无参构造器。
2023-06-15 16:00:17
715
2
原创 Spark保存到HDFS上的数据有表头怎么去除
由于我对数据进行了df.groupBy操作，导致我另存到HDFS上的csv文件每隔一行就是一个表头。（1）如果只有第一行有表头可以在hive建表时在最后一行添加这样一行代码。（2）可是我这是每隔一行就有一行表头，就在写入的时候不写入表头就可以。这样就不会读取第一行的表头了。
2023-06-11 11:20:05
445
1
原创 Spark保存数据到HDFS报权限错误：Permission denied: user=hadoop, access=WRITE, inode=“/myhdfs/job“:root:super
当我在Spark处理好数据后，想保存到HDFS上后，发现IDEA报了Permission denied: user=hadoop, access=WRITE, inode="/myhdfs/job":root:super这个权限错误。一是重新切换到hadoop用户下，以hadoop用户身份重新新建一个目录，然后再保存到这个新建的。经排查，发现是我保存的路径是root用户下创建的，而我IDEA里面是hadoop用户。二是修改之前路径的权限，允许hadoop用户修改。
2023-06-09 12:18:38
664
原创 xlsx文件（即Excel文件）上传至HDFS乱码问题解决
最后啊，我直接在Excel打开那个文件，然后另存为UTF-8格式的csv文件，这样乱码问题就解决了。
2023-06-08 10:10:08
613
1
原创 解决Scala项目中java.lang.reflect.InaccessibleObjectException报错
本文主要解决在Scala项目中java.lang.reflect.InaccessibleObjectException的报错问题，但个人感觉在其他maven项目中，遇到此类问题也可以用同样的方法解决。2.1由于在hadoop配置文件中我的jdk版本是1.8，而IDEA中jdk的版本是jdk18，所以出现了报错。只需要将IDEA中的jdk版本改为jdk1.8即可。1.1在WordCount中，出现报错的一行是。此处更改为jdk1.8（也就是jdk8）即可。1.2出现的报错信息是。
2023-03-19 14:05:22
962
原创 小白大数据学习路线
学习顺序：Java se ->计算机基础课->基本算法->Linux基础命令->MySQL->maven->Springboot->Hadoop->zookeeper->Hive->Flume/sqoop/dataX->Oozie/Azkaban/Airflow->hbase->redis->kafka->elk->scala->spark->kylin->flink->数仓项目/大数据开发项目/可视化项目/推荐系统
2023-02-03 12:04:02
154
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人