- 博客(7)
- 收藏
- 关注
RSS订阅原创 spring找不到application.yml文件
程序启动后报错：找不到某个配置项，但这个配置实际是写在application.yml中的。1.打开运行配置的对话框，选择edit configuration。2.将工作目录改为application.yml所在的config目录的上一层。或者也可以选择默认配置的目录。...
2022-08-08 14:42:01
2973
原创 HDFS空间不足解决方法
1、执行sudo -u hdfs hadoop fs -du -h /查询hdfs中各目录的占用的空间，进入占用最多的目录中（一般是日志或临时文件）2、找到目录 /user/root/.sparkStaging 占用了大量空间，此目录下存放的是各spark历史任务依赖文件3、执行hdfs dfs -rm -r /user/root/.sparkStaging/*删除此目录下的文件夹4、删除的文件会被保存到/user/root/.Trash，清空垃圾桶即可...
2021-06-04 18:30:29
4455
1
原创 Airflow提交spark任务报unknow queue: root.default的问题
报错信息如下：解决方法：在airflow操作界面中修改connections下spark用户的配置将Extra中的root.default改为default即可
2021-01-19 11:03:21
663
原创 java spark deataset 关于pivot的一点用法
//pivot用的列名，只查询d=1,2的情况Object[] pagetype = new Object[]{"1", "2"};List<Object> columns = Arrays.asList(pagetype);Dataset<Row> DF2 = DF.groupBy(col("a"),col("b"),col("c")) .pivot("d", ...
2020-04-30 17:52:00
358
原创 pip install 报连接问题安装失败的解决方法
问题：pip3 install jupyterCollecting jupyter Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.con...
2020-03-03 11:35:09
5040
原创 利用java api读取hbase数据遇到的一些坑及解决方法
报错信息： can not resolve hostname解决方法：去C:\Windows\System32\drivers\etc\hosts 里配置一下这个hostname和对应的IPjava.lang.RuntimeException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after at...
2020-02-17 11:22:36
2729
原创 SparkContext初始化失败，java空指针异常
求助！！！ SparkContext初始化失败，java空指针异常在windows上运行spark，已经按照网上步骤安装了hadoop-common-bin，配置了host和环境变量，pycharm跑起来就报下面的错误，困扰多时，希望有大佬解答。代码如下：from pyspark import SparkConffrom pyspark.sql import SparkSession#s...
2019-02-12 17:00:21
4654
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人