石～石头-优快云博客

原创 hdfs 降低某一个datanode 的存储

【代码】hdfs 降低某一个datanode 的存储。

2025-03-03 19:14:13 82

原创 spark read orc报错：java.lang.IndexOutOfBounds

写入hive的orc使用的spark的orc序列化的包，读自然也要用spark的。

2024-11-21 15:31:02 113

最后的最后，确定了问题，我 ping 了我们现在的域名，发现ip并不是现在nginx所在机器的ip，有两个nginx，第一个nginx限制了接口超时时间。随后看了nginx日志，发现日志报的是 499，499是客户端取消请求，然后感觉是前端的问题，自己用postman直接调用接口，发现还是超时。回顾上述过程，其实发现报错事nginx ，然后日志是499的时候就应该猜测到，上游还有一台nginx。确定了不是服务的问题，就去看了nginx配置，发现远远没有达到配置的超时时间。调用接口时，发现报错504。

2024-11-20 17:03:12 351

原创 nginx 代理 mysql，失败

但一定要用stream，nginx安装可能没有配置stream，只能重新安装，详情自己搜索。

2024-11-19 15:58:31 496

原创 spark报java.lang.IllegalArgumentException: Error: name expected at the position of....but ‘# is found

具体原因是因为，spark生成ORC文件的包有两个，一个是hive的一个是spark的，hive的不能解析特殊字符，spark的可以。spark新增配置： .config(“spark.sql.orc.impl”, “native”)就好了。

2024-11-12 10:01:07 329

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

m0_51179021的博客

原创 hdfs 降低某一个datanode 的存储

原创 spark read orc报错：java.lang.IndexOutOfBounds

原创请求超时，504 Gateway Time-out

原创 nginx 代理 mysql，失败

原创 spark报java.lang.IllegalArgumentException: Error: name expected at the position of....but ‘# is found

空空如也

空空如也

原创 hdfs 降低某一个datanode 的存储

原创 spark read orc报错：java.lang.IndexOutOfBounds

原创 请求超时，504 Gateway Time-out

原创 nginx 代理 mysql，失败

原创 spark报java.lang.IllegalArgumentException: Error: name expected at the position of....but ‘# is found

空空如也

空空如也

原创请求超时，504 Gateway Time-out