- 博客(5)
- 收藏
- 关注
RSS订阅原创 【求解惑】org.apache.shuffle.FetchFailedException:Failed to connect to xxx:41972
【求解惑】集群断电后org.apache.shuffle.FetchFailedException:Failed to connect to xxx:41972
2021-12-08 09:11:58
1254
1
原创 关于spark streaming 通过transform 算子读取文件的坑
关于spark streaming 通过transform 算子读取文件的坑 语言：scala 工具: spark streaming 读取 hdfs 状态文件 首先可以看到有两个state变量已经标红 ，其代码除了一个persist一模一样； 最开始我发现在transform里面写state可能不太好看，所以我把state变量放在了算子外面，在算子里面进行使用，但是后续发现state一直没能起到作用； 多方排查后发现state写在transform外面只会读取一次，必须写在transform里面； 读
2021-10-15 14:53:49
150
原创 java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer
java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer 语言：java 需求：java连接hbase，进行读写 如标题所示，IO异常了，但是这个时候的报错特别的笼统。根本看不到错误！ 首先查看hbase的master以及regionserver是否启动，日志有无异常，但是很不幸无异常 接下来查看zk的leader日志以及穷情况也无问题 因为是架构师写的代码，最开始根本没有想过代码会有问题，仔细查看代码后发现
2021-08-18 17:33:59
1233
原创 【spark】java.io.NotSerializableException: org.apache.spark.unsafe.types.UTF8String$IntWrapper
菜鸟一只，谨代表自己观点，欢迎大家指教 写了一个spark.sql("select usernum from xx.test where day=20210715 group by usernum ").show 居然报java.io.NotSerializableException。非常奇怪的问题。 环境：spark2.2.0+jdk1.8 前期准备工作： create table test (usernum string,type string) partitioned by(day strin
2021-07-16 21:23:36
524
2
原创 org.apache.spark.sql.catalyst.errors.package$TreeNodeException：execute tree
@TOorg.apache.spark.sql.catalyst.errors.package$TreeNodeException：execute tree 语言：scala 工具: spark 读取hdfs 文件(映射到hive的 有分区但文件内容没有) 如标题所示，在生成计划树的时候出错了，但是这个时候的报错特别的笼统。根本看不到错误！如图所示，直接看最中心的报错 首先检查： 检查parquet文件的case class和读取后as的case class是否一致； 查看是否是因为as case
2020-06-19 20:44:11
7308
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人