SparkR: Collect 数据 报错：Error in readBin(con, raw(), as.integer(dataLen), endian = “big“)

SparkR Collect 数据报错

背景描述

在编写sparkR 的时候使用 (在开启的arrow功能）
collect(sql("select max(id) from xxxTable")) 程序会报如下错误:
Error in readBin(con, raw(), as.integer(dataLen), endian = "big") :

软件环境：

• spark包版本：3.0.2
• arrow版本 0.16.0

原因

这是早起sparkR的一个bug，在新版本的sparkR下，已经修复了这个问题。比如截止到这篇水文的提交，spark版本已经发布到了3.1.2,，这个时候spark源码中的arrow的版本包已经升级到 arrow 2.0.0 了，另外arrow 的版本已经更新到了5.0.0

解决办法

更新spark默认程序包的arrow相关的jar包版本，以及升级本地arrow的版本，即可处理这些问题。（亲测）

总结：

这个问题最后的处理过程很简单，但是寻找这个如何解决这个问题的流程中，看到早先一些前辈对这个问题的研究和当时他们的解决办法，看到源码。收获还是不小的。