python读取HADOOP/HDFS中的h5py文件

问题：

python调用hdfs包从HADOOP上读取到的h5文件为二进制数据，没办法直接转换为h5的对象。pickle.loads、.decode()都不行。
传统方式下需要先通过open(path, “wb”)文件写入硬盘，然后再从硬盘读取文件。速度慢不说，硬盘还面临大量读写，加速报废。

解决思路：

看：官方文档
找：github解答

代码：

import os
import io
import h5py
from hdfs import InsecureClient

url = "http://xxx.xxx.xxx.xxx:xxx"
user = "xxx"
connect = InsecureClient(url, user=user)
with connect.read("/test.h5"