event-01-hive_sql查出数据到dataframe不能保存Array类型数据

weixin_33912453

于 2019-06-21 02:02:00 发布

阅读量161

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 json

原文链接：http://www.cnblogs.com/fong233/p/11062378.html

博客提出hive的Array类型数据在dataframe中以字符串形式存储的问题，因找不到将hive的Array数据类型以list形式存储在dataframe的直接方法，暂时考虑通过map来实现，并给出了转载来源。

问题：hive的Array类型数据在dataframe中以字符串形式存储


sql = """select array(1,2) a"""
df_mon_april = pd.read_sql(sql, hive_engine)
a = df_mon_april['a'][0]
print type(a)
# <type 'unicode'>

思路：


sql = """select map("A",[1,2,3]) a"""
df_mon_april = pd.read_sql(sql, hive_engine)
a = df_mon_april['a'][0]
j = json.loads(a)
print type(j['A'])
# <type 'list'>

hive的Array数据类型找不到直接以list的形式存储在dataframe的方法，暂时通过map来实现。

转载于:https://www.cnblogs.com/fong233/p/11062378.html