将数据量很大的CSV写入到HIVE

1. 在kaggle下载了一个train.csv,用于测试公司平台决策树算法，该数据有一个label标签和784个特征列，名字如pixel0,pixel1…….pixel783。
2. 具体操作如下(pyspark下):

from pyspark.sql import HiveContext

hivec  = HiveContext(sc)  # 创建一个hivecontext对象用于写执行SQL，sc为sparkcontext

# 拼接一个字段类型字符串
str_s = 'label String,'
for i in range(len(df.columns)-1):
    str_s += 'pixel%s String,' % i
# 拼接SQL语句
sql_str = "create table ml_test.decivsion ({})".format(str_s[:-1])  # 最后一个逗号需要去掉，否则报错

hivec.sql(sql_str)  #　执行ＳＱＬ

df = spark.read.csv(your hdfs path)  # 把csv读成dataframe，第一个参数为path
## 其他参数
# schema – an optional pyspark.sql.types.StructType for the input schema.
# header：默认值是false。就是把第一行当做数据，改为false，第一行就变为字段；
# sep：默认情况下，CSV是使用英文逗号分隔的,其他分隔符号可修改此选项;
# 更多参数请查阅官方文档
　
df.write.insertInto('ml_test.decivsion', overwrite=False)  # 将dataframe写入到指定hive表