hdfs数据导入hive

最新推荐文章于 2024-08-01 04:33:18 发布

NorthFish北海有鱼

最新推荐文章于 2024-08-01 04:33:18 发布

阅读量1.2k

点赞数

分类专栏： spark 文章标签： hive hdfs 大数据

本文链接：https://blog.youkuaiyun.com/MaYingColdPlay/article/details/125929636

版权

spark 专栏收录该内容

2 篇文章

订阅专栏

# 1. 引入需要的包，这两个包为基础包
# 额外需要的包可以自行import
from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.types import StructField, StructType, StringType, IntegerType

# 指定文件的csv列名和格式
schema = StructType([
    StructField('index', StringType()),
    StructField('keeps', StringType()),
    StructField('ctr_label', StringType()),
    StructField('ctr_pred', StringType())
])

path = 'viewfs://hadoop-gpu/1'
df = spark.read.format("csv").option("header", "false").option("delimiter", "\t").schema(schema).load(path)

#schema的数据需要仔细处理一下