qq_33115589的博客

Spark的DataFrame调用write方法写入数据时有以下几点注意 DF写入CSV,要求每一列的类型为String DF写入TEXT，要求DF只有一列，且类型为String 修改DataFrame列类型的方法可以参考 1 直接按列名修改 scala> a.select(a.col("id"),a.col("username"),a.col("birthday").cast("string").as("bir")).show 2 遍历DF的所有列依次修改，适用于修改成统一的类型

以下是Redis连接池的代码: /** * Redis连接池 */ object RedisClient extends Serializable { val redisHost = "192.168.115.142" val redisPort = 6379 val redisTimeout = 30000 lazy val pool = new JedisPool(new JedisPoolConfig, redisHost, redisPort, redisTimeout)

1 Apache Spark 是什么? Spark是一个在集群上运行的统一计算引擎以及一组并行数据处理软件库。 下面展示了Spark给用户提供的组件： 2 Spark的设计哲学 统一平台 Spark主要目标是为编写大数据应用程序提供统一的平台，例如，JavaEE的Spring框架。Spark的统一API使得编写大数据应用变得简单且高效。 计算引擎 Spark对比Hadoop这样即解决分布式存储（HDFS）又提供了计算范式（MapReduce）的大数据平台，它主要专注于计算引擎。Spark从