spark dataframe 保留小数位数

CrazyAlisca

于 2019-11-27 16:20:07 发布

阅读量6.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark spark dataframe 保留小数

本文链接：https://blog.youkuaiyun.com/linkeliuyun/article/details/103277900

Spark 专栏收录该内容

4 篇文章

订阅专栏

本文演示了如何使用Spark SQL处理浮点数精度问题，通过将数据转换为decimal类型并设置精度，确保数据处理的准确性。文章提供了具体代码示例，包括创建DataFrame、调整字段精度以及展示结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.spache.spark.sql.functions._
import spark.implicits._

val df = sc.parallelize(Array(1.2,1.233453,2.45323445,3.22))

val df1 = df.toDF()

df1.show()

val df2 = df1.select(bround($"value",scale=4).alias("RankPoint"))

val df3 = df1.selectExpr("cast(value as decimal(18,4)) as RankPoint")