Spark 时间函数date_format

最新推荐文章于 2025-03-26 06:55:38 发布

千里草竹

最新推荐文章于 2025-03-26 06:55:38 发布

阅读量1.1w

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/u012848709/article/details/85867768

Spark 专栏收录该内容

36 篇文章

订阅专栏

本文探讨了使用SparkSQL处理特定时间范围数据的方法，通过对比加与不加单引号的字符串处理方式，揭示了其对结果的影响。演示了如何创建临时视图并应用日期格式化函数来筛选和统计指定区间内的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

楔子

读取json文件，但是时间2016-10-01 15:42:46 需要进行操作。使用spark SQL提供的时间函数

官网参考

demo

private static void top(SparkSession sparkSession, Dataset<Row> logDS, Dataset<Row> userDataset) {
	String startTime = "2016-10-01";
	String endTime = "2016-11-01";
	System.out.println("--统计特定时间内访问最多的Top5--");
	logDS.createOrReplaceTempView("tmp_log");
	// sparkSession.sql("select date_format(time, 'yyyy-MM-dd') from
	// tmp_log").show();
	userDataset.createOrReplaceTempView("tmp_user");
	long count = logDS.filter("date_format(time, 'yyyy-MM-dd') >= " + startTime + " and date_format(time, 'yyyy-MM-dd') <=" + endTime).count();
	System.out.println("字符加单引号的结果" + count);
	long count2 = logDS.filter("date_format(time, 'yyyy-MM-dd') >= '" + startTime + "' and date_format(time, 'yyyy-MM-dd') <='" + endTime + "'").count();
	System.out.println("字符加单引号的结果" + count);
	System.out.println("字符不加单引号的结果" + count2);

	// 字符加单引号的结果0
	// 字符不加单引号的结果5973
}