zfszhangyuan的博客

接触spark后就开始学习scala语言了，因为有一点python和java的基础学习起来还行，今天在这里把我工作中应用scala编程统计分析用户行为日志的实例和大家分析一下，我这里主要讲一下用户的在线时长统计和登录次数统计算法实现过程。

在我的上一篇博文中：http://blog.youkuaiyun.com/zfszhangyuan/article/details/52538108 讲如何应用scala编程完成用户的在线时长和登录次数在spark上的求解方式。讲到这里有同学可能对编程完后如何将程序放到线上spark集群上运行以及如何理解spark框架在大数据架构体系中的位置及其基本原理有所疑问。

今天简单讲解一下应用spark1.5.2相关读取mysql数据到DataFrame的接口以及将DF数据存放到mysql中接口实现实例。通过这段代码可以实现从mysql关系型数据库中直接读取数据转化成DataFrame参与到sparksql的分析当中这个意义是非常重大的，因为我们日常应用sparksql进行数据分析时经常会用到一些配置表，而这些配置定义表都是存在关系型数据库中，所以以后不用担心了。另外这里还实现了DataFrame结果回写到mysql数据库中，虽然官方的spark源码的写入有些奇葩，设定的

在上一篇博文中，我们可以简单的应用官网的给出的一些接口提取mysql数据表中的数据到spark中，也可以将spark的运行结果存入mysql中。但是我们会发现spark将其DF存入mysql的时候，无论你选择什么模式：jdbcDF.write.mode(SaveMode.Overwrite).jdbc(url,"zfs_test",prop)jdbcDF.write.mode(SaveMode.Append).jdbc(url,"zbh_test",prop)结果都是会重建这个表。这样一来这个表之