
Scala
NewBee.Mu
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
将数据灌入redis中
package tools import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, SparkSession} import utils.GetJedisConn //将列车出厂时间灌入redis中 object TrainTime2Redis { def main(args: Array[String...原创 2019-11-19 09:28:05 · 407 阅读 · 0 评论 -
利用广播变量来进行数据的传输
package report import config.ConfigHelper import org.apache.spark.broadcast.Broadcast import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession import scalikejdbc.{DB, SQL} import scal...原创 2019-11-19 09:12:55 · 431 阅读 · 0 评论 -
离线报表实现
我们在对报表进行处理的时候,怎么以一个属性为维度,统计其他属性的指标。 以下的案例是我们对我们的报表以配属铁路局为维度统计他们的各个指标,而且要使用多种方法,并且要能输出到json和mysql中 package report import java.util.Properties import com.google.gson.Gson import config.ConfigHelper im...原创 2019-11-16 21:17:26 · 989 阅读 · 1 评论 -
测试scalikejdbc的使用(crud)
package scalikejdbc import scalikejdbc.config.DBs //测试scalikejdbc的使用 object scalaJdbcDemo { def main(args: Array[String]): Unit = { //插入数据 //加载配置文件中的jdbc,要求表是存在的 DBs.setup() //就要写...原创 2019-11-16 11:11:57 · 208 阅读 · 0 评论 -
数据清洗
在对数据进行处理的时候,很多时候需要我们进行数据清洗。 下面的案例就是对大量的数据进行处理: 每行代码完成的任务在备注中都有叙述 package etl import java.io.File import java.text.SimpleDateFormat import java.util.Date import bean.{Logs, logSchema} import config.C...原创 2019-11-15 01:10:00 · 482 阅读 · 0 评论 -
【面试题】有两个变量,a和b,要求将其进行交换,但是不允许使用中间变量,最终打印结果:
问题: 有两个变量,a和b,要求将其进行交换,但是不允许使用中间变量,最终打印结果: 答案: a=1 b=2 a=a+b=3 b=a-b=1 a=a-b=2原创 2019-10-29 00:44:57 · 824 阅读 · 0 评论