top8488.top大数据

余弦相似度-字符串相似度计算（scala）代码实现

背景Flink 默认的 RedisMapper 不能设置key的过期时间。依赖<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version></dependency>SinkFunction & RichSinkFunct

scala怎么取绝对值调用 .abs 方法object t_main { def main(args: Array[String]): Unit = { val a= -1 println(a) println(a.abs) }}结果

一、redis sink对应jar包<dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.0</version></dependency>将文件内容写入到hash中代码： 1 2

本人开发中，需要聚合的文段举个栗子：RDD中有如下元素k v(（a,b）,List(7，8，9))(（a,b）,List(1，2，3))(（a,b）,List(4，5，6))(（c,d）,List(4，5，6))。。。。。。reducebyke后要对v 操作原理将v 中的list 前后zip 再map 每个元素进行 逐个元组元素（口，口）的累加。a代表...

默认分区和HashPartitioner分区默认的分区就是HashPartition分区,默认分区不再介绍，下面介绍HashPartition的使用通过上一章 mapPartitionsWithIndex的例子，我们可以构建一个方法，用来查看RDD的分区def mapPartIndexFunc(i1:Int,iter: Iterator[(Int,Int)]):Iterator[(Int,(...

我们知道，一张 HBase 表包含一个或多个列族。HBase 的官方文档中关于 HBase 表的列族的个数有两处描述：A typical schema has between 1 and 3 column families per table. HBase tables should not be designed to mimic RDBMS tables. 以及 HBase currently...

Spark SQL 查询中 Coalesce 和 Repartition 暗示（Hint）如果你使用SparkRDD 或者 DataFrame 编写程序，我们可以通过coalesce或repartition来修改程序的并行度： val data = sc.newAPIHadoopFile(xxx).coalesce(2).map(xxxx) 或 va...

package import java.text.SimpleDateFormatimport java.util.{Calendar, Date, TimeZone}object Test { def main(args: Array[String]): Unit = { val time2: Double = 1554506596858d; //换成0失去 va...