Talk Is Cheap

【代码】Spark计算两列的编辑距离，先collect()一个列，再broadcast的方法，加速。

【代码】fastjson，toJSONString代码实例。

【代码】Scala，去掉括号里的内容。

【代码】scala 编辑距离。

【代码】【java/scala】regex/正则，保留英文和空格。

在scala文件里import一个java文件，报错。很可能是import的这个java文件里的。里的代码的初始化问题。

【代码】spark scala 训练 LogisticRegression。

【代码】spark scala 训练 XGBoost。

rate列里最大10%rate列里最小10%

【代码】

（源码）

重新让pom文件刷新生效

concat_ws and collect_set

spark

.rdd

limit rows feed for each group

注意String和Char不能判断是否相等

spark3

group by concat

dataDF.rdd.groupBy(row => row.getAs[Long]("the_key")) .repartition(2000).flatMap(pair => {

spark不易OOM的groupby

在pom.xml文件的<build>里要加上<sourceDirectory>src/main/scala</sourceDirectory><testSourceDirectory>src/test/scala</testSourceDirectory>

val pattern = new Regex(".*[A-Za-z]+.*") val result: Regex.MatchIterator = pattern findAllIn theInputString if(result.nonEmpty){ //contains }else{ // not contains }

=!= 要和 === 一起加上 && 使用，否则相当于遍历所有row来判断 不等于，速度卡死。

把map之前的repartition()调大，感觉屡试不爽~~

val log2: Double = Math.log(2); val EPS = 1e-10 def klDivergence(p11: Array[Double], p22: Array[Double]): Double = { var klDiv: Double = 0.0; val p1 = p11.map(one => (one + EPS)) val p2 = p22.map(one => (one + EPS)) for (i <..

import org.tensorflow.example.Featuresimport org.tensorflow.example.Featureimport org.tensorflow.example.Exampleimport org.tensorflow.example.FloatList import org.tensorflow.example.Int64Listimport org.apache.hadoop.io.{BytesWritable, NullWritable}im

val df1 = hiveContext.sql( s""" |select | * | from tableName |""".stripMargin)df2.union(df1) // 无效，因为上面的select*不行，要具体指定select的列名

有jaccard距离udf函数：def jaccardDistance = udf { (string1: String, string2: String) => var result = false val set1: Set[Char] = string1.toSet val set2: Set[Char] = string2.toSet val intersectSize = set1.intersect(set2).size.toFloat

有jaccard距离udf函数： def jaccardDistance = udf { (string1: String, string2: String) => var result = false val set1: Set[Char] = string1.toSet val set2: Set[Char] = string2.toSet val intersectSize = set1.intersect(set2).size.toFlo

dataFrame.write.mode(SaveMode.Overwrite).format(“orc”).saveAsTable(“table_name”)

首先用mapPartitions统计每个partition里的word2count，相当于这时先把数据量切分成了500份：inputDF.rdd.repartition(500).mapPartitions然后再groupBymiddleDF.rdd.groupBy(row => row.getAs[String]("one_character")) .map( pair => { val oneCharacter = pair._1

"程序员的自我修养".sliding(2).foreach((one: String) => println(one))print结果：程序序员员的的自自我我修修养

spark.default.parallelism=6000 spark.sql.shuffle.partitions=6000时OOM，改为spark.default.parallelism=2000 spark.sql.shuffle.partitions=2000问题解决

val hadoopConf = sparkContext.hadoopConfigurationhadoopConf.set("mapreduce.job.maps", 5000.toString)hadoopConf.set("mapreduce.job.reduces", 5000.toString)加上这三句反而容易内存溢出OOM

因为有很多次 大表和小表join，将小表broadcast即import org.apache.spark.sql.functions.broadcast

object HiveTable2HdfsFile { def main(args: Array[String]): Unit = { val sparkSession = SparkSession .builder .appName("HiveTable2HdfsFile") .enableHiveSupport() .getOrCreate() sparkSession.sql( """ select * fr

try { // 出错处 } catch { case e: Exception => { println("信息!!!") System.out.flush() "ERROR".toInt } }

val thePath = new Path(theHdfsPath) val hdfs = org.apache.hadoop.fs.FileSystem.get( new java.net.URI(THE_MASTER_URI), new org.apache.hadoop.conf.Configuration()) val writer = new PrintWriter(hdfs.create(thePath)) writer.println...

println("!!!")System.out.flush() // NEW"STOP".toInt