H.King-优快云博客

原创 Flume 自定义source -- SQLSource (转为 json 格式)

个人使用flume 相对较多，对他的采集任务比较喜欢 ,自己做了一些数据库方向的的拓展。虽然 github 上有很多自定义的 flume sql-source 比如大名鼎鼎的https://github.com/keedio/flume-ng-sql-source 但是我个人在使用的过程中遇到了一些问题也一直没有得到解决，https://github.c...

2019-02-14 11:40:22 3888 4

原创 MongoDB 中文手册 | MongoDB 中文文档 | 官方手册中文版翻译

最近做了一些 MongoDB 官方文档的汉化工作。项目放在github 上，已经开源。我相信有很多同学都有汉化文档的经历，但是往往不能坚持到最后，或者因为工作量及时间安排的问题，不能坚持。在这里可以合作翻译，一起分享知识点，做自己擅长的领域。稍后将放出连接欢迎有兴趣的同学一起参与。预览链接请点击Mongodb 中文手册 ...

2020-08-17 14:35:36 3443

原创 flink streamWordCount demo

flink 的 wordCount 流式计算的demo package com.hbn.wc import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment} object StreamWordCount { def main(args: Array[String]): Unit = { val e..

2020-05-14 14:22:16 715

原创 flink wordcount demo

demo package com.hbn.wc import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment} import org.apache.flink.api.scala._ object WordCount { def main(args: Array[String]): Unit = { //获取执行环境 val env = ExecutionEnvironment.getExecutionE.

2020-05-14 12:15:11 501

原创 flink Cannot find compatible factory for specified execution.target (=local)

初入 flink wordcount 报错如下 /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=56188:/Applications/IntelliJ IDEA.app/Contents/bin" -Dfile.encoding=UTF-8 -clas...

2020-05-14 12:07:48 439

原创 flink 隐式转换的问题

初入 flink 报错如下 Information:2020-05-14 11:18 - Build completed with 2 errors and 0 warnings in 3 s 77 ms Error:(15, 60) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[String] val re...

2020-05-14 11:43:26 1172

原创 Java 操作 Spark 时却不能设置泛型参数的问题？

最近在使用Java开发spark 过程中遇到一个问题即不能设置返回对象的泛型参数代码如下 jssc 为 JavaStreamingContext 使用 JavaSparkContext 也会遇到这种情况 List<Tuple2<String, Boolean>> blacklist = new ArrayList<Tuple2<Str...

2019-09-10 20:23:21 293

原创 Spark sql 中自定义实体类无法识别其中的 Date 字段

在使用过程中创建了实体类使用反射的方式将 rdd 转换为 df 但是在使用过程中即使没有在查询中使用该字段，依然会报错主要提示为 `scala.MatchError: Thu Sep 05 10:16:25 CST 2019 (of class java.util.Date) ` 具体内容如下 19/09/05 10:16:30 ERROR Executor: ...

2019-09-05 10:19:35 876

原创 spark sql 使用过程中无法识别输入字段

在使用spark sql 过程中可能映射为实体类但是该实体类的属性，并没有设置getter setter 方法就会出现如下问题提示：无法识别某些字段 /Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/bin/java "-javaagent:/Applications/Intelli...

2019-09-05 10:12:52 1147

原创 spark sqlcontext 读取json 文件

多行json 直接使用 sqlcontext.read().json("path") 读取时候报错如下： Exception in thread "main" org.apache.spark.sql.AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when ...

2019-09-01 15:29:54 2692

原创 Spark 创建RDD (集合，本地文件，hdfs文件)基础数据源

本文主要记录一些基础数据源转换成为 RDD 的案例仅供参考 1.集合类转换为RDD import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache....

2018-09-12 14:54:20 2469

原创 Spark 启动报错时报错 java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collect

今天在Spark测试时异常报错一直提示找不到该方法因为本身代码量很小而且没有用到错误提示的类找了许久才发现是版本对应问题 /Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Co...

2018-09-12 14:38:42 1749

原创启动Hadoop时一直提示输入密码

[root@wh bin]# sh $HADOOP_HOME/sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [wh] root@wh's password: wh: Authentication failed. root...

2018-09-06 16:53:08 13730 3