kevin_37723298-优快云博客

原创 Debezium获取MySQL Binlog同步到kafka，sparkStreaming实现实时计算

Debezium获取MySQL Binlog同步到kafka，sparkStreaming实现实时计算版本信息：kafka(kafka_2.11-2.1.1) zookeeper(zookeeper-3.4.10) sprak(spark-2.1.0-bin-hadoop2.7) Debezium(debezium-connector-mysql-0.9.5.Final-plugin.tar.gz) Debezium下载地址 https://repo1.maven.org/maven2/io/debezi

2020-09-02 10:46:28 1285

原创 Spark Streaming整合Kafka，Mysql，实时保存数据到Mysql(直接读取方式)

集群分配如下： 192.168.58.11 spark01 192.168.58.12 spark02 192.168.58.13 spark03 spark版本：spark-2.1.0-bin-hadoop2.7 kafka版本：kafka_2.11-2.0.0 Spark Streaming程序 package com.kk.sparkstreaming.kafka import org....

2018-12-03 10:42:31 5699 2

原创 SparkSQL创建表的几种方式

数据格式：7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30 // 需要导入的包 import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.catalyst.encoders.ExpressionEncoder i...

2018-11-25 20:42:46 17086

原创 idea中使用mybatis,mapper和xml不能在同一级，解决方法

需要在pom.xml中添加 <build> <finalName>cdn</finalName> <resources> <resource> <directory>src/main/java</directory> <includes> <include>**/*.p...

2019-06-04 17:33:02 988

原创 springboot启动报错解决方案(ApplicationEventMulticaster not initialized - call 'refresh' before multicasting)

报错异常 java.lang.IllegalStateException:ApplicationEventMulticasternotinitialized-call'refresh'beforemulticastingeventsviathecontext:org.springframework.context.annotation.AnnotationCo...

2019-05-13 08:33:45 2757

原创 Spark Streaming整合Kafka，Mysql，实时保存数据到Mysql(基于Receiver的方式)

集群分配如下： 192.168.58.11 spark01 192.168.58.12 spark02 192.168.58.13 spark03 spark版本：spark-2.1.0-bin-hadoop2.7 kafka版本：kafka_2.11-2.0.0 Spark Streaming程序 package com.kk.sparkstreaming.kafka import org....

2018-12-03 10:43:11 1071

原创 Spark Streaming整合Flume，Mysql(基于Flume的Pull模式)，实时保存数据到Mysql

集群分配如下： 192.168.58.11 spark01 192.168.58.12 spark02 192.168.58.13 spark03 spark版本：spark-2.1.0-bin-hadoop2.7 flume版本：apache-flume-1.7.0-bin flume配置如下： #flume启动命令 #bin/flume-ng agent -n a1 -f myagent/a...

2018-11-30 16:59:52 386

原创 Spark Streaming整合Flume，Mysql(基于Flume的Push模式)，实时保存数据到Mysql

集群分配如下： 192.168.58.11 spark01 192.168.58.12 spark02 192.168.58.13 spark03 spark版本：spark-2.1.0-bin-hadoop2.7 flume版本：apache-flume-1.7.0-bin flume配置如下： #flume启动命令 #bin/flume-ng agent -n a4 -f conf/a4.c...

2018-11-30 16:58:58 359

原创 SparkSql操作表的两种方式

package com.kk.sparksql import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.catalyst.encoders.ExpressionEncoder import org.apache.spark.sql.Encoder impor...

2018-11-25 21:02:15 1333

原创 Scala中常用的高阶函数

// map-&gt;在列表的每个元素上计算一个函数，并且返回一个包含相同数目元素的列表 def main(args:Array[String]) { val num = List(1,2,3,4) num.map((i:Int)=&gt;i*2) for (n &lt;- num.map((i:Int)=&gt;i*2)) { println(n) }...

2018-11-21 22:58:58 619

原创 Scala中的文件访问

1. 读取行 def main(args:Array[String]) { // 读取行 val source = scala.io.Source.fromFile("G://a.txt"); println(source.mkString); val line = source.getLines(); for (s&lt;-line) { pr...

2018-11-21 22:57:13 464

原创 Scala中的继承，抽象，特质

1. 继承 // 父类 class Person(val name:String, val age:Int) { def sayHello():String = name + age; } // 子类 // 如果希望使用子类中的值，去覆盖父类中的值，需要加override关键字 class Employee(override val name:String,override val age:...

2018-11-20 23:03:09 258

m0_37723298的博客