- 博客(23)
- 收藏
- 关注
RSS订阅原创 客户推荐离线模块
package com.sdg.statistics import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.SparkConf import org.apache.spark.sql.{Dataset, SparkSession} object StatisticsRecommender { val MONGO_URI: String = “mongodb://exam1:27017/recom3” v
2020-06-08 22:36:06
302
原创 HBase的增删改
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.; import org.apache.hadoop.hbase.client.; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; public class HBaseUtil { //创建链接对象 public static Connection connecti
2020-05-12 11:26:13
210
原创 Kafka-To-Hbase之util工具包PropertiesUtil
import java.io.InputStream import java.util.Properties //读取配置文件信息 object PropertiesUtil { val is: InputStream = ClassLoader.getSystemResourceAsStream(“hbase_consumer.properties”) var properties = new Properties properties.load(is) //根据key 取出来对应的值 def getPr
2020-05-11 22:17:47
232
原创 Kafka-To-Hbase之util工具包HBaseUtil
import java.text.DecimalFormat import java.util import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.client.{Admin, Connection, ConnectionFactory} import org.apache.hadoop.hbase.util.Bytes import org.apache.hadoop.hbase.{HColumnDescri
2020-05-11 22:16:50
252
原创 Kafka-To-Hbase之util工具类ConnectionInstance
import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.client.{Connection, ConnectionFactory} //获取连接的 object ConnectionInstance { private var conn: Connection = null def getConnection(conf: Configuration): Connection = { if (conn == nul
2020-05-11 22:15:33
154
原创 Kafka-To-Hbase之发送消费数据至hbase
//命名包名的时候不要冲突 import org.apache.kafka.clients.consumer.{ConsumerRecords, KafkaConsumer} import java.util import com.sdg.consumer.myutils.PropertiesUtil import com.sdg.consumer.myhbase.HbaseDao import scala.collection.JavaConversions._ /** KafkaToHbase 把数据
2020-05-11 22:11:31
311
原创 Kafka-To-Hbase之HBaseDao层
import java.text.SimpleDateFormat import java.util import com.sdg.consumer.myutils.{ConnectionInstance, HBaseUtil, PropertiesUtil} import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.{HBaseConfiguration, TableName} import org.apache.
2020-05-11 22:09:27
202
原创 HBaseSink的测试板块（二）
case class SensorReading(id: String, timestamp: Long, temperature: Double) object HBaseSinkTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment e...
2020-04-14 02:19:49
180
原创 HBaseSink测试模块
//输入数据的样例类 case class Stu(id:Int,name:String,course:String,score:Int) object HBseSinkTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.set...
2020-04-14 01:47:49
690
原创 flink基于JDBC的Source案例
object JDBCSourceTest { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val inputMysql: DataSet[Row] = MyJDBCRead(env) inputMysql.map(r=>( r.getField(...
2020-04-14 00:31:47
1309
原创 CEP支付监控模块
//定义输入样例类 case class OrderEvent(orderid:Long,eventType:String,eventTime:Long) //输出检测结果得样例类 case class OrderResult(orderid:Long,resultMsg:String) object OrderTimeout { def main(args: Array[String]): Un...
2020-04-13 22:55:20
312
原创 恶意登录监控。同一用户（可以是不同IP）在2秒内连续两次登录失败，则报警。
//输入事件样例类 case class LoginEvent(userid:Long,ip:String,eventType:String,eventTime:Long) //中间输出报警的样例类 case class Warning(userid:Long,firstFailTime:Long,lastFailTime:Long,warning: String) object LoginFai...
2020-04-13 20:15:51
564
原创 基于用户行为日志分析热门实时商品统计，统计近1小时内的热门商品，每5分钟更新一次，热门度用浏览次数（“pv”）衡量
//生产者 object KafkaProducerTask { //执行方法 def main(args: Array[String]): Unit = { writeToKafka(“hotitem”) } def writeToKafka(topic: String): Unit = { val pro = new Properties() pro.setProperty(“bootstra...
2020-04-13 20:12:04
1074
原创 使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现电话号码统计（第二种）
object PhoneTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val pro = new Properties() pro.setProperty(“bootstrap.serv...
2020-04-13 20:08:12
291
原创 使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现电话号码统计
Flume采集流式数据发送到Kafka bin/flume-ng agent --conf-file ./job/flume-kafka.conf -c conf/ --name a1 -Dflume.root.logger=DEBUG,console case class Tel(iphone:Long,timestamp:Long) object zuoye1 { def main(args:...
2020-04-13 20:03:04
677
原创 创建Flink Maven项目，编写Flink程序并将jar包上传Linux环境，使用批处理方式进行词频统计
object WordCountTask { def main(args: Array[String]): Unit = { //从外部命令中获取参数 val tool = ParameterTool.fromArgs(args) val input = tool.get(“input”) val output = tool.get(“output”) //创建执行环境 val env = Exe...
2020-04-06 13:17:53
695
原创 kafka与flume启动命令
hadoop启动时保证active那台主机启动(leader) start-all.sh start-yarn.sh ./zkServer.sh start bin/kafka-server-start.sh -daemon config/server.properties 主题：bin/kafka-topics.sh --zookeeper spark1:2181 –create --repl...
2020-04-06 13:06:06
340
原创 在Hive中创建表同时关联HBase
在Hive中创建表同时关联HBase CREATE TABLE hive_hbase_staff_A( id int, name string, job string, mgr int, hiredate string, sal double, comm double, deptno int) STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorage...
2020-04-06 12:54:27
335
原创 使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现车牌号统计
3.配置Flume监听5566端口，采集数据，channel使用memory channel 4.运行Flume和Kafka，将Flume采集的数据发送到KafKa 5.使用IDEA创建Maven工程，编写Flink程序，接收并消费KafKa中的数据 6.统计出5s内车牌出现的总次数并打印到控制台 7.统计出5s内所有车牌尾号是偶数的车牌号码并打印到控制台 8.统计出10s内同一车牌出现次数超过2...
2020-04-06 12:49:01
728
原创 flume的source测试赫赫有名
public class MySource extends AbstractSource implements Configurable, PollableSource { //前缀参数 private String prefix; //后缀参数 private String suffix; //数据发送延迟参数 private Long delay; //数据条数 private int n; ...
2020-03-23 13:23:05
197
原创 flume的sink测试赫赫有名
public class MySink extends AbstractSink implements Configurable { //前缀 private String prefix; //后缀 private String suffix; //创建你logger对象 private static final Logger LOG = LoggerFactory.getLogger(Abstr...
2020-03-23 13:20:44
300
原创 flume的拦截器测试
public class MyInterceptor implements Interceptor { public void initialize() { } public Event intercept(Event event) { byte[] body = event.getBody(); Map<String, String> headers = event...
2020-03-23 13:20:00
291
原创 redis的序列化方式
Redis的关于jdk、json以及hash的相关测试 package com.liuhe.test; import java.util.HashMap; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.beans.factory.annotation.Autowired; imp...
2019-12-10 20:42:58
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人