
Flink
你家宝宝
自2018年接触到Java,至今。
展开
-
Flink练习之通话时长的统计
Flink的练习之电话通信统计环境介绍1. 软件flink版本:flink-1.9.1-bin-scala_2.11.tgz 官网下载kafka版本:kafka_2.11-2.3.1.tgz 官网下载zookeeper版本:3.4.14mysql版本:8.0.18操作系统:windows 8.1redis开发工具idea本文将实现一个电话消费的统计。具体业务描述:使用j...原创 2019-12-14 15:10:58 · 4104 阅读 · 0 评论 -
Flink的Sink(kafka,mysql , redis)
Flink的内嵌SinkwriteAsText :保存为文本writeAsCsv :保存为csv格式文本print 和printToErr:打印输出(标准输出和错误输出)writeUsingOutputFormat:自定义格式输出(text和csv都是调用了它)writeToSocket:输出到某一端口自定义连接1. 所需要的pom依赖<properties> ...原创 2019-12-09 10:03:01 · 1457 阅读 · 0 评论 -
Flink的Transformations(2)
环境描述这里练习Flink中的keyBy、reduce方法<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.9.0</flink.version> <java.versi...原创 2019-12-06 15:26:08 · 224 阅读 · 0 评论 -
Flink的Transformations(1)
环境描述本文主要练习了Flink框架中的转换方法:map,flatMap,filter <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.9.0</flink.version> ...原创 2019-12-06 15:19:12 · 417 阅读 · 0 评论 -
Flink消费Kafka
前提条件启动Zookeeper启动kafka确保kafka中的topic存在java实现maven依赖<dependencies> <!-- Apache Flink dependencies --> <!-- These dependencies are provided, because they should not be package...原创 2019-12-06 13:56:29 · 336 阅读 · 0 评论 -
Flink的内置DataSource+自定义DataSource
内置的DataSource1. 读取文件package org.feng.datasource;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.java.io.TextInputFormat;import org.apache.flink.core.fs.Path...原创 2019-12-05 19:39:15 · 257 阅读 · 0 评论 -
Flink入门程序
Flink的WordCount使用idea创建一个flink的模板项目:使用该模板创建项目时,需要安装Scala插件(这个烦请自己找资源)。准备工作做好之后,就可以操作了。当模板项目创建好之后,发现有2个模板类,一个是流式处理,一个是批量处理。这里我将代码写进去进行执行:下面这是批量处理的类。/* * Licensed to the Apache Software ...原创 2019-12-05 19:28:13 · 442 阅读 · 1 评论