qq_32165517的博客

Flink项目实战项目背景aliyun CN A E [17/Jul/2018:17:07:50 +0800] 2 223.104.18.110 - 112.29.213.35:80 0 v2.go2yd.com GET http://v1.go2yd.com/user_upload/1531633977627104fdecdc68fe7a2c4b96b2226fd3f4c.mp4_bd.mp4 HTTP/1.1 - bytes 13869056-13885439/25136186 TCP_HIT/

Flink监控及调优History ServerHadoop MapReduceSparkFlinkstart/stop-xxx.sh看一下这些脚本的写法shell对于bigdata有用吗？ lower配置：historyserver.web.address: 0.0.0.0historyserver.web.port: 8082historyserver.archive.fs.refresh-interval: 10000jobmanager.archive.fs.dir: hdf

Flink ConnectorsConnector是什么预定义的 Source 和 Sink一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义 data sources 支持从文件、目录、socket，以及 collections 和 iterators 中读取数据。 预定义 data sinks 支持把数据写入文件、标准输出（stdout）、标准错误输出（stderr）和 socket。附带的连接器连接器可以和多种多样的第三方系统进行交互。目前支持以下系统:Ap

Flink部署及作业提交Flink源码编译Setup: Download and Start FlinkFlink runs on Linux, Mac OS X, and Windows. To be able to run Flink, the only requirement is to have a working Java 8.x installation. Windows users, please take a look at the Flink on Windows guide whi

Flink的watermarks1. watermark的概念watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timestamp，例如1472693399700（2016-09-01 09:29:59.700），而这条数据的watermark时间则可能是：watermark(1472693399700) = 1472693396700(2016-09-01 09:29:56.700)这条数据的watermar

Flink中的Time及Windows的使用Flink中的Time类型Event Time / Processing Time / Ingestion TimeFlink supports different notions of time in streaming programs.对于Flink里面的三种时间：事件时间Event time: Event time is the time that each individual event occurred on its produci

Table API&SQL编程什么是Flink关系型APIDataSet&DataStream API1) 熟悉两套API：DataSet/DataStream Java/ScalaMapReduce ==> Hive SQLSpark ==> Spark SQLFlink ==> SQL2) Flink是支持批处理/流处理，如何做到API层面的统一==> Table & SQL API 关系型APITable API&SQL

DataStream API编程DataStream API开发概述DataStream programs in Flink are regular programs that implement transformations on data streams (e.g., filtering, updating state, defining windows, aggregating). The data streams are initially created from various sourc

DataSet API编程DataSet API开发概述DataSet programs in Flink are regular programs that implement transformations on data sets (e.g., filtering, mapping, joining, grouping). The data sets are initially created from certain sources (e.g., by reading files, or fro

快速上手开发第一个Flink应用程序开发环境准备λ echo %JAVA_HOME% D:\Program Files\Java\jdk1.8.0_251λ echo %MAVEN_HOME%D:\Applications\apache-maven-3.6.3使用Flink开发一个批处理应用程序（Java/Scala）需求：词频统计（Word count）一个文件，统计文件中每个单词出现的次数分隔符是 \t统计结果直接打印到控制台（生产上市Sink到目的地）实现：Flink + J

Flink概述Apache Flink® — Stateful Computations over Data Streams基于数据流的有状态的计算。Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。处理无界和有界数据任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。数据可以被作为 无界