OneSeek的博客

算子map输入一个数据流，输出一个数据流转换1：1flatmap转换1:n / n:1filter过滤计算每个元素的布尔函数，并保留那些函数返回真的元素。返回true通过返回false排除keyBy(x)基于 key 对流进行分区。使用 hash 函数对流进行分区，返回 KeyedDataStream 数据流以数组的第x个元素作为key来分组通过keyBy，DataStream→KeyedStream。reducereduce需要针对分组或者一个window(窗口)来执行

环境 JDK8、Kafka、zookeeper官网 https://docs.kafka-eagle.org下载安装https://docs.kafka-eagle.org/2.env-and-install/2.installing解压后配置环境变量vi /etc/profileexport KE_HOME=/root/software/kafka-eagleexport PATH=$PATH:$KE_HOME/bin配置system-configcd ${KE_HOME}/conf

Kafka 创建 两个topic 一个用于发送信息 一个用于接收Flink处理之后的信息Kafka生产者Java代码package cn.oneseek;import cn.oneseek.util.JsonData;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.common

Flink从Kafka读取数据存入MySQL运行环境 os Version:win10 Flink Version:1.6.2 Kafka Version:0.9.0.0 MySQL Version:5.6.21数据格式1.74.103.143 2018-12-20 18:12:00 “GET /class/130.html HTTP/1.1” 404 https://search.yahoo.com/search?p=Flink实战zoo

大数据Hadoop大数据生态2020年6月15日8:47 0. Linux1.HDFS 分布式文件系统2.MapReduce并行计算框架3.Hive 数据仓库4. sqoop 数据集成工具HDFS<->RDBMS5.用户行为分析项目大数据产生的三个助推力1.互联网产生的非结构化数据(TB PB以上)2.传统名数据库在处理海量非结构化数据产生的瓶颈3.分布式和搜索技术(云计算、爬虫) 12-13 午高峰1