老树红枫-优快云博客

原创 Flink窗口基础(一)

Flink窗口基础(一)1、窗口概念：流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而Window窗口是一种切割无限数据为有限块进行处理的手段。2、窗口的分类：时间驱动：基于时间的窗口**时间驱动→滚动窗口(Tumbling Windows)：**滚动窗口有固定的大小, 窗口与窗口之间不会重叠也没有缝隙。滚动窗口能将数据流切分成不重叠的窗口，每一个事件只能属于一个窗口。如图code：env .socketTextStream("

2021-09-01 20:30:08 304

转载 java_Lambda

Java8→Lambda表达式1、什么是λ表达式λ表达式本质上是一个匿名方法。让我们来看下面这个例子：public int add(int x, int y) { return x + y;}转成λ表达式后是这个样子：(int x, int y) -> x + y;参数类型也可以省略，Java编译器会根据上下文推断出来：(x, y) -> x + y; //返回两数之和或者(x, y) -> { return x + y; } //显式指明返回值可见λ

2021-08-27 13:12:01 411

原创 Flink—RedisSink

Flink—RedisSink1.开发流程特别说明：Flink版本1.12Reids不是跟着Flink版本的走的，相当于有第三方提供的工具类。2.环境介绍idea+liunx添加Redis Connector依赖<dependency> <groupId>org.apache.fli

2021-08-27 01:46:05 461

原创 Flink—kafkaSink

Flink—kafkaSink1.开发流程特别说明：Flink内置了一些Sink, 除此之外的Sink需要用户自定义!2.环境介绍hadoop+zookeeper+kafka添加Kafka Connector依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId>

2021-08-27 00:27:59 2591

原创 Flink从Kafka读取数据

Flink从Kafka读取数据1、环境搭建，hadoop集群、zookeeper、kafka2、IDEA程序编写+配置依赖在IDEA中添加kafka配置依赖：Apache Flink 附带了一个通用的 Kafka 连接器，它试图跟踪最新版本的 Kafka 客户端。它使用的客户端版本可能会在 Flink 版本之间发生变化。现代 Kafka 客户端向后兼容代理版本 0.10.0 或更高版本。关于Kafka兼容性的详细信息，请参考Kafka官方文档。<dependency> <gro

2021-08-22 17:23:40 6039 1

原创 JAVA---＞定义泛型结构：泛型类、泛型接口、泛型方法

泛型，即“参数化类型”。就是将类型由原来的具体的类型参数化，类似于方法中的变量参数，此时类型也定义成参数形式（可以称之为类型形参），然后在使用/调用时传入具体的类型（类型实参）。例如：GenericClass<T>{}一些常用的泛型类型变量：E：元素（Element），多用于java集合框架K：关键字（Key）N：数字（Number）T：类型（Type）V：值（Value）1 泛型类的说明import java.util.Objects;/** * 自定义泛型类

2020-11-15 17:17:15 536

原创 JAVA----＞通配符的使用

通配符用法 1. 在实例化对象的时候，不确定泛型参数的具体类型时，可以使用通配符进行对象定义 2. <? extends Object>代表上边界限定通配符 3. <? super Object>代表下边界限定通配符。上边界限定通配符上边界通配符直接使用add()方法受限，但是可以用来获取各种数据类型的数据，并赋值给父类型的引用。List<? extends Number> list=null;list=new ArrayList<Integ

2020-11-15 17:06:05 780

原创 JAVA----＞HashMap的底层实现原理

HashMap使用的存储结构：jdk8:数组+链表+红黑树 jdk7:数组+链表加了红黑树以后，提高数据的查找、对比的效率链表：“七上八下”初始化的问题：new HashMap()jdk 8：没有初始化底层的数组； jdk7实例化时就初始化了底层的数组jdk8：底层的数组Node[] : (class HashMap.Node implements Map.Entry)jdk7：底层的数组Entry[] : (class HashMap.Entry imp..

2020-11-15 16:53:53 267

原创 Spark 文件切片与数据读取解析

Spark 文件切片与数据读取解析1.Spark读取文件采用的是Hadoop的读取规则文件切片规则：以字节方式来切片数据读取规则：以行为单位来读取注意：文件中回车换行也占2个字节2.问题：文件到底切成几片（分区的数量）？文件字节数（10），预计切片数量（2）10/2=》5byte源码：totalSize = 10goalSize = totalSize / numSplits = 10 / 2 = 5 …1 => 3//所谓的最小分区数，取决于总的字节数是否能整除分区

2020-11-15 16:48:04 1087 1

原创 hive随笔一

hive随笔一满足用户输入sql，程序转化为mr程序，用来分析数据。hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，并提供类SQL查询功能。**hql本质：**将sql转换为MapReduce程序。**数据存储：**基于hadoop的hdfs的存储**数据ELT：**基于MapReduce完成数据分析**结构化数据：**有固定格式的数据**映射：**一个表和一个文件产生对应**主要用途：**用来做离线数据分析，比直接用MapReduce开发效率更高。*

2020-11-13 23:05:50 303

原创 kafka启动失败分析---随笔

启动kafka失败思路：1、先去查看kafka日志cd /opt/module/kafka/logs（每个人的路径不同，自己找到自己的kafka路径）查看最后500行日志信息输入指令：tail -500 server.log看到：ERROR Fatal error during KafkaServer startup.Configured zookeeper.connect may be wrong2、检查一下kafka配置文件 config/server.propertieszo

2020-07-21 16:53:14 11405 1

原创 linux网络断开分析处理

在项目中偶尔会遇到点linux网络失联小问题情况：linux 半小时前还是正常运行，突然网络中断检查点：1、vim /etc/sysconfig/network-scripts/ifcfg-ens33 ip配置没变。2、ping www.baidu.com 失败，无法连接3、ifconfig 发现网卡不见总结：以后再写解决方案：按顺序执行下列3条指令systemctl stop NetworkManager 临时关闭systemctl disable NetworkManager

2020-07-20 19:28:26 857

原创 SQL入门篇一

1、SQL概述：SQL：Structured Query Language结构化查询语言，它是使用关系模型的数据库应用语言，由IBM上世纪70年代开发出来。后由美国国家标准局（ANSI）开始着手制定SQL标准，先后有SQL-86，SQL-89，SQL-92，SQL-99等**标准。2、SQL作用SQL是用于访问和处理数据库的标准的计算机语言。使用SQL，SQL Server，Access，...

2020-03-28 01:36:46 226

原创 java：编写10个线程，第一个线程从1加到10，第二个线程从11加到20……第十个线程从91加到100，最后再,10个线程结果相加

在生活中，人体可以同时进行各项生命活动。例如，人体可以同时进行呼吸、血液循环等等…当我们在编写程序时，这些行为我们可以抽象为并发，而将并发完成的每一件事称为线程。线程创建的两种传统方式方式一：继承Thread类1.创建Thread类的子类2.重写Thread类的run（）方法，将当前线程要执行的操作声明在run（）方法内！3.实例化Thread类的子类4通过Thread类的子类对对象...

2020-03-12 22:12:46 16972 2