wangrui1605的博客

文章目录背景使用实例说明使用方式执行效果背景在开发过程中经常会使用到一种场景就是比较内存中的两个bean 数据有什么同。其实这种功能算是一个非常常用的场景。使用实例说明一共需要以下的几个模块FieldComparison 自定义注解，主要是标识需要比较的bean 中的字段。BeanCompareUtil 核心util 主要是实现compare 方法。FieldMapping 字段映射关系，选用可以对特定的字段进行转义。DefaultFieldMapping fieldMapping的

文章目录背景基本概念行式存储和列式存储总结Hive 存储格式有哪些？TEXTFILE 文本格式文件（行式存储）适用场景SequenceFile（二进制序列化文件）适用场景sequenceFile如何解决小文件问题RCFile（行列式文件）存储方式ORC（优化的行列式文件）存储方式适用场景Parquet适用场景背景hive 的数据存储其实是在HDFS文件系统中的。hive 提供了一种查询HDFS 中文件的一种方式。和传统的关系型数据库相比，hive 对所存储的数据在文件中的编码方式有很大的灵活性。Apac

文章目录案例说明flink 1.10 版本 的outputSelector 实现flink 1.12 版本 OutputTag 实现案例说明利用flink source 功能实现一个自定义的实时数据源。达到的效果是：将实时的商品数据进行分流，分成even 和 odd 两个流进行join。条件是名称相同，最后把join 的结果输出。flink 1.10 版本 的outputSelector 实现public class MyStreamingSource implements SourceFu

文章目录创建工程直接用maven 创建工程flink 提供的创建工程的方式添加依赖DataSet wordcountDataStream wordCount创建工程直接用maven 创建工程mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.10.0通过mave

文章目录hbase 获取分区信息hbase 获取分区信息scan 'hbase:meta',{FILTER=>"PrefixFilter('table_name')"}info:regioninfo 此限定符包含 STARTKEY 和 ENDKEY。info:server 此限定符包含 region 服务器的信息

文章目录scala reduce 集合操作图解scala reduce 集合操作图解// Scala program to// print maximum value// using reduce() // Creating objectobject GfG{ // Main methoddef main(args:Array[String]){ // source collection val collection = List(1, 3, 2, 5, 4,

create_namespace 'New_Namepace'snapshot 'Test','Test_default_snap'clone_spanshot 'Test_default_snap','New_Namepace:Test'

文章目录gitlab runner .gitlab-ci.yml 中的cache 和 artifacts 的区别gitlab runner .gitlab-ci.yml 中的cache 和 artifacts 的区别cachecache 关键字使用来做缓存的。作业可以在cache 中缓存一个或者是多个文件之后可以下载，目的是使用 相同缓存的后续作业可以不用再次下载文件。所以整个cicd 过程可以执行的更快。使用场景：主要是用来缓存 比如 java maven 项目中的依赖项。特点：cache

安装redis使用源码的方式进行安装因为管理工具的版本不一定是最新的版本所以使用源码的方式进行安装。# 1 下载稳定的版本 wget https://download.redis.io/releases/redis-5.0.13.tar.gz# 2 解压tar -xzvf redis-5.0.13.tar.gz# 3 建立软连接方便后续升级ln -s redis-5.0.13 redis# 4 进入目录cd redis# 5 编译，确保计算机已经安装好了GCCmake# 6 安装

java 逻辑运算符java 提供的位运算(<<,>>,>>>,&,|,~,^) 。除了非(~)是一元运算符，其它都是二元操作符。什么是一元和二元运算符？一元运算符操作数只有一个。例如// 例如! 是逻辑运算符，表示相反，所以!是一元运算符。!x二元运算符：有两个操作数。例如// + 号就是二元运算符。x+y二进制中如何表示负数？二进制中采用最高位是符号位的方法区分正负数。剩下的就是这个数的绝对值部分。通过将负数转换成 二进制

文章目录showuseshowshow catalogs Catalog----------- jmx memory system tpcds tpch(5 rows)列出 tpch 中的所有schemaSHOW SCHEMAS FROM tpch; Schema-------------------- information_schema sf1 sf100 sf1000 sf10000 sf100000 sf300 sf3000 sf3000

文章目录面试题整理数据仓库是如何分层的？每一层的作用是什么？为什么要这么分层？面试题整理数据仓库是如何分层的？每一层的作用是什么？为什么要这么分层？为什么要分层：1 复杂问题简单化，容易定位问题2 减少重复开发，利用中间层数据，大大减少重复计算，增加数据复用性。3 隔离原始数据，将统计数据和原始数据隔离开。如何分层：1 ODS （operational data store）层：存放原始数据。2 DWD (data warehouse detail)层： 数据清理(去空，脏数据，不合理数据

文章目录问题描述原因分析解决办法工具黑色菱形白色问号代表了什么意思？hbase rowkey 中为什么会出现十六进制数？hbase 十六进制转字符串参考链接问题描述hbase 扫描两个rowkey 之间的数据(左包含,右不包含)， 在设置scan的startRowKey与endRowKey时，经常需要在某个rowkey条件字符串后面补充出一个范围。本案例出现了查询不到数据的问题。例如rowkey 的结构如下black_id|area_id|group_id|character_name其中cha

文章目录入门案例下载链接项目目录基础pom 文件configcontroller程序入库入门案例下载链接项目目录基础pom 文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:

文章目录nacos - 配置管理1 什么是配置中心1.1 什么是配置1.2 什么是配置中心2 nacos 简介2.1 主流配置中心对比2.2 nocos 简介2.3 nacos 特性3 nacos 快速入门3.1 安装3.2 配置入门3.2.1 发布配置3.2.2 客户端获取配置4 nacos 配置管理基础应用4.1配置管理（数据）模型4.2 命名空间管理4.3 配置管理4.3.1 不同的命名空间的差异如果不大，可以做导出和克隆的操作。4.3.2 历史版本查询4.3.3 监听查询nacos - 配置管理

文章目录分组聚合 GROUP_CONCAT()分组聚合 GROUP_CONCAT()使用总结SELECT emp_id, first_name, last_name, dep_id, GROUP_CONCAT( quality ) as "qualities" FROM Employee group by emp_id;参考连接1 https://www.educative.io/edpresso/what-is-the-groupconcat-function-in-mysql2

文章目录1 自定义异常1.1 是什么1.2 为什么需要自定义异常1.3 自定义检测类异常1.4 自定义运行时异常1.5 最佳实践1 自定义异常1.1 是什么Java为我们提供了创建自己的异常的工具，这些异常基本上是Exception的派生类。 例如，以下代码中的MyException扩展了Exception类。1.2 为什么需要自定义异常尽管Java异常几乎涵盖了所有异常情况和条件，但是有时候，我们需要创建自己的代表业务逻辑异常的内容，即业务逻辑或工作流程特有的异常。 例如EmailNotU

1 打开settings 配置。2 搜索找到 spring-boot.ls.java.home3 将下面的配置写入到 json 配置文件中这里需要结合自己的路径去配置相关的javahome"java.home": "/Library/Java/JavaVirtualMachines/adoptopenjdk-11.jdk/Contents/Home"...

文章目录流处理系统流是什么消息系统多对多流处理系统批处理系统中，一个作业输入和输出的是文件，流处理系统 等效的流是什么。流是什么一个小的不可变的对象，该对象包含某个时间点发生的事情的细节。每个事件包含一个时间点。（墙上时钟）例如 web 日志的每一行都是一个事件。事件： 通常事件会被编码为文本字符串或者是JSON，或者是某种二进制形式。通过这种编码的方式保存事件。可以持久化。或者通过网络事件发送到另一个节点进行处理。主题：文件被写入一次可能被多个作业读取，流术语中，事件也可能有多个消费

文章目录spring data jpa核心组成spring data jpa学习 spring data jpa 之前其实应该先了解一下 JPA（Java Persistence API）规范JPA 规范出现的目的JPA 是在 JDK 5.0 后提出的 Java 持久化规范（JSR 338）。JPA 规范本身是为了整合市面上已有的 ORM 框架，结束 Hibernate、EclipseLink、JDO 等 ORM 框架各自为战的割裂局面，简化 Java 持久层开发。JPA规范 解决了什么问题JP

文章目录java8 collection 接口removeif() 示例java8 collection 接口removeif() 示例作用：删除集合中符合条件的成员，empty集合也可以，但不能是null。 /** * 删除集合中符合条件的成员，empty集合也可以。 */ private static void removeIfTest() { List<String> list = Lists.newArrayList("1","1

文章目录maven问题[WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platform dependent! 解决方法maven问题[WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platform dependent! 解决方法

文章目录原因解决原因原来Jackson默认会去调用无参数的构造函数，如果自定义了带参数构造函数，Object自带的无参数构造函数就没有了。而且就算提供了带参数构造函数，jackson也无法无歧义地调用带参数构造函数，因为调用参数的顺序无法确定。解决解决方法，显式声明一下无参数构造函数就可以了。...

文章目录原因解决办法原理Maven complaining about parent relative path刚来新公司，工作的时候leader 让导入了一个maven 聚合的项目。需求是从maven聚合项目，中独立一个服务出来。类似上图独立 eurekaserver 项目成一个独立的项目，方便部署。报错信息：[FATAL] Non-resolvable parent POM for com.alibaba:********:[unknown-version]: Could not fin

文章目录1 final 关键字的用法是什么？2 什么是空白final变量3 可以在不初始化的情况下声明最终变量吗？初始化块static 静态初始化块通过构造器4.方法内4 什么是final 方法5 什么是 final 类6 可以将构造器声明为 final 吗？7 如果final 修饰List/ArrayList8java中什么是final static 变量1 final 关键字的用法是什么？final关键字可以用于修饰类、类属性和类方法。– 对于被final关键字修饰的类属性而言，子类就不能给他.

文章目录注解产生的原因xml 和 注解的使用场景与区别注解的本质，以及如何编写自定义注解注解产生的原因在注释之前（甚至之后），XML被广泛用于框架的配置，开发人员和架构师认为XML维护变得越来越麻烦。 他们想要某些东西可以与代码紧密耦合而不是XML，而XML与代码之间的耦合非常松散（在某些情况下，几乎是分开的）。如果搜索“ XML与注释”，会发现很多有趣的争论。 有趣的一点是，引入了XML配置可以将配置与代码分开。 注解可以提供更大的便捷性，易于维护修改，但耦合度高，而 XML 相对于注解则是相反的。

文章目录使用Reentrantlock 类使用Reentrantlock 实现同步使用ReentrantLock 实现同步 测试2使用condition 实现等待/通知正确使用Condition 实现等待/通知使用Reentrantlock 类使用Reentrantlock 实现同步package ReentrantLockTest;import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.Reentrant