- 博客(73)
- 资源 (3)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 ubuntu中使用 vscode 连接docker开发环境
Remote Development 是一个 Visual Studio Code 插件，它允许你在远程环境中进行开发，无论是在远程服务器、容器中还是虚拟机里。这个插件的核心功能是通过 SSH 或者其他远程协议连接到远程系统，让你可以在本地使用 VS Code 编辑器进行远程开发。文件保存和编辑都会在远程环境中进行，但在本地 VS Code 中进行显示和操作。连接成功后，VS Code 会在远程环境中打开一个新的窗口或者工作区。选择你想要连接的远程环境类型（比如 SSH、容器、WSL 等）。
2023-11-14 19:15:28
1458
原创 Datax 本地启动调试 mac m1
在idea 中找到 com.alibaba.datax.core.Engine 类。vm option 需要写上你用maven打包后生成的target目录。右键选择启动参数，按照自己存放datax 的路径修改如下配置。program args 写json文件目录。
2023-03-17 15:57:16
887
原创 git 分离头指针
文章目录git checkout 是如何工作的detached head 分离头指针分离头指针的作用实例说明1 切换分离头指针状态2 在此状态做修改3 查看头指针4 保留更改或者是丢弃5保存分支的修改git checkout 是如何工作的简单来说git checkout有两种使用方式git checkout 加分支名称git checkout mastergit checkout 加一个具体的commit 5d27a489853c9c51 是一个具体的提交的hash 值。git
2022-01-06 23:23:39
1877
原创 java常用BeanCompareUtil 注解 + 反射实现 (实例说明)
文章目录背景使用实例说明使用方式执行效果背景在开发过程中经常会使用到一种场景就是比较内存中的两个bean 数据有什么同。其实这种功能算是一个非常常用的场景。使用实例说明一共需要以下的几个模块FieldComparison 自定义注解，主要是标识需要比较的bean 中的字段。BeanCompareUtil 核心util 主要是实现compare 方法。FieldMapping 字段映射关系，选用可以对特定的字段进行转义。DefaultFieldMapping fieldMapping的
2021-12-24 17:30:07
1313
原创 hive 文件存储结构总结，以及适用场景。
文章目录背景基本概念行式存储和列式存储总结Hive 存储格式有哪些？TEXTFILE 文本格式文件（行式存储）适用场景SequenceFile（二进制序列化文件）适用场景sequenceFile如何解决小文件问题RCFile（行列式文件）存储方式ORC（优化的行列式文件）存储方式适用场景Parquet适用场景背景hive 的数据存储其实是在HDFS文件系统中的。hive 提供了一种查询HDFS 中文件的一种方式。和传统的关系型数据库相比，hive 对所存储的数据在文件中的编码方式有很大的灵活性。Apac
2021-12-19 14:14:53
3154
原创 FlinkTable&Sql 中 OutputSelector升级到OutputTag 对数据分流（包含对比实例）
文章目录案例说明flink 1.10 版本 的outputSelector 实现flink 1.12 版本 OutputTag 实现案例说明利用flink source 功能实现一个自定义的实时数据源。达到的效果是：将实时的商品数据进行分流，分成even 和 odd 两个流进行join。条件是名称相同，最后把join 的结果输出。flink 1.10 版本 的outputSelector 实现public class MyStreamingSource implements SourceFu
2021-12-16 14:07:07
2057
1
原创 低版本 mysql 实现 ROW_NUMBER() over(partition by )分组后top n问题
文章目录问题问题# 表内容+--------+-------+-----+| Person | Group | Age |+--------+-------+-----+| Bob | 1 | 32 || Jill | 1 | 34 || Shawn | 1 | 42 || Jake | 2 | 29 || Paul | 2 | 36 || Laura | 2 | 39 |+--------+-----
2021-12-01 16:14:00
1683
原创 Flink Windows本地 wordcount 批、流、sql 案例
文章目录创建工程直接用maven 创建工程flink 提供的创建工程的方式添加依赖DataSet wordcountDataStream wordCount创建工程直接用maven 创建工程mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.10.0通过mave
2021-11-18 11:48:18
1394
原创 hbase 获取分区信息 shell
文章目录hbase 获取分区信息hbase 获取分区信息scan 'hbase:meta',{FILTER=>"PrefixFilter('table_name')"}info:regioninfo 此限定符包含 STARTKEY 和 ENDKEY。info:server 此限定符包含 region 服务器的信息
2021-09-23 15:59:00
2918
原创 scala reduce 图解
文章目录scala reduce 集合操作图解scala reduce 集合操作图解// Scala program to// print maximum value// using reduce() // Creating objectobject GfG{ // Main methoddef main(args:Array[String]){ // source collection val collection = List(1, 3, 2, 5, 4,
2021-09-18 22:54:43
265
原创 hbase 修改已有表的命名空间
create_namespace 'New_Namepace'snapshot 'Test','Test_default_snap'clone_spanshot 'Test_default_snap','New_Namepace:Test'
2021-09-01 17:28:26
601
原创 gitlab runner .gitlab-ci.yml 中的cache 和 artifacts 的使用场景。springboot案例
文章目录gitlab runner .gitlab-ci.yml 中的cache 和 artifacts 的区别gitlab runner .gitlab-ci.yml 中的cache 和 artifacts 的区别cachecache 关键字使用来做缓存的。作业可以在cache 中缓存一个或者是多个文件之后可以下载，目的是使用 相同缓存的后续作业可以不用再次下载文件。所以整个cicd 过程可以执行的更快。使用场景：主要是用来缓存 比如 java maven 项目中的依赖项。特点：cache
2021-08-31 20:12:16
8512
4
原创 redis centos安装与基本运维，正式环境启动、关闭方式
安装redis使用源码的方式进行安装因为管理工具的版本不一定是最新的版本所以使用源码的方式进行安装。# 1 下载稳定的版本 wget https://download.redis.io/releases/redis-5.0.13.tar.gz# 2 解压tar -xzvf redis-5.0.13.tar.gz# 3 建立软连接方便后续升级ln -s redis-5.0.13 redis# 4 进入目录cd redis# 5 编译，确保计算机已经安装好了GCCmake# 6 安装
2021-08-13 19:07:29
151
原创 java 位运算基础
java 逻辑运算符java 提供的位运算(<<,>>,>>>,&,|,~,^) 。除了非(~)是一元运算符，其它都是二元操作符。什么是一元和二元运算符？一元运算符操作数只有一个。例如// 例如! 是逻辑运算符，表示相反，所以!是一元运算符。!x二元运算符：有两个操作数。例如// + 号就是二元运算符。x+y二进制中如何表示负数？二进制中采用最高位是符号位的方法区分正负数。剩下的就是这个数的绝对值部分。通过将负数转换成 二进制
2021-08-12 20:15:56
150
原创 trino cli 语句
文章目录showuseshowshow catalogs Catalog----------- jmx memory system tpcds tpch(5 rows)列出 tpch 中的所有schemaSHOW SCHEMAS FROM tpch; Schema-------------------- information_schema sf1 sf100 sf1000 sf10000 sf100000 sf300 sf3000 sf3000
2021-07-29 17:51:44
757
原创 数据仓库问题整理
文章目录面试题整理数据仓库是如何分层的？每一层的作用是什么？为什么要这么分层？面试题整理数据仓库是如何分层的？每一层的作用是什么？为什么要这么分层？为什么要分层：1 复杂问题简单化，容易定位问题2 减少重复开发，利用中间层数据，大大减少重复计算，增加数据复用性。3 隔离原始数据，将统计数据和原始数据隔离开。如何分层：1 ODS （operational data store）层：存放原始数据。2 DWD (data warehouse detail)层： 数据清理(去空，脏数据，不合理数据
2021-07-26 11:09:42
350
原创 hbase rowkey 中文字符串查询异常处理。
文章目录问题描述原因分析解决办法工具黑色菱形白色问号代表了什么意思？hbase rowkey 中为什么会出现十六进制数？hbase 十六进制转字符串参考链接问题描述hbase 扫描两个rowkey 之间的数据(左包含,右不包含)， 在设置scan的startRowKey与endRowKey时，经常需要在某个rowkey条件字符串后面补充出一个范围。本案例出现了查询不到数据的问题。例如rowkey 的结构如下black_id|area_id|group_id|character_name其中cha
2021-07-19 21:17:00
1604
4
原创 mybaits-plugs 多数据源 最简单的入门案例
文章目录入门案例下载链接项目目录基础pom 文件configcontroller程序入库入门案例下载链接项目目录基础pom 文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:
2021-06-11 15:32:44
193
原创 nacos 入门案例和基础概念总结
文章目录nacos - 配置管理1 什么是配置中心1.1 什么是配置1.2 什么是配置中心2 nacos 简介2.1 主流配置中心对比2.2 nocos 简介2.3 nacos 特性3 nacos 快速入门3.1 安装3.2 配置入门3.2.1 发布配置3.2.2 客户端获取配置4 nacos 配置管理基础应用4.1配置管理（数据）模型4.2 命名空间管理4.3 配置管理4.3.1 不同的命名空间的差异如果不大，可以做导出和克隆的操作。4.3.2 历史版本查询4.3.3 监听查询nacos - 配置管理
2021-05-26 17:12:04
390
4
原创 windows c 盘清理总结
文章目录软件免费，方便安全快捷！！！总共分三步软件方式清理c 盘软件免费，方便安全快捷！！！总共分三步1 安装软件2 扫描3 选择删除自己找不到的垃圾步骤1 安装软件https://wiztreefree.com/download2 扫描3 选择想要删除的文件右键直接删除。...
2021-05-17 22:56:54
519
原创 mysql 业务开发常用sql 语句总结
文章目录分组聚合 GROUP_CONCAT()分组聚合 GROUP_CONCAT()使用总结SELECT emp_id, first_name, last_name, dep_id, GROUP_CONCAT( quality ) as "qualities" FROM Employee group by emp_id;参考连接1 https://www.educative.io/edpresso/what-is-the-groupconcat-function-in-mysql2
2021-05-08 14:21:33
199
原创 java 异常处理(自定义异常)
文章目录1 自定义异常1.1 是什么1.2 为什么需要自定义异常1.3 自定义检测类异常1.4 自定义运行时异常1.5 最佳实践1 自定义异常1.1 是什么Java为我们提供了创建自己的异常的工具，这些异常基本上是Exception的派生类。 例如，以下代码中的MyException扩展了Exception类。1.2 为什么需要自定义异常尽管Java异常几乎涵盖了所有异常情况和条件，但是有时候，我们需要创建自己的代表业务逻辑异常的内容，即业务逻辑或工作流程特有的异常。 例如EmailNotU
2021-05-07 14:53:18
1512
原创 vscode 中解决 Java 11 or more recent is required to run. Please download and install a recent JDK
1 打开settings 配置。2 搜索找到 spring-boot.ls.java.home3 将下面的配置写入到 json 配置文件中这里需要结合自己的路径去配置相关的javahome"java.home": "/Library/Java/JavaVirtualMachines/adoptopenjdk-11.jdk/Contents/Home"...
2021-04-21 21:39:03
1614
原创 mysql 存储大数据 字段类型选择
文章目录BLOB是一个二进制大型对象，是一个可以存储大量数据的容器，它能容纳不同大小的数据。BLOB类型实际是个类型系列（TinyBlob、Blob、MediumBlob、LongBlob），除了在存储的最大信息量上不同外，他们是等同的。类型 大小(单位：字节) TinyBlob 最大 255 Blob 最大 65K MediumBlob 最大 16M LongBlob
2021-04-21 14:37:49
3216
原创 数据密集型应用系统设计 笔记11流处理系统
文章目录流处理系统流是什么消息系统多对多流处理系统批处理系统中，一个作业输入和输出的是文件，流处理系统 等效的流是什么。流是什么一个小的不可变的对象，该对象包含某个时间点发生的事情的细节。每个事件包含一个时间点。（墙上时钟）例如 web 日志的每一行都是一个事件。事件： 通常事件会被编码为文本字符串或者是JSON，或者是某种二进制形式。通过这种编码的方式保存事件。可以持久化。或者通过网络事件发送到另一个节点进行处理。主题：文件被写入一次可能被多个作业读取，流术语中，事件也可能有多个消费
2021-04-20 22:34:20
201
原创 spring boot JPA 学习笔记
文章目录spring data jpa核心组成spring data jpa学习 spring data jpa 之前其实应该先了解一下 JPA（Java Persistence API）规范JPA 规范出现的目的JPA 是在 JDK 5.0 后提出的 Java 持久化规范（JSR 338）。JPA 规范本身是为了整合市面上已有的 ORM 框架，结束 Hibernate、EclipseLink、JDO 等 ORM 框架各自为战的割裂局面，简化 Java 持久层开发。JPA规范 解决了什么问题JP
2021-04-09 15:26:28
395
原创 java 8学习笔记
文章目录java8 collection 接口removeif() 示例java8 collection 接口removeif() 示例作用：删除集合中符合条件的成员，empty集合也可以，但不能是null。 /** * 删除集合中符合条件的成员，empty集合也可以。 */ private static void removeIfTest() { List<String> list = Lists.newArrayList("1","1
2021-04-08 13:54:55
125
原创 java 集合 guava 用法总结
文章目录list.partition用法list.partition用法返回一个连续的子列表，每个子列表的大小相同（最后一个子列表的大小可能小于指定的大小）eg 将包含[a，b，c，d，e]的列表分区大小为3，将产生[[a，b，c]，[d，e]] –一个包含两个内部列表的外部列表 三个和两个元素，都按原始顺序排列。package test; import com.google.common.collect.Lists;import org.junit.Test; import java.u
2021-04-07 21:06:42
171
原创 maven总结
文章目录maven问题[WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platform dependent! 解决方法maven问题[WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platform dependent! 解决方法
2021-03-28 14:35:09
3013
原创 Can not construct instance of xxxxxxxxx : no suitable constructor found
文章目录原因解决原因原来Jackson默认会去调用无参数的构造函数，如果自定义了带参数构造函数，Object自带的无参数构造函数就没有了。而且就算提供了带参数构造函数，jackson也无法无歧义地调用带参数构造函数，因为调用参数的顺序无法确定。解决解决方法，显式声明一下无参数构造函数就可以了。...
2021-03-17 15:24:17
953
原创 Non-resolvable parent POM 解决。分析 maven parent 解析顺序。
文章目录原因解决办法原理Maven complaining about parent relative path刚来新公司，工作的时候leader 让导入了一个maven 聚合的项目。需求是从maven聚合项目，中独立一个服务出来。类似上图独立 eurekaserver 项目成一个独立的项目，方便部署。报错信息：[FATAL] Non-resolvable parent POM for com.alibaba:********:[unknown-version]: Could not fin
2021-02-07 20:13:06
53029
2
原创 从面试的角度重新学习java final 关键字
文章目录1 final 关键字的用法是什么？2 什么是空白final变量3 可以在不初始化的情况下声明最终变量吗？初始化块static 静态初始化块通过构造器4.方法内4 什么是final 方法5 什么是 final 类6 可以将构造器声明为 final 吗？7 如果final 修饰List/ArrayList8java中什么是final static 变量1 final 关键字的用法是什么？final关键字可以用于修饰类、类属性和类方法。– 对于被final关键字修饰的类属性而言，子类就不能给他.
2020-12-17 11:23:52
156
原创 java 注解由来和使用
文章目录注解产生的原因xml 和 注解的使用场景与区别注解的本质，以及如何编写自定义注解注解产生的原因在注释之前（甚至之后），XML被广泛用于框架的配置，开发人员和架构师认为XML维护变得越来越麻烦。 他们想要某些东西可以与代码紧密耦合而不是XML，而XML与代码之间的耦合非常松散（在某些情况下，几乎是分开的）。如果搜索“ XML与注释”，会发现很多有趣的争论。 有趣的一点是，引入了XML配置可以将配置与代码分开。 注解可以提供更大的便捷性，易于维护修改，但耦合度高，而 XML 相对于注解则是相反的。
2020-12-04 14:25:17
469
原创 Scala Collections 集合操作 groupBy() example
文章目录groupBy()使用实例contains()模式匹配使用scala 提供了丰富的集合 API ，就像groupBy()groupBy()使用实例下面是一个Strings 的集合val sports = Seq("baseball", "ice hockey", "football", "basketball", "110m hurdles", "field hockey")这里的scala 类型推断如下。执行sports.groupBy(_.charAt(0))我们可以将这
2020-11-25 15:30:47
985
原创 scala 函数式编程案例 map 和 flatmap 详解。
文章目录简介常规函数的局限可扩展性与高阶函数=> 符号具有多个参数的函数值（高阶函数）补充说明简介函数是一等公民，可以作为参数传入其他的函数中去。函数的返回值可以是函数，函数甚至可以嵌套函数。scala 中的高阶函数可以被称为函数值（function value）闭包 是函数值的一种特殊形式，会捕获或者是绑定到另外一个作用域或者是上下文中定义的变量。简单点理解函数就是和其他的数据类型一样，可以赋值给变量，也可以作为参数传递给另外一个变量。常规函数的局限举例，我们要算出从1 到给定整
2020-11-23 15:46:03
405
原创 java多线程核心编程技术-Lock的使用-使用ReentrantLock类
文章目录使用Reentrantlock 类使用Reentrantlock 实现同步使用ReentrantLock 实现同步 测试2使用condition 实现等待/通知正确使用Condition 实现等待/通知使用Reentrantlock 类使用Reentrantlock 实现同步package ReentrantLockTest;import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.Reentrant
2020-11-19 17:04:57
141
原创 playframework object index is not a member of package views.html intellij 问题修复
在intellij 中启动play项目遇到object index is not a member of package views.html解决方法scala 的视图文件没有编译，所以产生了这种问题，可以手动编译视图，但是这不是我们想要的。通过打开Settings/Language and Frameworks/Play参考https://stackoverflow.com/questions/39827783/intellij-play-object-index-is-not-a-
2020-06-10 10:56:11
510
原创 elasticsearch 单机配置填坑
文章目录1 the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured1 the default discovery settings are unsuitable for production use; at
2020-05-26 14:38:47
1082
TA创建的收藏夹 TA关注的收藏夹
TA关注的人