婉然从物-优快云博客

原创 Hive中窗口函数

按照功能，常用窗口可划分为如下几类：聚合函数、跨行取值函数、排名函数。函数不支持自定义窗口。

2024-10-07 11:28:55 251

原创 String，StringBuilder，StringBuffer，StringJoiner

StringBuilder和StringBuffer功能类似，StringBuilder线程不安全，StringBuffer线程是安全的。构造器：StringJoiner("间隔符" "开始符", "结束符")。支持链式编程：sb.append("a").append("b").reverse();append：添加，可以添加几乎任意类型数据。toString：转化为String。toString：转化为String。add：添加，只能添加字符串。length：字符串长度。length：字符串长度。

2024-10-04 17:23:59 160

原创 Spark总结

1、继承Partitioner。2、重写方法（分区数量，根据key返回分区索引）1、继承AccumulatorV2，定义泛型[In, Out]2、重写方法。

2024-10-03 17:20:02 587

原创 Java集合简单总结

Treeset:按照大小默认升序排序、不重复、无索引。LinkedHashset:有序、不重复、无索引。1、无参创建时，会在底层创建一个默认长度为0的数组，有参创建时数组长度为指定长度。LinkedHashMap (由键决定特点):由键决定的特点:有、不重复、无索引。TreeMap (由键决定特点):按照大小默认升序排序、不重复、无索引。HashMap(由键决定特点):无序、不重复、无索引;ArrayList、LinekdList:有序、可重复、有索引。Hashset:无序、不重复、无索引;

2024-10-03 17:02:44 376

原创将本地文件夹上传到远程仓库（git命令方式）

示例：git remote add origin git@github.com:username/repository.git，远程仓库链接一般在相应仓库页面 Clone按钮，如下。如果远程仓库不为空，需要先将远程仓库内容拉取到本地仓库，再进行合并。

2024-06-29 12:07:59 335

原创远程仓库MarkDown文档插入图片

也可以直接在.md文档显示图片，格式为![](远程git仓库图片相对路径) （例如远程仓库.md文档路径为http://github.hello.md, 图片路径为。2、在本地仓库相应.md文档插入远程仓库图片链接（快捷键Ctrl K），格式为： [图片名称](远程仓库图片链接)http://github.photo, 则可以表示为：!1、在本地仓库创建文件夹，将图片放入文件夹，并上传到远程仓库。通过上面三个步骤，即可在本地仓库和远程仓库插入图片链接。3、将本地仓库.md文档推送到远程仓库。

2024-06-06 17:37:12 305

原创数据仓库数据去重，确保数据迁移过程不产生重复数据

3、删除目标表中与新插入数据主键相等的数据（delete from sink_table a using source_table b where a.id = b.id）1、对目标表按某列或某几列进行去重（只需执行一次）3、即将插入的数据与目标表数据之间无重复。2、对新插入的数据设置主键。2、即将插入的数据无重复。1、目标表数据无重复。

2024-05-16 11:11:04 289

原创 ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.c

Kafka配置文件中的broker.id与meta.properties文件中的broker.id不一致。The Cluster ID wJiptZWrTIuLNHyEOa0mSA doesn't match stored clusterId Some(hrHwEwFSRzCsHjuj4pjMXg) in meta.properties

2024-04-16 20:58:21 3143 1

原创 Linux系统修改默认python版本

修改Linux系统默认python版本

2024-04-16 00:09:15 1319 1

原创 Git 命令行常用指令

Git常用指令，主要包含查看git版本、仓库指令、文件指令、分支指令、标签指令、远程仓库创建和同步指令等内容。

2024-04-15 19:50:40 510 1

原创记录一次finksql与kafka连接错误：Caused by: java.io.InvalidClassException

从错误日志可以看出是序列化与反序列化过程出现了错误，查阅很多资料，一般是flink与jar包：flink-sql-connector-kafka***.jar 版本不兼容。后面我又重启虚拟机，重启flinksql都无法解决上述问题，最后猜测应该是自己在flink/lib目录下导入其他jar包产生冲突。重启yarn-session,重启flinksql，接下来进行flinksql与kafka连接时，没有出现上述错误。对于进一步的错误探索，本人还不是很清楚，有进展会第一时间更新。

2024-04-03 19:57:45 445 2

原创 MaxWell启动失败、启动后自动挂断简单解决方案

MaxWell由于版本较早，确实维护。很容易出现启动失败、连接异常等方面的问题，解决思路也很简单粗暴。

2024-03-07 20:03:48 2140 1

原创记录一次部署GitLab之后，Kafka无法启动的问题

通过 lsof -i :9999 命令，查看是哪个进程占用了9999节点。发现没有内容输出，在命令前加sudo, 即 sudo lsof -i :9999。某一天，我发现Kafka集群某个节点Kafka始终无法启动。首先去看日志查看报错情况。发现9999端口被占用。发现是GitLab占用了9999节点。通过查阅资料，找到gitlab配置文件路径。打开配置文件，修改端口号。发现GitLab和Kafka都能正常使用。我这里将9999更改为了9099。

2024-03-07 08:44:47 465 1