- 博客(14)
- 收藏
- 关注
RSS订阅原创 无网络服务器安装clickhouse-driver
因为安装clickhouse-driver需要一些依赖，而安装这些依赖又需要一些别的组件，没有网络的情况下，依靠另一台有网络的服务器下载安装然后copy到无网络服务器会有很多麻烦，与其白费功夫，不如想想其它的办法。要在无网络服务器上执行一个写有clickhouseSQL语句的python脚本，需要先导入clickhouse-driver，然而无网络服务器无法使用pip、pip3、install、yum。如果服务器长期处于无网络状态，或许可以安装一个docker，自己建立一个yum源。
2024-08-15 10:49:31
259
原创 Maxwell的安装之改变密码级别(创建用户maxwell之前的操作，为了使maxwell用户的密码简单化)
【代码】Maxwell的安装之改变密码级别。
2024-06-17 11:04:49
305
原创 冷备份和恢复MySQL文件
复制数据库的目录：例如目录test1_gy和元数据文件。将备份的这些文件放到新的MySQL里的data目录下。找到/mysql/data目录。
2024-06-17 11:00:53
154
原创 Maxwell刚启动就掉线
如果Maxwell出现启动成功，并且执行jps还能看到进程，但过了一会儿jps查看进程时发现Maxwell自己掉线了的情况。或者是xxx表未找到的错误，大概率是Maxwell读取到的信息和MySQL里的信息不一致造成的，删掉Maxwell里的元数据即可。maxwell库里只剩下一个heartbeat即可。方法：看日志，如果日志报错显示。最后重启Maxwell即可。
2024-06-17 10:13:37
514
原创 vim设置永久显示行号
1.配置vim永久显示行号，需要使用vim编辑文件/root/.vimrc，如果没有该文件可以自己新建一个。#注意：如果不清楚服务器之前的配置，可以通过find命令找到文件名包含vimrc的文件位置。3.source使得修改生效。
2024-05-29 15:37:20
912
原创 使用flink的standalone模式同步Kafka的数据到clickhouse
standalone的应用模式下不会提前创建集群， 所以不能调用 start-cluster.sh 脚本。我们可以使用同样在 bin 目录下的 standalone-job.sh 来创建一个 JobManager。把写好的jar包（胖包）放在flink的lib目录下，flink启动时会自动扫描lib目录，注意log4j依赖冲突问题，改屏蔽的依赖在打包时要屏蔽。（不用指定jar包，启动脚本会自动扫描 lib 目录下所有的jar 包，这里直接指定作业入口类）6.如果希望停掉集群，同样可以使用脚本，命令如下。
2024-03-15 14:28:09
611
1
原创 使用seatunnel同步Kafka的数据到clickhouse（保姆级）
2.seatunnel官网的source/sink模板。3.seatunnel的GitHub地址。1.seatunnel依赖地址。
2024-03-15 14:00:38
508
1
原创 kafka集群掉了某个节点或全部无法启动
原因是Scala依赖缺失或冲突，可以锁定问题只在无法启动的节点，和其它正常启动的节点无关。可以重装故障节点的Kafka，也可以把正常启动的Kafka目录下的libs下的jar包替换掉故障节点的libs下jar包，重新启动即可。
2024-03-13 14:35:21
878
原创 Maxwell监听MySQLbinlog的变化并将变化情况写入到一个文件里
2.编写脚本mxw.sh，并赋予执行权限。1.首先创建用户名和密码，并给予权限。
2024-01-26 16:25:52
335
1
原创 观察数据库变化——mysqlbinlog使用方法、常见问题和从binlog二进制超大文本中筛选出自己想要的信息
方法一：登录到mysql查看binlog获取binlog文件列表：查看当前使用的binlog文件：只查看第一个binlog文件的内容：查看指定binlog文件的内容：方法二：使用mysqlbinlog工具查看查看mysql-bin.000002：基于开始/结束时间：基于pos值：指定数据库：注：--no-defaults 不读取任何选项文件。
2024-01-03 14:42:32
1260
1
原创 无网情况下用IDEA或datagrip连接MySQL和clickhouse数据库
1.和连接MySQL的步骤一样，但clickhouse的连接驱动非常难找，它不是MySQL那样的一个jar包，而是一个目录。2.找到要添加的数据库类型，这里需要添加的是MySQL的驱动，点击+号选择MySQL的驱动jar即可（点击“ver.8.0.25 [stable]”可以选择驱动版本）【这里需要提前准备好MySQL连接驱动，百度搜或者官网下载都可以。2.理论上到这里就能连接上了，如果还不行想想是不是版本的问题，又或者是连接数据库的ip密码等填写错误。【这里“测试连接“会报错，但可以连接到数据库】
2024-01-02 15:36:12
1242
原创 SQL的执行优先级
from Lateral View 炸裂函数join where group by having over()开窗函数select union all order by limit
2023-12-08 10:02:15
2587
原创 使用dataX的clickhousereader功能时报错
使用rdbmsreader替代clickhousereader实现从clickhouse同步数据到mysql
2023-12-06 16:03:25
1378
2
apache-seatunnel-2.3.3-主要是connect和lib下的依赖包，用于MySQL到Kafka再到clickh
2024-03-18
使用flink的standalone模式同步Kafka的数据到clickhouse的flink代码和jar包
2024-03-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人