吃素的哈士奇-优快云博客

原创【gpedit.msc】组策略编辑器的安装，针对windows家庭版，没有此功能

把文件修改一下名称，包括后缀改成gpedit.bat。win + R健输入gpedit.msc。创建一个记事本文件然后放入以下内容。然后以管理员身份运行。

2024-05-08 14:03:52 706

原创【git】git 拉取文件的时候 cannot create directory at ‘XXXX/XXXX/XXXX/ ‘: Filename too long

在core下加一行 longpaths = true。

2024-05-08 10:27:00 384

原创 k8s为什么删除了pod但是还是没删除掉的问题，deployment在影响

我找的时候，还是有dashboard-metrics-scraper-546d6779cb-4x6xf这个pod。但是我想删掉，却告诉我这个pod不存在。执行：kubectl get pods --all-namespaces，获取dashboard相关的pod。

2024-03-20 15:32:30 1233

原创 K8s的Pod出现Init:ImagePullBackOff问题的解决，(以calico网络插件为例)

从上图发现是docker拉取"docker.io/calico/cni:v3.19.4"失败，那么我们手动拉取一下。对于这类问题的解决思路应该都差不多，本文以calico插件安装为例，发现有个Pod的镜像没有pull成功。Note：我们需要知道这个pod是部署在哪个node上，然后才能在具体的Node上拉取镜像。发现是在node35主机上，那么我们去相应主机拉取镜像。第一步：查看这个pod的描述信息。检查daemon.json 文件。第二步：查看Pod所在Node。可额外添加网易163的镜像加速。

2024-03-19 18:26:12 3974 4

原创【idea打包】idea打包项目了，虽然出现BUILD SUCCESS，但是jar是个无法启动的jar

我执行打包命令后生成一个jar，但是在执行 java -jar 命令之后出现了一下的情况。打开jar包里面的MANIFEST.MF。而且我jar包打开连lib的文件都没有。2、打开文件 MANIFEST.MF。1、打开后的jar包是包含lib的。

2024-01-25 14:44:15 917 1

原创【功能开发】dolphinscheduler中的流程停止，但是相应的节点并没有停止

现场运行过程中，出现节点卡死，导致了任务流阻塞，但是我们点击了任务流实例的停止按钮，woker节点并没有停止，任务仍旧继续卡主1、单节点点击停止可以立即停止任务2、任务流实例点击停止，可以让任务流以下的所有任务节点都停止掉1、找到woker任务节点，具体的执行方法2、把这个方法用线程的方式执行3、每次执行一个任务方法，就把这个线程存下来4、通信方式socket，实现不同服务器之间的操作5、找到这个线程，然后干掉线程TaskExecuteThread类 run()方法，里面的 task.handl

2024-01-19 15:10:44 1494

原创【bug】Invalid packaging for parent POM XXXXX (XXXX\pom.x)must be “pom“ but is “jar

子pom.xml中添加了标签，之后就爆红了。

2024-01-10 11:09:29 1010

原创【tips】base64编码怎么反显出图片

实际的数据展示是这样的然后把以上的文件内容放置到html文件中。

2023-12-13 10:31:32 1110

原创【开发问题】vue的前端和java的后台，用sm4，实现前台加密，后台解密

key ：代表着密钥，必须是16 字节的十六进制密钥。key ：代表着密钥，必须是16 字节的十六进制密钥。sm4Password ：代表sm4加密后的密文。sm4Password：解密前的密文。password ：加密前的密码。password：解密后的密码。

2023-12-08 18:05:39 3555

原创【产品开发】怎么实现命令行执行java代码

编译JdbcConnectTest.java文件，生成 JdbcConnectTest.class文件到目录 D:\JAVA\class下。这个路径就是，代码的依赖路径：什么是依赖路径，其实就是生成的class文件和这个代码所需要的jar包的路径，windows的用分号隔开。这java代码其实还依附于驱动 ojdbc8-12.2.0.1.jar。如果当前这个class依赖于objdc8.jar。就拿一个jdbc的链接代码来举例子吧。JdbcConnectTest是类名。

2023-12-01 17:27:07 157

原创【注册表】Sublime Text添加到右键菜单

【代码】【注册表】Sublime Text添加到右键菜单。

2023-11-30 17:49:41 387

原创【产品功能】dolphinscheduler怎么修改，实现超时就结束掉当前工作流

MasterExecThread类的 runProcess方法里面有超时告警，原本里面只有超时告警的，这时候我只要加上海豚自己写好的结束任务的方法endProcess（）方法。

2023-11-30 16:16:33 470

原创【产品功能】dolphinscheduler的告警功能的代码在哪

t_ds_process_definition 中的 timeout。判断当前时间和起始时间是否大于设置的超时时间。

2023-11-30 15:54:31 198

原创【现场问题】现场的zk出现问题，ES也出现问题，一个一个排查出来，服务器重启了

突然想到，特么的，三台机器，有两台机器被重启了，我当时只看了主机器，因为主机如果宕机按理说什么都没了，恰好，只有主机器没宕机，另外两台从机器宕机了，特么的。三台机器只有一台机器是有ES的，但是看了配置文件，发现这个ES是三台机器的集群。发现集群出现问题了，想都没想就直接去重启了，把三台服务器都重启。uptime一看，一天前宕机，给我气死。这时候，我就疑惑了，另外两台为啥没了。

2023-11-24 17:02:07 142

原创【工具问题】npm替换镜像

【代码】【工具问题】npm替换镜像。

2023-11-20 09:37:05 256

原创【datax同步数据】数据进行同步的优化

达梦的表，建了索引，同步数据几千/s，删掉索引，同步数据2.5-3w/s。

2023-11-14 17:49:49 296

原创【liunx的命令问题】lsof -i:查看端口的时候报错 unacceptable port specification in: -i :

报错内容出错在哪里

2023-11-14 10:41:57 277

原创【现场问题】datax中write部分为Oracle的时候插入clolb类型字段，插入的数据为string且长度过场问题

基本上查到的都是这样的，所以锁定是clob的字段类型的问题，而且是只有Oracle出问题，mysql和pg都没有问题。方法：fillPreparedStatementColumnType。类 CommonRdbmsWriter。

2023-11-13 17:54:27 646

原创【工具问题】IDEA每次关闭的时候都会弹框显示closing project，然后弹框持续很久就像卡住了

我的plugins原本是加载不出来的，所以我按照网上说法去做。我idea已经关闭了，但是这个弹框要持续很久才能关闭。file->setting,再如图选择就好。

2023-10-26 19:23:37 7442 1

原创【现场问题】批量新建工作流的问题

2、大数据量的表需要单独处理的（比如需要夜晚去跑起来的），也被编排进去，导致了这个流程相当于作废的。3、批量建表的时候，假如想要修改，很麻烦，找表以及找节点都很费力。不需要手动，直接一键建立，同时节点的批量建立也成功了。1、机器识别，一次性成形，没有办法手动的去干涉这东西。

2023-10-20 11:37:22 404

原创【现场问题】CDH文件权限，Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:drwxr-xr

【代码】【cdh hive】CDH文件权限问题。

2023-09-25 11:35:42 287

原创【现场问题】java.io.FileNotFoundException:/tmp/datatech/exec/process job；json (Too many open files)

too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。/proc/sys/fs/file-max中指定了系统范围内所有进程可打开的文件句柄的数量限制。如果程序中存在这些问题的话，无论系统句柄数设置的多么大，随着时间的推移，也一定会占用完。

2023-09-12 11:36:58 594

原创【本地代码问题】启动程序，报错：java.lang.IllegalArgumentException: No selectors

我本地启动程序的时候报错了：报的是这个错误，可能和容器的选择有关吧。

2023-09-04 10:24:42 301

原创【现场问题】oracle 11g 和12c 使用jdbc链接，兼容的问题

项目上建立Oracle数据源，以前大部分都是，11g的版本，测试包括获取表以及字段都没有问题，后来新的现场，多了一种oracle的版本12c，这个版本的数据库一直显示无法链接。只要使用oracle 11g和12c 都可以用的方式即可！我的代码使用的是两种带着斜杠的这种写法。所以oracle 12c 通过不了。

2023-08-25 17:36:53 2479 2

原创【现场问题】arthas，线上查看某一个类的，某一个方法，入参是什么【类似于断点操作】

watch 类名方法名 -b “{params}” -x 3。这里的3 是指第几个层级。

2023-08-21 16:28:35 477

原创【开发问题】flink的sql任务，用命令行执行

【代码】【开发问题】flink的sql任务，用命令行执行。

2023-08-02 16:04:18 819

原创【datax】数据迁移速度

1000W的数据【同一个库的情况下】：36分钟左右。500W的数据【同一个库的情况下】：15分钟左右。600W的数据【同一个库的情况下】：20分钟左右。800W的数据【同一个库的情况下】：28分钟左右。

2023-07-31 11:16:55 1131

原创【开发问题】flink-cdc不用数据库之间的，不同类型的转化

我一开始直接用的oracle【date】类型，mysql【date】类型，sql的校验通过了，但是真正操作数据的时候报错，告诉我oracle的数据格式的日期数据，不可以直接插入到mysql格式的日期数据，说白了就是数据格式不一致导致的。我想的是既然格式不对，就自己手动把格式转一下，然后变成mysql认可的格式就好了，这之间，报了很多错误，又是方法不对，又是，方法参数类型不对。反正这个路其实是错误的。我一开始是flink-cdc，oracle2Mysql，sql。

2023-07-25 11:56:35 1508

原创【开发问题】java访问webservice接口,查看wsdl文件并且填写相关参数

那么就在原有的url基础上加上?webservice的url接口。

2023-07-14 15:17:35 2589

原创【打包问题】执行mvn spotless:apply之后，import的包被去移除了

是为了规范化代码的，所以***import java.utils.****这种注释其实是不规范的，因为是一次性引入多种无用包，所以会自动删除。我为了展示效果所以把下满应该引入的包注释了出来，其实，一开始我引入ArrayList，list这些包的时候，idea给我合并成了。执行mvn spotless:apply之后。那么我刚刚之前说了，

2023-07-11 09:35:53 1196

原创【开发问题】flink-cdc-sqlserver-sql

我根据官网sql发现缺少了schema-name，可以去对比一下。

2023-07-05 15:58:46 890

原创【开发问题】sqlserver怎么开启cdc

本步骤完成之后，会在database_name数据库下的“系统表”中创建一个名为"table_name_CT"的系统表，一个业务表对应一个此系统表。其中@source_name = ‘t_wx_source’，t_wx_source是某一个表名。–注意：表中必须有主键或者唯一索引。

2023-07-05 15:43:13 2003

原创【现场问题】flink-cdc，Oracle2Mysql的坑，Oracle区分大小写导致

每次数据都是null,然后我们的sink（t_wx_target ）表里面的字段id，是非空字段，所以就报错了。大致意思就是不能插入为空的数值。

2023-07-04 19:33:57 1233

原创【现场问题】flink-cdc，sql一直校验不通过，为什么，明明sql没有错误

这里的flink-cdc的sql对了好几遍，都没问题，包括单个执行create，也是显示校验通过。我尝试着在sql语句之间，加上。

2023-07-04 11:59:51 1239

原创【现场问题】使用datax导入hive数据库，结果数据无法显示，hdfs和hive的分隔符问题

，却是以”,"来插入的。那么其实这个数据插入就是错误的，两个分隔符不对，这样表结构就无法展示。使用datax，mysql2Hive的时候，数据没有进去，但是显示成功了，而且成功条数也一致。因为datax没有hive的单独模块，所以使用的是hdfswriter的模块。假如，建表table_test 的时候分隔符是"|“,但是我插入表的数据（保持建表和插入（hdfs新建文件）的分隔符保持一致。，那么就有一个问题，文件里面写入数据，自然是有。以","为分隔符建表。

2023-06-29 15:51:55 825

原创【遇到的问题】ServiceLoader.load(Driver.class)，没有找到Driver接口对应的实体类

java.util.ServiceLoader工具类方法会使用ClassLoad类的getResources方法获取指定目录下的文件，读取文件内容并解析获取所有接口实现类的全限路径，根据全限路径使用class.forName装载class文件到JVM,然后通过c.newInstance()实例化类转化接口类型并放入providers缓存提供者集合中，以供后面使用。但是在进行：ServiceLoader drivers =ServiceLoader.load(Driver.class);

2023-06-28 15:05:34 1099

原创【git】idea怎么去替换git的地址

右击->git->repository->remotes。

2023-06-27 10:34:18 2733

原创【现场问题】java.lang.NumberFormatException: For input string: “2816411959“

由上可知最大值为2747493647，一旦我们字符串转成整数类型的大小超过这个值，就会报错！调度，每次，单节点跑成功，但是一旦放到流程里面运行的时候，就是失败的。单节点可以通过，但是流程不通过，说明流程生成部分出现了问题，结合代码。所以，这个时候我们就不能用int来接收了，而是应该用long来接收，，这个值基本涵盖我们日常中所会解除到的大部分的值。

2023-05-23 10:29:35 212