weixin_45249411的博客

原创 StreamPark集成k8s运行Flink

1.然后在有docekr的机器上登录。2.设置下命名空间(左侧)

原创 kafka副本同步时HW和LEO

对应关系（先写这么多。

原创 kafka压缩

最近有幸公司参与kafka消息压缩，背景是日志消息量比较大。kafka版本2.4.1。

原创 解决win11的vmvare和docker冲突

【代码】解决win11的vmvare和docker冲突。

原创 k8s 安装ingress并配置flink服务

参考。

原创 使用Dinky快速提交Flink operator任务

上传任务jar包复制地址。右键复制jar包地址。比如rs:/flink-test-1.0-SNAPSHOT.jar。3.数据库配置要写静态ip，别写127.0.0.1.不然会报错。1.修改这里的Dinky地址，不然会下载报错。2.集群配置地址时。

原创 Flink operator实现自动扩缩容

operator通过监控prometheus实现自动扩缩容，过两天调整为helm。

原创 Ftp目录整个下载

最近有个需求是要下载ftp接近十个T的数据，在调研过多个工具后发现还是lftp的mirror最省事。

原创 Flink1.19编译并Standalone模式本地运行

新建local_conf和local_lib文件夹，并且将编译后的文件放入对应的目录。

原创 Flink一点整理

例如，一个最大并行度为10，每个TaskManager有两个任务槽的作业，就会启动5个TaskMana。

原创 Doris规范

3.2 没有办法分区的，数据又较快增长的，没办法按照时间动态分区，可以适当放大一下你的bucket数量，按照你的数据保存周期（180天）数据总量，来估算你的bucket数量应该是多少，建议还是单个bucket大小在1-3G。2.【强烈建议】不要使用Auto Bucket ，按照自己的数据量来进行分区分桶，这样你的导入及查询性能都会得到很好的效果，Auto Bucket 会造成 tablet 数量过多，造成大量小文件的问题。3.1 没有办法分区的，数据又缓慢增长的：单个tablet数据量保持在1-3G；

原创 IDEA远程调试Dinky

最近发现本地和服务器上同样的包但是服务器上的服务报错，特此debug点击RUN---edit configuration。

原创 Datasophon集成tez

【代码】Datasophon集成tez。

原创 Dinky1.1.0集成paimon0.9

原创 datasophon升级海豚调度为3.2.1

修改启动命令，添加jmx与datasophon-api模、模块servive_ddl.json的jmx端口保持一致。修改启动命令，添加jmx与datasophon-api模、模块servive_ddl.json的jmx端口保持一致。2、在worker-server的启动命令中添加api-server的jmx端口号。1、同api-server的修改一致，否则任务启动时无法找到hdfs路径文件。修改master-server的启动脚本。修改worker-server的启动脚本。

原创 逆向app 思路整理

使用小黄鸟Reqable即可,如果抓不到那就是代理被屏蔽了。3.Frida代码编写。

原创 JS hook

debugger 使用 Function.constructor / setInterval / eval。一般获取header中的参数。

原创 某平台小程序逆向思路整理

python调用解密即可。打断点进入这个加密的方法。

原创 记录dinky0.6.7+flink1.14.5集成问题

先说一句mmp，这个jar包冲突搞吐我。如果有遇到math3问题需要注意少个包。中配置好flink在hdfs上的lib目录。注意dinky0.6.7版本时的。

原创 yolov8训练初体验

最近在爬一些数据，有些网址的验证码比较难搞，于是使用yolov8来解决。

原创 空间验证码训练集获取

最近有个需求在爬取数据时碰到验证码。准备使用yolov8训练模型但没有训练集。基本就是这个大佬的代码：我稍作改动。

原创 Datasophon基于dinky1.0.1升级到dinky1.0.2

opt/datasophon目录原来有软链接指向/opt/datasophon/dinky-release-1.16-1.0.1。之后到服务器查看是否是1.0.2启动。jps -ml 查看dinky进程。我给取消了不知道影不影响。

原创 Datasophon1.2.1集成Dinky1.0.1

通过下图展示的url进去grafana配置图表，默认登陆账户密码：admin ：admin。回到datasophon的dinky服务，刷新即可在总览看到详细监控信息。进入datasophon-manager-1.2.1中。重启datasophon-manager的api。配置目录下添加配置模板。

原创 umi-ocr识别文件夹所有文件并导入数据库

最近有个需求是识别身份证所有信息。所以调用umi-ocr接口并写入mysql。

原创 Flink中流式的各种聚合

针对无界聚合算子，

原创 在Flink SQL中使用watermark进阶功能

在Flink SQL中使用watermark进阶功能在Flink1.18中对Watermark的很多进阶功能（比如watermark对齐）通过datastream api很容易使用。在sql中使用不是很方便，在Flink1.18中对这些功能进行扩展。在sql中也能使用这些功能。只有实现了接口的源连接器(source connector)（比如kafka、pulsar）才可以使用这些进阶功能。这些进阶的功能都可以使用dynamic table options或 hint进行配置，如果用户同时使用dynamic

原创 Flink1.18 如何配置算子级别的TTL

举例来说，假设一个 ETL 作业使用 ROW_NUMBER 进行去重操作后， 紧接着使用 GROUP BY 语句进行聚合操作。您可以为去重算子和聚合算子的状态分别设置不同的 TTL。双流 Join 会生成拥有两条输入边TwoInputStreamOperator的状态算子，它用到了两个状态，分别来保存来自左流和右流的更新。table.exec.state.ttl 来控制状态保留，因此它们的状态无法在算子级别进行配置。中，系统会根据两个数据流中元素的时间戳和定义的间隔来决定哪些元素应该被连接在一起。

原创 hive的kerberos记录

【代码】hive的kerberos记录。

原创 Apache celeborn 安装及使用教程

因为在配置文件中已经配置了master 所以启动matster和worker即可。

原创 对比pg主从库一致性

【代码】对比pg主从库一致性。

原创 k8s之flink的几种创建方式

在此之前需要部署一下私人docker仓库，教程注意：每台节点的daemon.json都需要配置并重启。

原创 dinky1.0 同步PG 时 修改数据类型

【代码】dinky1.0 同步PG 时 修改数据类型。

原创 k8s实战之ELK日志管理

【代码】k8s实战之ELK日志管理。

原创 Helm 包管理器

【代码】Helm 包管理器。

原创 k8s之身份认证与权限

Kubernetes 中提供了良好的多租户认证管理机制，如 RBAC、ServiceAccount 还有各种策略等。通过该文件可以看到已经配置了 RBAC 访问控制。

原创 k8s之高级调度

Pod 亲和力：将与指定 pod 亲和力相匹配的 pod 部署在同一节点。节点亲和力：进行 pod 调度时，优先调度到符合条件的亲和力节点上。Pod 反亲和力：根据策略尽量部署或不部署到一块。

原创 k8s之存储管理

使用 kubectl create configmap -h 查看示例，构建 configmap 对象。

原创 在k8s中部署nfs-client-provisioner

通过这个流程，nfs-client-provisioner 实现了动态创建和管理基于 NFS 的 PV，减轻了管理员的工作负担，同时使开发人员能够更轻松地使用动态的存储资源。需要注意的是，确保您在 PVC 和 StorageClass 的定义中提供正确的配置信息，以确保 nfs-client-provisioner 能够与 NFS 服务器正确交互。

原创 导入pgsql中的保存的html数据到hive时，换行符无法被repalce

最终发现可以使用chr(ASCII码) 可以匹配到，坑我好久。

原创 k8s之服务发布

Ingress 可以理解为也是一种 LB 的抽象，它的实现也是支持 nginx、haproxy 等负载均衡服务的。k8s会根据service关联到pod的podIP信息组合成一个endpoint。各环境访问名称统一、访问 k8s 集群外的其他服务、项目迁移。