- 博客(9)
- 收藏
- 关注
RSS订阅
原创 FLINK Checkpoint 设置
Checkpoint周期性进行。如果checkpoint操作耗时比checkpoint间隔时间还长，在上一个checkpoint未完成的时候，即便到了下一个checkpoint触发时间，新的checkpoint操作不会立即开始。只有在前一个checkpoint完成之后下一个checkpoint才能开始。这种情况下checkpoint会一直进行下去，严重影响系统性能。为了避免这种情况，可以在代码中指定checkpoint之间的最小时间间隔。，可以允许多个checkpoint过程同步执行。
2025-02-07 08:57:31
633
原创 使用Redis在GO服务中实现分布式锁
orderID := generateOrderID() // 生成订单ID的函数，可以是UUID或其他方法。lockValue := "12345" // 锁的值，可以根据实际情况设置或随机生成。Addr: "localhost:6379", // Redis地址。ttl := 10 * time.Second // 锁的过期时间。// 释放锁（在实际操作中通常在defer语句中释放）// 获取锁成功，生成订单编号并存储订单数据等操作。// 可以选择重试或等待一段时间后重试获取锁。
2025-02-07 16:40:30
228
原创 Go语言Gin框架HTTPS协议实现
err := server.ListenAndServeTLS("cert.pem", "key.pem") // 使用你的证书文件路径替换这里的文件名。MinVersion: tls.VersionTLS12, // 设置TLS版本为1.2或更高版本。PreferServerCipherSuites: true, // 使用服务器端的首选密码套件。Addr: ":8443", // HTTPS默认端口是443，这里用8443作为示例。
2025-02-07 16:31:46
618
原创 Go语言go-zero框架HTTPS协议实现
server := rest.MustNewServer(c) // 使用配置创建服务器实例。defer server.Stop() // 确保服务器在退出时停止。server.Start() // 启动服务器。
2025-02-07 16:16:05
1162
原创 FLINK作业提交方式
作业执行完毕后，Flink on yarn集群会被关闭。首先启动Flink Yarn Session，它是一个常驻与Yarn的Flink集群。在Yarn创建一个Flink集群，然后在提交任务客户端所在机器本地运行作业jar的main方法，提交生成的JobGraph到Flink集群的JobManager。每个作业都使用单独的Flink集群，它们消耗的资源是互相隔离的，一个作业的崩溃不会影响到其他作业。Flink作业提交的方式分为application模式，per-job模式和session模式。
2025-02-07 10:00:29
186
原创 FLINK 并行度配置
并行度配置的几个层次如下所示。从上到下作用范围依次增大，但是上面的配置可以覆盖下面的配置。并行度一般配置为CPU核心数的2-3倍。
2025-02-06 17:28:07
125
原创 Flink 使用之配置与调优
taskmanager.network.memory.fraction 网络缓冲区使用的内存占据总JVM内存的比例。historyserver.archive.fs.dir history server的归档目录。taskmanager.memory.flink.size：总flink内存。taskmanager.memory.task.off-heap.size：任务使用的堆外内存。不建议配的太大，1-2G足够。jobmanager.archive.fs.dir 将已完成的任务归档存储的目录。
2025-02-06 17:26:25
363
原创 FLINK 异常处理：Caused by: org.apache.hudi.org.apache.avro.InvalidAvroMagicException: Not an Avro data ..
异常提示信息：Caused by: org.apache.hudi.org.apache.avro.InvalidAvroMagicException: Not an Avro data file。表）运行一段时间后（10天以上），出现异常，具体没有找到ROOT cause,可能是目标文件没有定时压缩或是写和压缩的动作冲突导致。一般情況下會自動恢復，LK的異常是因為壓縮+歸檔都失敗導致長時間內沒有恢復！後綴.requested，.inflight，0B的文件清除。
2025-02-06 17:17:43
211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人