- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flink踩坑记录
1.使用application提交任务至yarn运行，使用yarn提供的rest接口获取某些信息 通过applicationId获取flink jobId http://ip:port/proxy/application_id/jobs 当判断提交的yarn任务状态为RUNNING时，发送请求获取jobid时，无法即时获取包含id的响应结果，yarn任务的状态与flink job 运行状态同步有延迟，需要等待几秒后才能获取到jobid ...
2022-05-19 11:43:43
387
原创 记java结束程序之前操作的一种方式
Runtime.getRuntime().addShutdownHook(new Thread() { @Override public void run() { try { logger.info("closing hdfs fileSystem"); fs.close(); logger.info("hd.
2022-05-12 17:30:22
583
原创 记一次自定义实现Flink-sql-connector-xxx过程
需求：实现FlinkSQL sink到ArangoDB图数据库 分析：自定义Flink Table & SQL connector 支持flink-connector-arangodb 官网支持user-defined sources&sinks,对Table SQL的source/sink定义提供官方解释
2022-04-22 18:47:32
2182
原创 Flink介绍
Apache Flink是一个分布式处理引擎框架，用于在无边界和有边界数据流上进行有状态的计算，实现数据流批一体化。能在常见的YARN、 Mesos、Kubernetes 在内的等多种资源管理框架集群/单机环境中灵活部署，并以高可用状态运行，以内存速度和任意规模进行高吞吐、低延迟、高性能的计算。其提供了Stateful Stream Processing、DataStream、Table &SQL API等多种不同级别的编程模式抽象以支持开发和运行多种不同种类场景的应用程序。另外Flink拥有精密的
2022-03-13 16:04:20
3149
原创 【原创】HBase的分裂（Split）与紧缩（Compaction）
Hbase的紧缩与分裂 Hbase的紧缩与分裂过程是对数据管理中必不可少的功能，正是因为它们的存在为Hbase拥有高效读写性能及集群的负载均衡提供了保证，接下来对这两个过程作一下详细的介绍。 Region概述 Hbase的紧缩与分裂的发生都在在Region中进行的，了解过Hbase的伙伴应该不会陌生，这里再对Region的结构功能作一个简单介绍。Region是 HBase中分布式存储和负载均衡的最...
2020-02-28 18:32:04
4940
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人