大数据
文章平均质量分 71
angelasp
从事软件开发很多年,擅长大数据、python、java、c#、php、小程序、app代码、gis后端等开发; 纯源码分享,希望能帮助到大家。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
EasyExcel报Can not find ‘Converter‘ support class Timestamp转换类型异常-解决方案
【摘要】在使用Alibaba EasyExcel导出Excel时,2.x版本常出现ExcelDataConvertException异常导致文件0KB,主要因缺少java.sql.Timestamp类型转换器。本文提出三种解决方案:1)数据预处理,将Timestamp转为String格式;2)自定义转换器适配2.x版本;3)升级至3.x版本(推荐)。关键注意点包括正确配置Content-Type、线程安全问题及异常日志处理。方案选择建议根据项目场景:临时修复选方案1,长期优化选方案3,方案2作为兜底保障。三原创 2025-12-18 17:12:50 · 1283 阅读 · 0 评论 -
Java查询ES报错 I/O 异常解决方法: Request cannot be executed; I/O reactor status: STOPPED
I/O reactor status: STOPPED 报错解决在使用ES和SpringBoot进行数据检索时,在接口中第一次搜索正常。第二次在搜索时在控制台就会输出Request cannot be executed;I/O reactor status: STOPPED错误。原创 2024-07-22 14:34:54 · 2517 阅读 · 0 评论 -
解决错误:MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk
redis问题:MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error.翻译为:misconf redis配置为保存RDB快照,但当前无法在磁盘上保留。原创 2024-02-20 17:10:10 · 6640 阅读 · 0 评论 -
Flink Rest API接口使用
用户可以通过flink提供的Rest API管理应用。Rest API可供用户或脚本直接访问,它可以对外公开有关Flink集群和应用的信息原创 2022-09-13 15:45:43 · 4975 阅读 · 0 评论 -
Flink基于时间窗口定时输出到ElasticSearch中并做到真正不丢数据
介绍Flink定时输出到外部存储介质,有两种办法实现,在RichSinkFunction中实现SinkFunction的方法,在其中open()方法中引入java的定时任务。另一种实现,基于Flink window窗口机制,将结果定时sink到ElasticSearch中...原创 2022-08-26 14:00:31 · 1261 阅读 · 0 评论 -
Flink状态Checkpoints检查点设置
Checkpoint通过允许从状态和相应流的位置进行恢复,从而使Flink中的状态具备容错能力,从而使应用程序具有与无故障执行相同的语义原创 2022-08-23 11:37:56 · 2477 阅读 · 0 评论 -
Apache Flink怎样保证数据是一致性的
某些应用程序可以接受弱一点的语义,所以 Flink 提供了支持多重语义的多种内置输出算子,如支持未提交读语义的分布式文件输出算子。用户可以根据输出存储系统的能力和应用程序的需求选择合适的语义。根据输出存储系统的类型, Flink 及与之对应的连接器可以一起保证端到端的一致性,并且支持多种隔离级别...原创 2022-08-07 17:57:00 · 922 阅读 · 0 评论 -
Apache Flink如何设置并行度
在使用Apache Flink对数据进行处理时候,通常需要设置并行度。并行度是Apache Flink中一个非常重要的概念。设置合理的并行度能够加快数据的处理效率,不合理的并行度会造成效率降低甚至是任务出错。Apache Flink程序包含多个任务(source,transformations/operators,sink)。这些任务使用几个并行实例所进行执行,这些并行的实例称之为并行度。...原创 2022-08-07 15:42:48 · 2379 阅读 · 0 评论 -
Flink的状态后端(State Backends)
MemoryStateBackend 和 FsStateBackend 都是在内存中进行状态管理,所以可以获取较低的读写延迟,但会受限于TaskManager的内存大小;而RocksDBStateBackend直接将State存储到RocksDB数据库中,所以不受JobManager的内存限制,但会有读写延迟,同时 RocksDBStateBackend 支持增量备份,这是其他两个都不支持的特性。一般来说,如果不是对延迟有极高的要求,RocksDBStateBackend是更好的选择...原创 2022-08-03 15:50:57 · 1176 阅读 · 0 评论 -
Flink:job报错NoResourceAvailableException: Could not acquire the minimum required resources
java.util.concurrent.CompletionException: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not acquire the minimum required resources.原创 2022-08-03 15:21:25 · 2919 阅读 · 0 评论
分享