- 博客(8)
- 收藏
- 关注
RSS订阅原创 Doris——高并发点查实践
选择Prepare模式随机传参，其中[Parameter values]和[Parameter types]需要和SQL中的[?行缓存复用了 Doris 中的 LRU Cache 机制来保障内存的使用。需要注意文件名、即对应 [prepare参数生成] 的csv文件存放路径， 以及csv列对应的字段名称和分隔符的填写。压测过程中，BE的CPU大致使用50%（其中包括Jmeter进程的），内存使用率较低。导出查询结果集（通过dbeaver自身的功能导出csv数据作为prepare参数）。
2024-09-12 19:39:21
1994
原创 doris通过catalog读取maxcomput和同步数据存在数据丢失问题分享
1.doris对null不是很友好，在使用doris的时候需要尽量避免null值2.为什么要使用catalog呢，一是方便，二catalog同步数据比datax效率会高很多，因为datax同步数据的时候需要将数据落盘再load进doris。catalog同步数据直接内存对接就可以了（注意使用catalog同步数据到doris的时候，原始表里面不能有null值，否则也可能存在丢数据的情况）
2024-09-06 15:02:02
532
原创 记一次doris任务出错--内存爆满
结合对我们数据和了解和各个任务运行数据量的大小，考虑到是因为大任务并行导致集群资源波动大，峰值过高。所以我们将大任务做强制依赖，错峰出行。比如任务A、B、C之间没有血缘关系，我们强制让任务A依赖于任务B，任务B依赖任务C。doris集群新增调度任务后，任务出错频率很高，报错内容：Process has no memory available, cancel top memory used load。新增任务后内存波动非常大，峰值达到服务器80%的上限，导致任务失败。
2024-09-05 16:50:32
829
原创 doris异常——任务运行缓慢，内存异常，io异常，compaction score居高不下
doris使用的时候非必要场景下尽量避免主键模型和聚合模型，特别是高频任务。
2024-09-05 11:15:10
1044
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人