- 博客(4)
- 收藏
- 关注
RSS订阅原创 Kafka消费数据重复解决方案
YupDB内通过kafka传递进来的数据有重复现象（Kafka消费数据重复） 遇到这种问题，基本上是心跳或offset更新不及时导致。 在kafka环境中，有以下几个参数对于数据重复有很好的效果。 auto.commit.interval.ms consumer向zookeeper提交offset的频率，单位是秒，默认60*1000 此值太大会导致数据重复消费，将其调小可避免重复数据。建议值100...
2018-12-14 23:25:22
2740
原创 YupDB关联极速版（广播）
… 在YupDB中，能够像使用SQL一样实现两批数据的关联操作，取出两者之间通过某一字段进行关联的交集。这种取交集的方法有两种。 …第一种普通的方法是通过with as 的方式实现。例如 with a1 as ( /yupdb.sql(’->’)/select DATA_ID from datas where yup_partitions =‘20181114’ /(’<-’)s...
2018-12-14 23:04:48
297
1
原创 YupDB万亿秒查之六脉神剑（下）
YupDB万亿秒查之六脉神剑（下） YupDB是面向海量数据背景下的多维度、高融合、企业级实时检索数据库。其具备万亿数据量下实时、多维、秒级检索及分析能力，同时还具备数据安全性及完整性高的特点。 YupDB是如何做到万亿数据秒级查询的呢？下面就来了解一下。 1、读写分离 - - - 在绝大多项目中是存在实时数据入库的。这意味着数据在一边生成一边写入数据库中，同时数据库肩负着响应线上系统的功能。在这...
2018-10-15 21:20:05
336
原创 YupDB万亿秒查之六脉神剑（上）
YupDB万亿秒查之六脉神剑（上） YupDB是面向海量数据背景下的多维度、高融合、企业级实时检索数据库。其具备万亿数据量下实时、多维、秒级检索及分析能力，同时还具备数据安全性及完整性高的特点。 YupDB是如何做到万亿数据秒级查询的呢？下面就来了解一下。 1、利用索引技术 - - - YupDB是面向海量数据背景下的企业级实时检索数据库。能够对大量数据进行存储，并...
2018-09-14 17:10:47
540
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人