当数据达到200亿条的时候，很多事情都不一样了

最新推荐文章于 2024-10-29 21:15:01 发布

最新推荐文章于 2024-10-29 21:15:01 发布 · 280 阅读

文章标签：

#数据库 #java

博主在设计系统时需处理近两百亿条数据，在海量数据面前，存储、查询、性能等问题有了新涵义，博主希望与有类似经历者交流，还留下了邮箱。

最近在设计一个系统，有差不多两百亿条数据需要处理。在这样海量的数据面前，我们遇到了很多有趣的问题。存储、查询、性能，这些熟悉的话题都有了新的涵义。
要是有哪位仁兄也有这方面的经历，我想我们会有很多东西可以分享。
email: wsq003 at sina dot com

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_6236

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

MySQL 单表可以存200亿数据吗？单表真的只能存2000W，为什么？

AI天才研究院

10-29

1100

从Innodb的官方文档中可以看到，其表空间的最大限制为64TB，也就是说，Innodb的单表限制基本上也在64TB左右了，当然这个大小是包括这个表的所有索引等其他相关数据。而在使用单独表空间存储方式时，每个表的数据以一个单独的文件来存放，这个时候的单表限制，又变成文件系统的大小限制了。

如何对上亿条数据做redis容量评估

小白成神路

01-07

985

一、背景年终了，需要做个用户年度报告，类似支付宝那种年度账单，告诉你今年多少笔订单，花了多少钱等等。从数据侧知悉，这次需要处理并记录的有约7亿用户，聚合逻辑比较复杂就不说了，总之最后需要把结果都写到redis，每个用户一条记录，hash存储，key是用户id，feild是各个指标，那么问题来了，需要申请多大容量的资源呢？二、redis常用数据结构做容量评估之前，有必要对redis常用数据结构有大概了解。推荐阅读《Redis深度历险：核心原理和应用实践》 1、SDS redis没有直接使用c语言

参与评论您还未登录，请先登录后发表或查看评论

200亿数据的检索，架构如何设计？

shenjian58的博客

07-12

675

上个月的周末，做了3场免费直播：第一期，区块链架构设计第二期，秒杀架构设计第三期，feed架构设计朋友的反馈都比较正面，那本月继续吧，一起聊聊技术，讲讲架构。事件：在线直播，第四期话题：...

滴滴面试：单表可以存200亿数据吗？单表真的只能存2000W，为什么？

架构师尼恩

10-29

1723

只要按照上面的流程去作答，你的答案不是 100分，而是 120分。面试官一定是心满意足，五体投地。按照尼恩的梳理，进行深度回答，可以充分展示一下大家雄厚的 “技术肌肉”，让面试官爱到 “不能自已、口水直流”，然后实现”offer直提”。在面试之前，建议大家系统化的刷一波 5000页《尼恩Java面试宝典PDF》，里边有大量的大厂真题、面试难题、架构难题。很多小伙伴刷完后，吊打面试官，大厂横着走。在刷题过程中，如果有啥问题，大家可以来找 40岁老架构师尼恩交流。

数据库概述

shanahui12的博客

04-02

2173

数据库概述

京东200亿数据基于clickhouse的秒级预估实现

aaaassss602的博客

10-27

1582

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、表设计1.画像表和行为表分离2.画像&行为大宽表3.画像&行为大宽表 + 画像表二、数据库优化1.推送优化2.数据推送3.二级索引4.TTL列 TTL表 TTL删除分区三、遗留的问题前言业务背景是一个典型的电商场景，基于用户画像和用户行为的人群圈选，后续就可以进行人群的分析及打标等。提示：以下是本篇文章正文内容，下面案例可供参考一、表设计我们要查询的结果是去重后的用户ID，用户画像数据大概几亿

Mysql导入导出亿条数据（排坑篇）

ITRugod的博客

06-26

2758

声明:这是我在大学毕业后进入第一家互联网工作学习的内容背景：公司业务需要给某个活动的支付宝用户发送模板消息经调查发现，此次活动的用户数量大约2亿，为了模拟生产环境，领导让我把生产库的用户信息（脱敏）拉到开发库，让开发写好程序读取数据并推送消息。排坑1：Navicat 由于我对Mysql不是很了解，在数据同步前我事先问了下公司的DBA应该如何操作：使用navicat的数据传输功能。环境：Navicat Premium 12 操作： 1.点击工具列表的数据传输 2.选择源数据库及目标数据库 3.选.

每天200亿次查询 – MongoDB在奇虎360

xu_ya_fei的专栏

03-13

1037

100多个应用，1,500多个实例，每天200亿次查询奇虎是中国最大的安卓移动发布平台。奇虎也是中国最顶尖的病毒软件防护公司，同时为网络以及移动平台提供产品。自从2011年成为MongoDB的用户之后，奇虎已经在MongoDB上构建了100多个不同的应用，其中包括新服务以及从MySQL和Redis上迁移过来的服务——每天都会在MongoDB上运行超过1, 500个实例并且支持200亿次查询。

Elasticsearch 百亿级数据检索案例与原理

SIMPLE

12-22

1302

一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。【目前生产已存储百亿数据，性能良好（但未使用分词功能）】二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务...

百亿数据，毫秒级返回查询优化

热门推荐

LoveSummer

02-28

5万+

与其说上面列的这些点是 MySQL 的不足，倒不如说 MySQL 本身就不是为海量数据查询而设计的，术业有专攻，海量数据查询还得用专门的搜索引擎，这其中 ES 是其中当之无愧的王者，它是基于 Lucene 引擎构建的开源分布式搜索分析引擎，可以提供针对 PB 数据的近实时查询，广泛用在全文检索、日志分析、监控分析等场景。轻松支持各种复杂的查询条件: 它是分布式实时文件存储，会把每一个字段。

海量数据处理方法总结 & 常见大数据题目汇总

正在努力工作的搬砖人

04-14

3932

本文针对常用的处理大数据的方法进行了详细讲解，并汇总了常见的大数据题目，更是对大数据小内存排序题目做了详细的图解分析，相信大家看完这篇文章，下次再遇到大数据题目一定会对思如泉涌。..................

浅谈大数据量查询

小北

02-19

2427

前两天开会，提到了大数据量查询较慢的问题。其实这个问题我们不止一次遇到了，今天简单谈谈对这个问题的一些小看法。首先，客户最长能忍受多长时间的等待呢？当然，不让用户等待是最好的，或者说不让用户觉得实在等待！最简单的比如loading图片、进度条等。其实，Ajax的异步通信也是为了不让用户感觉到在等待！那么如果非得说要让客户等待系统反应，这个时间到底是多少呢？以我个人观点，普通需求不可以超

实战：上亿数据如何秒查

weixin_30892763的博客

04-08

673

最近在忙着优化集团公司的一个报表。优化完成后，报表查询速度有从半小时以上(甚至查不出)到秒查的质变。从修改SQL查询语句逻辑到决定创建存储过程实现，花了我3天多的时间，在此总结一下，希望对朋友们有帮助。数据背景首先项目是西门子中国在我司实施部署的MES项目，由于项目是在产线上运作(3 years+)，数据累积很大。在项目的数据库中，大概上亿条数据的表有5个以上，千万级数据的表10个以上...

如何处理数据库中海量数据，以及处理数据库海量数据的经验和技巧（转）

Bobby的部落阁

11-14

1142

海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。　基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提高了处理效率和处理的成功率。在实际的工作环境下...

干货 | 每天十亿级数据更新，秒出查询结果，ClickHouse在携程酒店的应用

携程技术中心

06-26

2034

作者简介蔡岳毅，携程酒店大数据高级研发经理，负责酒店数据智能平台研发，大数据技术创新工作。喜欢探索研究大数据的开源技术框架。一、背景1）携程酒店每天有上千表，累计十多亿数...

SELECT COUNT(*) from a left join b 其中a表200万条数据应当如何sql 能使查询速度变快