怎么在短时间内处理大量数据

最新推荐文章于 2024-09-03 09:31:01 发布

原创最新推荐文章于 2024-09-03 09:31:01 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

2017前-开发整理同时被 2 个专栏收录

38 篇文章

订阅专栏

数据库

24 篇文章

订阅专栏

本文讨论了金融业务中如何在一小时内高效处理200万笔业务数据的问题。提出了使用分表分区、减少索引和外键约束及批量SQL插入等方法来提高数据处理速度。

怎么在短时间内处理大量数据？

    这几天去面试，面了一家做金融业务的公司，面试官问：
    一个小时的峰值处理为200万笔业务，这期间可能有多次的数据插入，如何设计数据库数据处理方案？

   银行之类的都要求高速处理大量数据，上面这个问题回答不好的话，基本就没戏了。
   各位高人有做过金融的吗，有清楚的吗？
   可以的话，能稍微详细点说说吗？

------解决方案--------------------
银行的表  设好 主键 就行了
------解决方案--------------------
分表分区，少建索引和外键约束，批量SQL插入

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wang_zhi_peng2007

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【大模型】ChatGPT 数据分析与处理使用详解

congge

01-04

6937

ChatGPT 数据分析与处理详解

揭开广告引擎的神秘面纱：如何在0.1秒内精准匹配用户需求？

最新发布

曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”

12-01

10万+

学习广告引擎的整体架构和工作过程是本文的关键内容，包括广告请求解析、标签检索、向量检索、打分排序等多个关键环节。这些环节共同构建了一个强大的广告引擎，使其能够在极短的时间内返回最相关的广告。

参与评论您还未登录，请先登录后发表或查看评论

大数据分析及处理

亚信联创大数据平台Li

03-27

2813

从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？

大量删除MySQL中的数据

weixin_30618985的博客

07-06

207

海量数据处理的方法总结

张维鹏的博客

04-14

2万+

基础知识： bit：位 byte：字节 1 byte= 8 bit int 类型为 4 byte，共32位bit，unsigned int也是 2^32 byte = 4G 1G= 2^30 =10.7亿海量数据处理概述：所谓海量数据处理，就是指数据量太大，无法在较短时间内迅速解决，或者无法一次性装入内存。而解决方案就是：针对时间，可以采用巧妙的算法搭配合适的数据结构，如 Bloom filter/Hashmap/bit-map/堆/数据库/倒排索引/trie树；针对空间...

接口对接中短时间大批量数据的处理

jasmine______001的博客

04-09

2520

可以从以下三点来处理 1.并发HTTP请求 2.锁（为避免拿到同样的订单重复请求） 3.队列（消息队列） demo 1 并发的http请求 public function sendHttpRequestV2($data,$type='',$timeout=10) { $header = array(); $url = $this->fo...

海量数据处理方法总结

KeaLoo

09-11

2962

目录海量数据处理参考链接数据时代来临，数据量的爆炸式增长是最为显著的特征。当高性能硬件的普及还跟不上这样的数据大潮时，如何在有限的时空资源内处理海量数据成为了计算机科学以及数理统计等领域最大的挑战。海量数据处理海量数据处理，是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。海量数据处理的困难用一句话概括，就是时间和空间资源不够。具体来说，时间受限：无法在有限时间内，完成针对海量数据的某项处理工作；空间受

QT串口大量数据动态实时显示（三）========“customplot绘图步骤”

weixin_45426095的博客

11-28

1万+

前言在《QT串口动态实时显示大量数据波形曲线（一）》和《QT串口动态实时显示大量数据波形曲线（二）》中介绍了串口编程和chart绘图编程。也介绍了chart和customplot绘图的基本区别。customplot绘图在代码上非常简单，不用点，线，坐标系和图表一层一层的放那么麻烦。第一部分：串口接收大量数据动态显示的难点串口大量数据QT接收时问题的原因：（1）10ms40个8位数。在示波器上监视串口波形，其实这个总线负载率差不多到了60%。如果再想传...

python处理千万级数据_使用Python Pandas处理亿级数据的方法

weixin_39722070的博客

11-21

2349

小O地图V0.9.2发布：高效地图数据处理与可视化

6. 高效性：软件的执行效率高，能在短时间内处理大量数据，并迅速给出结果。 7. 稳定性：软件运行可靠，不容易崩溃或出现错误，保证用户在使用过程中数据处理的一致性和准确性。 8. 个性化定制开发服务：除了标准...

大数据算法-处理大量数据

weixin_41227335的博客

11-05

1270

转自 https://www.cnblogs.com/simonote/articles/3087185.html

海量数据查询问题

weixin_30244681的博客

12-12

192

转载:https://blog.youkuaiyun.com/u010601183/article/details/56481868 1、海量日志数据，提取出某日访问百度次数最多的那个IP IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的...

如何通过并行处理提高大量数据处理的性能

图幻未来的博客

04-28

746

并行处理是一种将一个大任务分解为多个子任务，并利用多个处理器或多核处理器同时执行这些子任务的技术。相比于传统的串行处理，并行处理能够显著提高处理器的运算速度和处理能力，从而解决大规模数据处理的问题。本文围绕“如何通过并行处理提高大量数据处理性能”这一主题，分析了网络安全分析面临的挑战，介绍了并行处理的原理及其在网络安全分析中的应用。未来，随着云计算、分布式计算等技术的发展，并行处理技术将在网络安全领域发挥更大的作用，为实现高效、准确的网络安全分析提供有力支持。

大数据量的处理

wustboy的专栏

01-17

368

一般来说MS-SQL中如果有5~600万条数据就开始在查询的时候会很慢了。目前我有一个这样的项目www.35engine.cn，需要处理大约1000万条数据。如果用传统的一张表存储就会非常慢。一个查询的打开需要大概两分钟。所以我根据其分类将其分存于19个数据表中。在查询的时候再在不同的分类中进行查询。然后页面输出的时候使用存储过程分页，速度基本能接受了。

SQL Tips：大数据量下的数据库日期操作问题

曾登高

02-14

9001

说明：以下数据库操作基于SQL Server 2000问题出现：假设一个新闻系统，你需要获取最近一周的热点文章，一定会使用类似下面的SQL语句： select top 50 newsID, newsTitle, newsRead from newstable where datediff("d", newsTime, getdate())只要对newsID,newsRead,newsTim

大数据量的五种处理方式

越来越好ing的博客

09-19

2万+

http://www.51projob.com/a/bishimianshi/hailiangshuju/2012/0322/111.html 处理海量数据问题，无非就是：分而治之/hash映射 + hash统计 + 堆/快速/归并排序； Bloom filter/Bitmap； Trie树/数据库/倒排索引；外排序；分布式处理之hadoop/mapreduce。本文接下...

如何处理海量数据

知其然知其所以然

09-03

1517

随着互联网的迅速发展，互联网已经深度融合进了人们的生活，随处可见互联网的影子，数据来源日益丰富；人们对互联网的依赖，这些数据源不断产生大量数据，形成了前所未有的数据规模。并且随着人口规模的增加，互联网中的数据增长只会越来越快，越来越多。并且，在大数据中隐藏着巨大的商业价值和社会价值。通过对海量数据的分析，企业可以洞察市场趋势、消费者行为、产品偏好等，从而做出更精准的决策，优化资源配置，提升竞争力。因此，这要求我们必须有高效的海量数据处理技术来应对。

如何解决海量数据的处理问题

ChineseSoftware的博客

01-14

4733

一、海量数据，为高效查询，如何处理？分库分表会带来哪些副作用？可能的解决方式有哪些？目前经常使用的关系型数据库如 MySQL、SQL Server 等，都是以“行”为单位进行存储，为了快速检索，也都采用了B树或其他索引技术。 1️⃣从原理上来讲，表中的数据越多，索引树的范围越大，磁盘读取也越多，性能也就越低。 2️⃣从实践角度来看，一般以百万到千万作为一个表的存储量级，超出该范围之后，性能就会下降，需要采用其他技术手段解决。【读写分离】首先想到的就是能否将读和写分离，主数据库用于写入，读数据库(多个)