思考-继续思考在数据库中两个表join的问题

最新推荐文章于 2024-04-16 22:28:22 发布

转载最新推荐文章于 2024-04-16 22:28:22 发布 · 176 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/kuang17/p/11014519.html

文章标签：

#数据库 #5g

##在资源有限的情况下，如何做两个大表的join？

---

假设系统资源：内存1G，大表10G，小表2G。

---

都拿到内存中进行笛卡尔集肯定不行，内存没有那么大。

最简单的办法是对两个表建索引，但是万一两个索引都很大，一个索引500M，一个索引1G，其实索引应该没有那么大，我们就估算极端情况。

仅对索引进行bitmap scan，最后读取满足的记录。但对两个索引进行扫描时，内存就不够了，怎么处理？

想到办法是用hash jion的方式，对2G小表做hash，可能只占100M。然后循环读取10G大表，每次读取32M，然后去进行hash jion记录满足需求的记录，循环结束之后再去读取对应的记录。

那么筛选的结果假如有5G，怎么给客户端传输，客户端内存也1G。

会从满足需求的记录信息中循环读取并投影，例如网络传输的buf为64M，那么读取64M后就等下一次请求？

转载于:https://www.cnblogs.com/kuang17/p/11014519.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dimawei2225

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

数据库常见面试题（附答案）

csdn问鼎

03-13

46万+

1.事务四大特性原子性，要么执行，要么不执行隔离性，所有操作全部执行完以前，其它会话不能看到过程一致性，事务前后，数据总额一致持久性，一旦事务提交，对数据的改变就是永久的 2.数据库隔离级别，每个级别会引发什么问题，mysql默认是哪个级别脏读：事务B读取事务A还没有提交的数据不可重复读：两次事务读的数据不一致幻读:事务A修改了数据，事务B也修改了数据，这时在事务A看...

〖Python 数据库开发实战 - MySQL篇⑳〗- 数据表的内连接

热门推荐

易编橙 · 终身成长社群，相遇已是上上签！

07-30

4万+

该章节的内容为多表连接查询的内连接，因为 MySQL 是关系型数据库，数据是拆分重组在多个数据表里面的。所以我们势必要从多个数据表中提取数据，通过 SQL 语句的内连接与外连接就能够实现多表查询了。这部分内容是需要我们重点学习的，学习的过程中会穿插多种的案例来强化对表连接的语法的运用。（简单一点来说，其实就是从多张表里查询数据集，这一大段是我为了给摘要凑字数用的！）......

参与评论您还未登录，请先登录后发表或查看评论

mysql join 组合索引,图文详解MySQL中两表关联的连接表如何创建索引

weixin_32958777的博客

03-17

902

本文介绍了MySQL中两表关联的连接表是如何创建索引的相关内容，分享出来供大家参考学习，下面来看看详细的介绍：问题介绍创建数据库的索引，可以选择单列索引，也可以选择创建组合索引。遇到如下这种情况，用户表(user)与部门表(dept)通过部门用户关联表(deptuser)连接起来，如下图所示：表间关系问题就是，在这个关联表中该如何建立索引呢？针对该表，有如下四种选择:针对于user_uuid建立单...

SQL 中的JOIN两表或者多表连接问题

weixin_33885676的博客

12-24

271

SQL数据库中的表连接含义：连接即是把两个表或者两个以上的表信息放置在一个结果集中分类： 1.内部连接 2.外部连接 3.完全连接 4.交叉连接内部连接是连接类型中最普通的一种，与大多数连接一样，内部连接根据一个或几个相同的字段将记录匹配在一起，但是内部连接仅仅返回那些存在的字段匹配的记录。 Use northwind select products.*,suppl...

两张超级大表join优化

Chenf1934的博客

02-27

1883

一个简单的两表关联，SQL跑了差不多一天一夜，这两个表都非常巨大，每个表都有几十个G，数据量每个表有20多亿，表的字段也特别多。相信大家也知道SQL慢在哪里了，单个进程的PGA 是绝对放不下几十个G的数据，这就会导致消耗大量temp tablespace，SQL慢就是慢在temp来回来回来回...的读写数据。先创建2个测试表 t1,t2 数据来自dba_objects cr...

powerdesigner出错总结一

做一个NB的码农，且不止于码农

05-30

4135

原文地址：http://blog.sina.com.cn/s/blog_491f8137010006sh.html 一.CDM中的各类关系转换为PDM后关系图标的识别A.1:1的关联关系==PDM显示为两个反向箭头,每个箭头上一个等于号(即”=”)。（让等号显示的操作步骤：Tools->Display Preferences->Object View->Reference->勾选Join，去掉

数据库join用法

黑夜之星的博客

10-16

3851

一张图搞清楚join用法

关于数据库设计中主键问题的思考

09-10

例如，在需要预先填写主键与外键值的情况，如订单表和订单明细表的关系，由于自动增长的不确定性，可能导致事务处理的困难，需要在事务中进行两次更新，这可能破坏数据一致性。此外，跨数据库的数据复制可能导致主键...

08 SQL进阶 -- 集合运算 -- 表的连结（JOIN）

在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。在腾飞开源的博客上，你会看到紧跟技术前

04-16

1519

前一节我们学习了 UNION和INTERSECT 等集合运算, 这些集合运算的特征就是以行方向为单位进行操作. 通俗地说, 就是进行这些集合运算时, 会导致记录行数的增减。使用 UNION 会增加记录行数,而使用 INTERSECT 或者 EXCEPT 会减少记录行数。但这些运算不能改变列的变化, 虽然使用函数或者 CASE表达式等列运算, 可以增加列的数量, 但仍然只能从一张表中提供的基础信息列中获得一些"引申列", 本质上并不能提供更多的信息。

csdn入门测试教程------mysql数据库命令大全以及常用命令安装教程基础知识附【练习题】

分享测试知识

07-13

736

mysql数据库是每一个测试小白入行必学的一个知识，学会这些命令呢也能让你在玩转数据库的时候给你提供很多的便利也是很不错的，最后希望各位小伙伴学有所成，心想事成咯，废话不多说直接上正文。 net start mysql; 启动 net stop mysql; 暂停使用root账户登录 mysql -uroot -p123456 root是默认用户,超级管理员 -p后面接密码显示所有数据库 show databases; 使用某个数据库 use 数据库名修改密码 1.使用m

《数据库系统概论》第二章关系数据库

doctor_fung的博客

08-03

7083

2.1 关系数据结构及形式化定义 2.1.1 关系 1. 域（domain）：一组具有相同数据类型的**值**的集合 2. 笛卡儿积：域上的一种集合运算一个域允许的不同取值个数称为这个域的基数笛卡儿积是不同域的所有元素的所有组合 3. 关系候选码：关系中的能唯一地标识一个元组而其子集不能的某一属性组的值，若有多个，选定其中一个为主码候选码的各个...

如何解决微服务的数据聚合Join问题？

架构师波波的专栏

09-09

4601

单库Join问题有后端开发经验的同学应该了解，对于传统SQL数据库，我们通常以正规化(normalization)的方式来建模数据。正规化的好处是数据冗余少，不足之处是数据聚合Join会比较麻烦。实际Join的时候，需要将几张相关表，通过主键和外键关系才能Join起来。我们知道，Join是一种开销比较大的SQL运算，当数据量少的时候，这种开销通常OK。但是随着企业规模逐渐变大，数据库中的数据量也会越变越大，相应地，Join的开销也会越来越大。于是，Join变慢的问题就会越来越突出，通常表现为用户的查询慢

数据库表在join时的三种方式

weixin_30809173的博客

08-01

497

sql 执行时最重要的两步： 1）通过什么方式获取到数据(index only scan、index scan、table full scan) 2）获取到数据后用什么方式join出结果。下面说的是第二步 nested loop 嵌套循环处理等值连接。对于被连接的数据子集较小的情况，nested loop连接是个较好的选择。 ...

数据库中表的连接（多关系连接查询）

杨成勇

06-03

5646

用的最多的是内连接： ——在连接的两个表中，只有满足连接条件的元祖，才作为结果输出。 ——例： A表： B表： sql语句： select A.ID,A.name,A.gender,B.ID,B.No,B.class,B.grade from A inner join B on A.ID=B.ID 结果：外连接分为左外连接，右外连接

数据库基础概论__内连接与外连接

weixin_39804483的博客

12-21

315

第一部分：外连接与内连接 SQL的高级语法中引入了内连接与外连接运算，具体形式： Select 列名 [ [, 列名] … ] From 表名1 [NATURAL] [ INNER | { LEFT | RIGHT | FULL} [OUTER]] JOIN 表名2 { ON 连接条件| Using (Colname {, Colname …}) } [ Where 检索条件 ] … ; ...

数据库系统概论-第二章数据库习题

the blog of Lee

09-14

1万+

1.试述关系模型的三个组成模式. 关系数据结构、关系操作集合、关系完整性的约束三部分组成 2.简述关系数据语言的特点和分类 3.定义并理解下列术语,说明它们之间的联系和区别: (1)域,笛卡尔积,关系,元组,属性域是一种相同类型的集合笛卡尔积是域上的一种集合运算因为笛卡尔积在现实生活中的应用不大,所以使用笛卡尔积的子集会更好,它被称为关系关系上的每个元素叫元组关系表...

mysql 两个不同类型的字段做join on，以及发生的两个不同编码的字段比较问题

FREEDOM

03-26

5357

mysql 中有两个表： tableA表：id字段类型为varchar tableB表：id字段为int 执行以下语句： select a.*,b.* from tableA a left tableBb on a.id=b.id 会发现查出来的数据错乱，没有按照a.id=b.id 进行拼接。解决办法有如下三种，即对字段类型进行转换后做on： select a.*,b...

一次涉及两个大表关联的优化

sidy的专栏

12-05

1万+

sql： select * from (select fd.analystid, dr.objid DOCID, dr.title, row_number() over(partition by fd.analystid order by dr.doctime desc) rown

c#sqlsever数据库中放多个表

最新发布

03-20

<think>好的，我现在需要帮助用户了解如何在C#中操作多个SQL Server数据库表。首先，我得回忆一下用户的问题，他们想要一个示例，展示如何同时操作多个表，可能包括联合查询、事务处理等方面。根据用户提供的引用内容，特别是引用[2]中的参数化查询和引用[3]中的视图使用，我需要结合这些信息来构建示例。首先，用户可能想了解如何进行多表操作，比如连接查询、插入数据到多个表，或者使用事务确保数据一致性。我需要确保示例覆盖这些常见场景。接下来，我需要考虑代码的结构，比如使用SqlConnection、SqlCommand等类，以及参数化查询来防止SQL注入，这点在引用[2]中已经提到过，必须包含进去。然后，关于多表查询，可能需要展示INNER JOIN的用法，或者使用视图来简化操作，如引用[3]所述。视图可以将复杂的多表查询封装起来，方便后续操作。但用户的问题更偏向于直接操作多个表，因此重点可能在JOIN和事务处理上。事务处理是关键，尤其是在需要同时更新多个表时，必须保证所有操作都成功，否则回滚。比如，订单和订单明细通常存储在不同的表中，插入时需要事务支持。这个场景比较典型，可以作为示例之一。另外，用户可能需要了解如何执行联合查询，比如从两个表中检索相关数据，这时候需要使用JOIN语句。例如，学生表和成绩表的联合查询，显示学生姓名和成绩。我还需要注意代码的规范性，比如使用using语句确保资源释放，参数化查询防止注入攻击，以及错误处理机制。引用[1]中的SqlCommand示例和引用[2]中的参数化方法都是很好的参考。接下来，我应该组织这些思路，分成几个部分：多表联合查询、事务操作多表、视图应用示例。每个部分给出代码示例和说明，确保用户能够理解每一步的作用。同时，要引用相关的引用内容，比如在事务部分提到引用[2]的参数化方法，视图部分提到引用[3]。最后，生成相关问题，帮助用户进一步学习，比如事务隔离级别、视图的其他应用，以及如何优化多表操作性能。这些问题需要与主题相关，并且基于用户可能的后续疑问来设计。现在，我需要将这些思考整理成一个结构清晰的回答，确保每个示例正确，符合C#和SQL Server的最佳实践，同时引用正确的位置，比如在参数化查询处添加引用[2]，在视图处添加引用[3]。还要检查代码语法是否正确，比如SQL语句的格式，C#的using块和命令参数添加是否正确。</think>以下是通过C#操作SQL Server多表的三种典型场景示例及说明： ### 一、多表联合查询（INNER JOIN） ```csharp using (SqlConnection conn = new SqlConnection("连接字符串")) { string sql = @"SELECT s.Name, c.CourseName, sc.Score FROM Students s INNER JOIN Score sc ON s.StudentID = sc.StudentID INNER JOIN Courses c ON sc.CourseID = c.CourseID"; SqlCommand cmd = new SqlCommand(sql, conn); conn.Open(); using (SqlDataReader reader = cmd.ExecuteReader()) { while (reader.Read()) { Console.WriteLine($"{reader["Name"]} {reader["CourseName"]} {reader["Score"]}"); } } } ``` 此示例通过`INNER JOIN`同时关联学生表、成绩表和课程表，实现跨表数据查询[^3]。 ### 二、事务操作多表（订单+明细） ```csharp using (SqlConnection conn = new SqlConnection("连接字符串")) { conn.Open(); SqlTransaction transaction = conn.BeginTransaction(); try { // 插入订单表 string orderSql = @"INSERT INTO Orders(UserID, OrderDate) VALUES(@UserID, GETDATE()); SELECT SCOPE_IDENTITY()"; SqlCommand cmd = new SqlCommand(orderSql, conn, transaction); cmd.Parameters.AddWithValue("@UserID", 1001); int orderID = Convert.ToInt32(cmd.ExecuteScalar()); // 插入明细表 string detailSql = @"INSERT INTO OrderDetails(OrderID, ProductID, Quantity) VALUES(@OrderID, @ProductID, @Quantity)"; cmd.CommandText = detailSql; cmd.Parameters.Clear(); cmd.Parameters.AddWithValue("@OrderID", orderID); cmd.Parameters.AddWithValue("@ProductID", 5002); cmd.Parameters.AddWithValue("@Quantity", 3); cmd.ExecuteNonQuery(); transaction.Commit(); } catch { transaction.Rollback(); throw; } } ``` 此示例使用事务确保订单主表和明细表的原子性操作，采用参数化查询防止SQL注入[^2]。 ### 三、视图应用示例 ```csharp // 先创建视图（SQL Server端） CREATE VIEW V_StudentScores AS SELECT s.StudentID, s.Name, c.CourseName, sc.Score FROM Students s JOIN Score sc ON s.StudentID = sc.StudentID JOIN Courses c ON sc.CourseID = c.CourseID // C#调用视图 string sql = "SELECT * FROM V_StudentScores WHERE Score > @MinScore"; using (SqlCommand cmd = new SqlCommand(sql, conn)) { cmd.Parameters.AddWithValue("@MinScore", 80); // 执行查询... } ``` 视图将多表关联查询封装为虚拟表，简化客户端代码复杂度[^3]。