优化分页查询性能的思路是非常有效的。通过减少 SQL 查询中的多表 `JOIN` 操作，先查询基础数据（比如商品表中的 `unit_id`、`brand_id`、`category

本文链接：https://blog.youkuaiyun.com/weixin_47495688/article/details/144143484

优化分页查询性能的思路是非常有效的。通过减少 SQL 查询中的多表 `JOIN` 操作，先查询基础数据（比如商品表中的 `unit_id`、`brand_id`、`category_id`）然后再进行额外的数据查询，能够显著减少数据库的负担，尤其是在涉及大量数据的场景下。以下是你提供的方案的几个关键点和优化后的技术细节：

### 1. **先查询主表的基本信息**
你先从 `product` 表中查询出商品的基础字段（如商品 ID 和相关的外键 ID）。通过分页查询获取到需要的商品列表，查询 SQL 变得更简单，只需一个 `LIMIT` 限制条数：

```sql
select p.id, p.product_name, p.unit_id, p.brand_id, p.category_id
from product p
where p.name = '测试商品'
limit 0, 20;
```

这样你避免了在这个查询中做复杂的 `JOIN` 操作，减少了数据库执行时的计算量，尤其在商品表的数据量很大的情况下能明显提升查询效率。

### 2. **后续再根据外键 ID 查询其他表的数据**
接着，你可以使用从分页查询结果中获取到的 `unit_id`、`brand_id` 和 `category_id`，在单独的查询中查出这些外键的详细信息。例如：

```sql
select id, name from unit where id in (1, 2, 3);
select id, name from brand where id in (1, 2, 3);
select id, name from category where id in (1, 2, 3);
```

通过这些 SQL 查询，你将外键 ID 转换为具体的名称，然后在程序中将它们填充回商品数据中。这样避免了 `JOIN` 造成的性能瓶颈。

### 3. **代码实现**
在 Java 中，你可以使用类似如下的代码来处理查询结果：

```java
// 获取商品列表
List<Product> productList = productMapper.search(searchEntity);

// 获取所有不同的unit_id, brand_id, category_id
List<Long> unitIdList = productList.stream().map(Product::getUnitId).distinct().collect(Collectors.toList());
List<Long> brandIdList = productList.stream().map(Product::getBrandId).distinct().collect(Collectors.toList());
List<Long> categoryIdList = productList.stream().map(Product::getCategoryId).distinct().collect(Collectors.toList());

// 批量查询单位、品牌、分类信息
List<Unit> unitList = UnitMapper.queryUnitByIdList(unitIdList);
List<Brand> brandList = BrandMapper.queryBrandByIdList(brandIdList);
List<Category> categoryList = CategoryMapper.queryCategoryByIdList(categoryIdList);

// 填充商品信息
for (Product product : productList) {
// 填充单位名称
Optional<Unit> unitOptional = unitList.stream().filter(u -> u.getId().equals(product.getUnitId())).findFirst();
unitOptional.ifPresent(unit -> product.setUnitName(unit.getName()));

// 填充品牌名称
Optional<Brand> brandOptional = brandList.stream().filter(b -> b.getId().equals(product.getBrandId())).findFirst();
brandOptional.ifPresent(brand -> product.setBrandName(brand.getName()));

// 填充分类名称
Optional<Category> categoryOptional = categoryList.stream().filter(c -> c.getId().equals(product.getCategoryId())).findFirst();
categoryOptional.ifPresent(category -> product.setCategoryName(category.getName()));
}
```

### 4. **性能优化**
- **避免了多表 `JOIN`**：你将多个表的连接操作从 SQL 中移除，减少了数据库在 `JOIN` 时的计算负担，尤其是在数据量大的时候，`JOIN` 操作的性能瓶颈非常明显。
- **分批查询**：通过先获取外键 ID 列表，再进行单独的查询，避免了将多个表的数据一次性加载到内存中的问题。你避免了 SQL 查询中可能发生的笛卡尔积（Cartesian Product）和大量的中间计算。
- **减少网络传输**：在一次请求中查询多个表可能会导致较大的数据量通过网络传输。通过分批查询，你可以减少每次查询的数据量。

### 5. **可能的改进**
尽管这种方式有效减少了 `JOIN`，但仍然存在一定的改进空间：

- **多线程优化**：对于外键信息的查询，你可以考虑使用并行流（`parallelStream`）或者线程池来并行处理外键的查询，进一步提高效率。
- **缓存**：如果这些外键信息（如单位、品牌、分类）的数据变化不频繁，可以考虑缓存这些数据，避免每次分页查询时都要重新从数据库中获取。

### 总结
这个分页查询优化的思路非常适用于大数据量场景，尤其是在查询条件复杂，需要 `JOIN` 多张表的情况下。通过先查询主表的基本信息，再批量查询外键表的数据，可以有效减少数据库查询压力，同时通过在应用层填充外键名称，避免了性能较差的多表连接操作。

空值处理：如果 product.getUnitId() 在某些情况下为 null，则 filter 和 findFirst 可能会返回 Optional.empty()。如果在查找单位时，某些商品没有对应的单位，可以通过 ifPresent 来避免空指针异常，但需要确保 unitList 是包含有效数据的，或者在必要时给商品设置默认的单位名称。

单位缺失：如果某些商品的 unitId 在 unitList 中没有找到对应的单位，unitOptional.ifPresent() 也不会进行任何操作，product.setUnitName() 也不会被调用。可能需要考虑在找不到对应单位时提供默认值或做记录。

为了处理空值和单位缺失的问题，我们可以对原始代码进行优化。在这种情况下，我们需要确保在以下两种情况时能够妥善处理：

1. **`product.getUnitId()` 为 `null`**：在这种情况下，我们需要避免在 `filter` 和 `findFirst` 中进行无效操作，保证程序健壮性。
2. **在 `unitList` 中找不到对应的单位**：在这种情况下，我们可以给商品设置一个默认的单位名称，或者记录错误信息。

以下是优化后的完整代码：

### 优化后的代码：

```java
// 先将 unitList 转换成 Map，这样查找速度更快
Map<Long, Unit> unitMap = unitList.stream()
.collect(Collectors.toMap(Unit::getId, unit -> unit));

for (Product product : productList) {
// 如果 unitId 为空，跳过该商品
Long unitId = product.getUnitId();
if (unitId == null) {
// 这里可以设置一个默认的单位名称，或者记录日志，提醒开发者处理
product.setUnitName("默认单位");
continue; // 直接跳到下一个商品
}

// 查找对应的单位
Unit unit = unitMap.get(unitId);
if (unit != null) {
// 找到对应单位，设置单位名称
product.setUnitName(unit.getName());
} else {
// 如果没有找到对应单位，设置默认单位名称，或记录日志
product.setUnitName("单位缺失");
// 记录日志或采取其他措施（可选）
// logger.warn("商品ID: " + product.getId() + " 未找到对应的单位");
}
}
```

### 代码优化点：

1. **空值检查 (`unitId == null`)**：
- 我们首先判断 `product.getUnitId()` 是否为 `null`，如果是 `null`，直接设置一个默认单位名称（如 `"默认单位"`）。如果需要，可以记录日志或者抛出一个警告，提醒开发者检查商品数据。

2. **单位缺失处理**：
- 如果 `unitMap.get(unitId)` 返回 `null`（即没有找到对应的单位），我们将商品的单位名称设置为 `"单位缺失"`，或者根据实际需求可以设置为其他默认值。
- 你还可以选择在日志中记录没有找到单位的商品 ID，帮助开发者追踪问题。

3. **性能优化**：
- 使用 `Map<Long, Unit>` 来存储单位信息，避免每次遍历 `unitList`，提高查找效率。这样查找时间复杂度从 `O(n)` 降低到 `O(1)`。

### 进一步的扩展：

- 如果需要记录日志，可以引入日志框架（如 SLF4J、Log4j 等），并在找不到单位的情况下记录警告或错误日志。例如：
```java
private static final Logger logger = LoggerFactory.getLogger(YourClass.class);

// 在 unitMap.get(unitId) 返回 null 时：
logger.warn("商品ID: {} 未找到对应的单位", product.getId());
```

- 如果你希望 `unitId == null` 的商品不被跳过，可以根据实际业务需求处理这些特殊情况。比如，你可以选择设置一个默认的单位，或者直接使用 `product.setUnitName("无单位")` 等。

### 总结：

通过在代码中加入对 `unitId` 为 `null` 的判断，并在找不到对应单位时为商品设置默认单位名称，我们增强了代码的健壮性，避免了潜在的空指针异常，并提高了程序的可维护性。同时，利用 `Map` 提高了单位查找的效率，确保了性能的优化。