Dapper大数据流式读取终极指南：告别内存溢出烦恼

在.NET开发中，处理大数据查询时经常遇到内存溢出的问题。Dapper-dot-net作为轻量级ORM，提供了强大的流式读取功能，让你能够高效处理百万级数据而不必担心内存问题。😊

【免费下载链接】Dapper 项目地址: https://gitcode.com/gh_mirrors/dappe/dapper-dot-net

为什么需要流式读取？

当你执行返回大量数据的查询时，传统的缓冲查询会将所有数据一次性加载到内存中。对于小数据集这没问题，但当数据量达到几十万甚至百万行时，这就会导致严重的内存压力甚至系统崩溃。

Dapper的流式读取功能通过buffered: false参数实现，让数据按需加载，大大降低内存占用。

Dapper流式读取的核心方法

1. 基础流式查询

// 传统缓冲查询（可能导致内存问题）
var users = connection.Query<User>("SELECT * FROM Users");

// 流式读取（内存友好）
var users = connection.Query<User>("SELECT * FROM Users", buffered: false);

2. QueryMultiple流式处理

对于存储过程或复杂查询返回多个结果集的情况：

var sql = @"
    SELECT * FROM Customers WHERE CustomerId = @id
    SELECT * FROM Orders WHERE CustomerId = @id
    SELECT * FROM Returns WHERE CustomerId = @id";

using (var multi = connection.QueryMultiple(sql, new {id = selectedId}))
{
    // 逐个读取结果集，避免一次性加载
    var customer = multi.Read<Customer>().Single();
    var orders = multi.Read<Order>().ToList();
    var returns = multi.Read<Return>().ToList();
}

实战：百万数据流式处理方案

场景：导出用户数据报表

假设你需要从用户表中导出所有用户数据到Excel，表中有100万条记录。

不推荐做法：

// 一次性加载所有数据 - 可能导致内存问题！
var allUsers = connection.Query<User>("SELECT * FROM Users");
ExportToExcel(allUsers);

推荐做法：

// 流式读取，分批处理
var users = connection.Query<User>("SELECT * FROM Users", buffered: false);

int batchSize = 1000;
var batch = new List<User>();
int processed = 0;

foreach (var user in users)
{
    batch.Add(user);
    processed++;
    
    if (batch.Count >= batchSize)
    {
        ExportToExcel(batch);
        batch.Clear();
        
        // 可选：显示处理进度
        Console.WriteLine($"已处理：{processed} 条记录");
    
    // 模拟GC，避免内存累积
    if (processed % 10000 == 0)
    {
        GC.Collect();
    }
}

// 处理最后一批
if (batch.Count > 0)
{
    ExportToExcel(batch);
}

GridReader深度解析

Dapper的GridReader类是实现多结果集流式处理的核心：

• Read() 方法：读取下一个结果集
• IsConsumed 属性：检查读取器是否已消费
• Dispose() 方法：释放资源

关键特性：

1. 按需读取：只有在调用Read方法时才会从数据库获取数据
2. 内存优化：不会一次性将所有数据加载到内存
3. 自动分页：支持大型结果集的分批处理

性能对比测试

根据Dapper官方性能测试数据：

查询类型	内存占用	处理时间	适用场景
缓冲查询	高	快	小数据集
流式查询	低	稍慢	大数据集

最佳实践指南

1. 连接管理

using (var connection = new SqlConnection(connectionString))
{
    connection.Open();
    
    // 使用流式读取大数据
    var largeData = connection.Query<LargeEntity>(
        "SELECT * FROM LargeTable", 
        buffered: false);
        
    foreach (var item in largeData)
    {
        // 处理每条数据
        ProcessItem(item);
    }
}

2. 异常处理

try
{
    var stream = connection.Query<Data>("SELECT * FROM HugeDataset", buffered: false);
    
    foreach (var data in stream)
    {
        // 业务逻辑
    }
}
catch (Exception ex)
{
    // 记录日志
    logger.Error("流式读取失败", ex);
}

3. 资源清理

var multi = connection.QueryMultiple(sql, parameters);
try
{
    while (!multi.IsConsumed)
    {
        var result = multi.Read<SomeType>().ToList();
    }
}
finally
{
    multi?.Dispose();
}

常见问题解决

Q: 流式读取会影响性能吗？

A: 对于大数据集，流式读取实际上比缓冲查询更高效，因为它避免了内存交换和GC压力。

Q: 什么时候应该使用流式读取？

A: 当查询结果预计超过1000行时，建议使用流式读取。

总结

Dapper-dot-net的流式读取功能为处理大数据场景提供了完美的解决方案。通过合理使用buffered: false参数和GridReader，你可以：

• ✅ 处理百万级数据而不内存溢出
• ✅ 保持应用程序的稳定性和响应性
• ✅ 优化内存使用，降低服务器成本
• ✅ 提供更好的用户体验

记住：对于小数据集使用缓冲查询，对于大数据集使用流式读取，这样才能在性能和内存之间找到最佳平衡点。🚀

【免费下载链接】Dapper 项目地址: https://gitcode.com/gh_mirrors/dappe/dapper-dot-net