Java面试——场景题

1.如何分批处理数据？

1.使用LIMIT和OFFSET子句： 这是最常用的分批查询方法。例如，你可以使用以下SQL语句来分批查询数据：

SELECT * FROM your_table LIMIT 1000 OFFSET 0;

分批查询到的数据在后端进行处理，达到分批处理数据的效果。

2.使用多线程的方式： 如果你需要用多线程分批处理数据，并且数据所在表的主键id是递增的，可以使用取模的方式进行分批查询。例如：

import java.sql.*;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CompletableFuture;

public class DatabaseUtils {
    // 数据库连接信息
    private static final String URL = "jdbc:mysql://localhost:3306/your_database";
    private static final String USER = "your_username";
    private static final String PASSWORD = "your_password";

    // 获取数据库连接
    public static Connection getConnection() throws SQLException {
        return DriverManager.getConnection(URL, USER, PASSWORD);
    }

    // 异步查询数据库的方法
    //第一个参数表示偏移量，表示当前已经查询到的数据id
    //第二个参数表示从当前偏移量开始，查询多少条数据
    public static CompletableFuture<List<String>> queryBatchAsync(int offset, int limit) {
        // 使用CompletableFuture.supplyAsync来异步执行数据库查询
        return CompletableFuture.supplyAsync(() -> {
            List<String> results = new ArrayList<>();
            try (Connection conn = getConnection();
                 PreparedStatement stmt = conn.prepareStatement("SELECT id, data FROM your_table LIMIT ? OFFSET ?")) {
                // 设置查询的LIMIT和OFFSET
                stmt.setInt(1, limit);
                stmt.setInt(2, offset);
                // 执行查询
                try (ResultSet rs = stmt.executeQuery()) {
                    // 遍历结果集，将结果添加到列表中
                    while (rs.next()) {
                        results.add(rs.getString("id") + ": " + rs.getString("data"));
                    }
                }
            } catch (SQLException e) {
                // 如果发生异常，抛出运行时异常
                throw new RuntimeException(e);
            }
            // 返回查询结果
            return results;
        });
    }
}

       这个类只是负责连接数据库，以及一个异步查询数据库的方法。注意这个方法的返回结果是CompletableFuture<List<String>>，返回一个异步任务，异步任务中的返回结果是根据偏移量和批量查询条数的查询结果，封装成一个list集合。注意数据库中的id应该是自增的

import java.util.List;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class MultiThreadedBatchProcessing {
    public static void main(String[] args) {
        // 假设我们有1000条记录需要处理，每批处理100条记录
        int totalRecords = 1000;
        int batchSize = 100;
        // 创建一个有10个线程的线程池
        ExecutorService executor = Executors.newFixedThr