项目 —— 历史数据脱敏加密

原创已于 2022-08-11 16:49:59 修改 · 389 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #java #mysql #spring #事务

于 2021-05-24 14:06:35 首次发布

Java 同时被 2 个专栏收录

130 篇文章

订阅专栏

项目总结

3 篇文章

订阅专栏

本文探讨了在已有历史数据的项目中如何实现用户名和手机号等敏感信息的加密，包括新数据和历史数据的加密策略。在历史数据加密过程中，采用一次性接口、数据库事务管理和分批处理来确保数据安全。同时，针对分页查询出现重复数据的问题，分析了MySQL5.6的优化器优化导致的不稳定排序，并提出了通过增加排序条件来确保查询一致性。

问题

在有历史数据的情况下，项目需要接入数据加密将用户名，手机号等敏感信息进行加密，如何处理？

解决

问题要点

主要分为两部分：新数据写入时的加密、历史数据加密。

新数据的加解密较为简单，不再赘述。

难点主要在历史数据的加密上，大致列出如下：

1、历史数据过多，分批处理。

2、历史数据加密失败问题。

思路总结

1、外放一个一次性的调用接口。

2、开启数据库事务(@Transactional或手动开启事务初始化)，加密失败后，回滚。

3、数据分批处理

代码示例

外放接口

@Slf4j
@RestController
@RequiredArgsConstructor
@RequestMapping("customer/aks")
public class AksExistDataController {

    private final AksExitDataUserIdServiceImpl aksExitDataUserIdServiceImpl;

    @PostMapping("encryptExist")
    public String encryptExist() {
        if (aksExitDataUserIdServiceImpl.aksABC()) {
            return "ABC表格已加密完成！   :)";
        } else {
            return "ABC表格已加密失败！   :(";
        }
    }
}

Mybatis事务

    public boolean aksABC() {
        TransactionStatus status;
		// 手动开启事务初始化
        status = transactionManager.getTransaction(new DefaultTransactionDefinition());
		//操作
        try {
            // 数据库完成操作后（例如业务上需先删除数据，再新增）
			encryptAksABC();
            // 操作无异常：提交事务
            transactionManager.commit(status);
            log.debug("表格{}已加密完成", "ABC");
            return true;
        } catch (Exception e) {
			log.debug("表格{}已加密出错", "ABC");
			e.printStackTrace();
            // 捕获异常时 事务回滚（避免先删除了数据在后续的操作中报错使得新增失败，而数据又被删了）
            transactionManager.rollback(status);
			log.debug("表格{}已回滚", "ABC");
			return false;
		}
    }

批量加密

    private final int size = 500;
   
    public void encryptAksLReadLog() {
        int totalNum = Integer.MAX_VALUE;
        for (int current = 1; (current - 1) * size < totalNum; current++) {
            Page<> page = new Page<>(current, size);
            IPage<ABC> abcList = aksUserIdDao.getAksLReadLog(page);
            totalNum = (int) abcList.getTotal();
            List<ABC> oriList = abcList.getRecords();
            if (oriList.size() != 0) {
                for (ABC ABC : oriList) {
                    //逐个加密
                }
            }
        }
	}

扩展阅读

Java、Mybatis事务——commit、rollback、编程式事务

问题
在分页查询时，发现不同页面的查询结果竟然有重复。

解决
在分页查询时，按照A字段进行排序，但某几个数据的A字段数值相同，导致分页出错，不同页面的查询结果有重复。

在MySQL 5.6的版本上，优化器在遇到order by limit语句的时候，做了一个优化，即使用了priority queue。使用 priority queue 的目的，就是在不能使用索引有序性的时候，如果要排序，并且使用了limit n，那么只需要在排序的过程中，保留n条记录即可，这样虽然不能解决所有记录都需要排序的开销，但是只需要 sort buffer少量的内存就可以完成排序。之所以5.6出现了第二页数据重复的问题，是因为 priority queue使用了堆排序的排序方法，而堆排序是一个不稳定的排序方法，也就是相同的值可能排序出来的结果和读出来的数据顺序不一致。

如果想要数据排序每次都相同的话，可以在order by后面再加一个排序条件，比如主键。