MyBatis 批量操作优化:使用 ExecutorType.BATCH 提升数据处理性能
在基于 MyBatis 或通用 Mapper 进行开发时,处理大规模数据的写入或更新是一个常见需求。许多开发者习惯使用 <foreach> 标签在 XML 中拼接复杂的批量 SQL。然而,当数据量达到一定规模时,拼接出的超长 SQL 不仅会消耗大量内存,还可能超出数据库对单条 SQL 长度的限制。
更为优雅且高效的解决方案是利用 MyBatis 原生提供的 BATCH 执行器。通过 JDBC 的批处理机制,可以显著减少客户端与数据库之间的网络交互次数,从而大幅提升增删改操作的性能。
BATCH 模式代码实现
以下示例展示了如何通过注入 SqlSessionFactory 来开启批处理会话,并对用户积分进行批量更新。代码中引入了批次大小常量,以控制内存中缓存的语句数量。
@Autowired
private SqlSessionFactory sessionFactory;
@Transactional(rollbackFor = Exception.class)
@Override
public void processBatchPointUpdates() {
// 获取支持批量执行的 SqlSession
SqlSession batchSession = sessionFactory.openSession(ExecutorType.BATCH);
UserPointMapper mapper = batchSession.getMapper(UserPointMapper.class);
List<UserPoint> records = mapper.fetchAllActive();
final int BATCH_CHUNK_SIZE = 100;
for (int i = 0; i < records.size(); i++) {
UserPoint item = records.get(i);
item.setBonusPoints(item.getBonusPoints() + 10);
mapper.updateBonusPoints(item);
// 每处理 100 条数据,向数据库刷新一次批处理语句
if ((i + 1) % BATCH_CHUNK_SIZE == 0) {
batchSession.flushStatements();
}
}
// 确保最后不足一个批次的数据也被提交
batchSession.flushStatements();
}
在上述代码中,核心在于通过 ExecutorType.BATCH 创建 SqlSession。在此会话下获取的 Mapper 接口,其所有的修改操作都会自动进入批处理队列,直到调用 flushStatements() 时才会真正发送给数据库执行。
执行日志分析
开启 DEBUG 级别日志后,可以观察到 BATCH 模式下的 SQL 执行特征。MyBatis 会预编译一次 SQL,随后连续绑定多组参数,直到触发 flushStatements() 或达到 JDBC 驱动的批处理上限时,才会重新进行预编译。
DEBUG ==> Preparing: UPDATE user_point SET bonus_points = ? WHERE user_id = ?
DEBUG ==> Parameters: 110(Integer), 1001(Long)
DEBUG ==> Parameters: 65(Integer), 1002(Long)
DEBUG ==> Parameters: 88(Integer), 1003(Long)
... (省略中间参数)
DEBUG ==> Parameters: 80(Integer), 1100(Long)
DEBUG ==> Preparing: UPDATE user_point SET bonus_points = ? WHERE user_id = ?
DEBUG ==> Parameters: 25(Integer), 1101(Long)
DEBUG ==> Parameters: 42(Integer), 1102(Long)
... (省略中间参数)
DEBUG ==> Parameters: 95(Integer), 1200(Long)
关键注意事项
1. Spring 事务接管机制
在 Spring 与 MyBatis 整合的架构中,数据库连接和事务由 SpringManagedTransaction 统一管理。这意味着开发者无需(也不应)手动调用 commit() 或 rollback(),同时也不需要显式调用 close() 来关闭 SqlSession。在 Spring 托管环境下,手动干预事务或关闭会话不仅多余,还可能引发不可预知的异常。
2. SQL 连续性与适用范围
- 操作类型限制:
BATCH执行器仅对INSERT、UPDATE和DELETE操作生效。对于SELECT查询,MyBatis 会直接执行而不会将其放入批处理队列。 - 保持 SQL 连续性:JDBC 批处理要求相同的 SQL 语句连续执行。如果在循环中交替执行不同的 SQL(例如一条
INSERT紧接一条UPDATE),MyBatis 会频繁切换底层的Statement,导致批处理失效,退化为普通的单条执行模式。因此,在编写批量逻辑时,务必对数据进行分组,确保同类型的 SQL 操作集中且连续地执行。
