Java堆内存溢出问题分析与解决
问题概述
本文分析了一个由Java堆内存溢出(OutOfMemoryError: Java heap space)引起的服务崩溃问题。问题发生在处理大规模数据时，特别是在使用OpLogMergeMessage进行数据合并操作时。
系统环境
- 直接内存大小：26G
- 工作节点内存：60G
- 处理数据量：约550万条记录，每条记录约20字节
- 部分任务正常运行，部分任务失败
错误分析
从错误堆栈可以看出，问题发生在合并操作日志(OpLog)时，当尝试创建Int2DoubleOpenHashMap实例时抛出内存溢出异常。根本原因可能是由于多线程环境下资源竞争导致的内存管理问题。
GC日志分析
从GC日志可以看出系统频繁进行Full GC，且GC时间较长：
- CMS并发标记阶段耗时较长
- 出现多次"Allocation Failure"导致的Full GC
- 最终发生"concurrent mode failure"，表明CMS收集器无法满足回收需求
解决方案
1. 调整JVM参数
增加堆内存大小，调整GC策略：
-Xms32g -Xmx32g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly2. 优化数据结构
修改SparseDoubleVector实现，采用更高效的内存管理方式：
public class OptimizedSparseDoubleVector extends SparseDoubleVector {
private static final int INITIAL_CAPACITY = 1024;
private static final float LOAD_FACTOR = 0.75f;
public OptimizedSparseDoubleVector(int size) {
super(size);
this.map = new Int2DoubleOpenHashMap(INITIAL_CAPACITY, LOAD_FACTOR);
}
@Override
public void plusBy(DoubleVector other) {
if (other instanceof OptimizedSparseDoubleVector) {
OptimizedSparseDoubleVector otherVec = (OptimizedSparseDoubleVector) other;
otherVec.map.forEach((key, value) -> {
this.map.merge(key, value, Double::sum);
});
} else {
super.plusBy(other);
}
}
}3. 实现批量处理机制
修改MatrixOpLogCache的合并逻辑，实现批量处理：
public class BatchMatrixOpLogCache extends MatrixOpLogCache {
private static final int BATCH_SIZE = 1000;
private final Queue<OpLogMergeMessage> messageQueue = new ConcurrentLinkedQueue<>();
@Override
public void merge(OpLogMergeMessage message) {
messageQueue.add(message);
if (messageQueue.size() >= BATCH_SIZE) {
processBatch();
}
}
private void processBatch() {
List<OpLogMergeMessage> batch = new ArrayList<>(BATCH_SIZE);
while (!messageQueue.isEmpty() && batch.size() < BATCH_SIZE) {
OpLogMergeMessage msg = messageQueue.poll();
if (msg != null) {
batch.add(msg);
}
}
if (!batch.isEmpty()) {
// 批量处理逻辑
batch.parallelStream().forEach(this::mergeSingleMessage);
}
}
}4. 监控与调优
- 添加内存使用监控，在达到阈值时触发预警
- 实现动态资源分配机制，根据系统负载调整处理线程数
- 定期清理不再使用的数据结构，及时释放内存
预防措施
- 实现内存使用限制，防止单个操作消耗过多内存
- 增加熔断机制，当内存使用过高时暂停新任务
- 优化数据序列化/反序列化过程，减少内存占用
- 考虑使用堆外内存处理大规模数据
