Oracle RAC 归档日志空间告警的根因分析
某日上午接收到一条来自 Oracle RAC 环境的监控告警，alert.log 中频繁出现以下错误信息：
2026-03-04T07:05:54.675143+08:00
ORA-19504: failed to create file "+ARCH"
ORA-17502: ksfdcre:4 Failed to create file +ARCH
ORA-15041: diskgroup "ARCH" space exhausted
ARC1 (PID:243419): Error 19504 Creating archive log file to '+ARCH'
ARC1 (PID:243419): Stuck archiver: insufficient local LADs
ARC1 (PID:243419): Stuck archiver condition declared
从错误堆栈来看，归档进程（ARC）在尝试将 redo 日志写入 ASM 磁盘组 +ARCH 时失败，直接原因为磁盘组空间不足（space exhausted）。此类问题若未及时处理，可能导致日志切换阻塞，进而引发实例挂起，必须立即介入排查。
初步验证：检查磁盘组实际使用情况
首先通过 ASM 命令行工具查看 ARCH 磁盘组的空间状态：
[grid@orcl01:/home/grid]$ asmcmd lsdg
State Type Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name
MOUNTED EXTERN N 512 512 4096 4194304 2097152 409248 0 409248 0 N ARCH/
结果显示当前仍有约 409GB 可用空间。这与告警中"空间耗尽"存在明显矛盾，说明问题可能并非当前持续性满盘，而是**历史瞬时写满**后已被清理。
时间线索：定位定时任务执行窗口
进一步观察报错时间点为 07:05，接近每日清晨。随即检查系统计划任务：
[oracle@orcl01:/home/oracle]$ crontab -l
00 07 * * * /home/oracle/scripts/del_arch.sh
确认每天 07:00 执行归档删除脚本。查阅该脚本的日志输出：
deleted archived log file name=+ARCH/ORCL/ARCHIVELOG/2026_03_01/thread_2_seq_26667.6173.1226732827
Deleted 1246 objects
当日共清理了 1246 个归档文件，释放了大量存储空间。由此推断：告警发生时（07:05），脚本正处于执行过程中或刚完成释放操作，而此前磁盘组已处于满载状态。
根本原因：大事务引发连锁反应
回溯前一天业务活动，发现两个并行的 DELETE 操作长时间运行，导致 UNDO 表空间压力激增。这类大规模 DML 操作不仅消耗 UNDO 资源，还会生成巨量 redo 数据，从而加速归档日志增长。
通过查询 v$archived_log 统计近几日归档生成量：
SELECT
to_char(completion_time,'yyyy-mm-dd') AS day,
COUNT(*) AS arch_count,
ROUND(SUM(blocks*block_size)/1024/1024/1024,2) AS arch_gb
FROM v$archived_log
WHERE completion_time >= SYSDATE - 30
GROUP BY to_char(completion_time,'yyyy-mm-dd')
ORDER BY 1;
结果如下：
| DAY | ARCH_COUNT | ARCH_GB |
|---|---|---|
| 2026-02-28 | 1380 | 475.52 |
| 2026-03-01 | 1428 | 489.35 |
| 2026-03-02 | 1891 | 656.68 |
| 2026-03-03 | 1425 | 487.18 |
| 2026-03-04 | 401 | 125.00 |
可见前一日归档总量已达峰值水平，结合高 redo 生成速率，在夜间低频清理前极易触及容量上限。
事件链还原
- 前一日晚，多个大事务持续提交，产生高频 redo 输出；
- 归档进程不断将 online redo log 内容写入
+ARCH磁盘组； - 由于归档生成速度超过清理周期，磁盘组在 07:00 前被完全占满；
- ARC 进程无法创建新归档文件，触发
ORA-15041并进入 "Stuck Archiver" 状态； - 07:00 定时任务启动，批量删除过期归档，释放空间；
- 07:05 后系统恢复写入能力，但告警已记录至日志。
经验总结
本次事件虽未造成停机，但暴露了运维中的盲区：在处理大事务时，往往只关注 UNDO 和会话等待，却忽略了其对归档路径的冲击。建议后续加强以下方面：
- 对涉及大批量 DML 的作业进行归档增长率预估；
- 设置归档使用率阈值告警，早于定时清理前发出预警；
- 考虑启用归档自动扩展策略或分级保留机制；
- 定期审查归档保留周期是否合理，避免无效积压。
