在执行Hive查询时，用户可能会遇到org.apache.hadoop.yarn.exceptions.YarnRuntimeException异常，通常伴随着java.lang.InterruptedException: sleep interrupted错误信息。尽管"sleep interrupted"看起来是通用线程中断问题，但在Hadoop YARN环境中，它往往指向底层资源分配冲突，特别是内存配置不当。

典型异常日志

以下是此类问题的典型错误堆栈信息，表明在MapReduce作业提交或状态查询过程中遭遇中断：

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.InterruptedException: sleep interrupted
    at org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:348)
    at org.apache.hadoop.mapred.ClientServiceDelegate.getJobStatus(ClientServiceDelegate.java:428)
    at org.apache.hadoop.mapred.YARNRunner.getJobStatus(YARNRunner.java:568)
    at org.apache.hadoop.mapreduce.Job$1.run(Job.java:323)
    at org.apache.hadoop.mapreduce.Job$1.run(Job.java:320)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapreduce.Job.updateStatus(Job.java:320)
    at org.apache.hadoop.mapreduce.Job.getJobState(Job.java:352)
    at org.apache.hadoop.mapred.JobClient$NetworkedJob.getJobState(JobClient.java:300)
    at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper.progress(HadoopJobExecHelper.java:244)
    at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper.progress(HadoopJobExecHelper.java:549)
    at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:438)
    at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:137)
    at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)
    at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:88)
    at org.apache.hadoop.hive.ql.exec.TaskRunner.run(TaskRunner.java:75)
Caused by: java.lang.InterruptedException: sleep interrupted
    at java.lang.Thread.sleep(Native Method)
    at org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:345)
    ... 17 more
Total MapReduce CPU Time Spent: -2 msec
Job Submission failed with exception 'org.apache.hadoop.yarn.exceptions.YarnRuntimeException(java.lang.InterruptedException: sleep interrupted)'

虽然错误信息直接指向线程中断，但更深层的原因往往与MapReduce任务向YARN请求资源时，请求的内存超出了YARN集群的配置上限有关。

问题排查：Hive与YARN的内存配置差异

要诊断此类问题，需要检查Hive脚本中MapReduce任务的内存配置，并将其与YARN集群允许的最大内存分配进行对比。

Hive SQL脚本中的MapReduce内存请求

在Hive SQL查询中，可以通过SET命令为MapReduce作业配置各项参数。以下是一个示例，其中特别关注内存相关的设置：

SET hive.exec.compress.output=true;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
SET mapred.output.compression.type=BLOCK;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.dynamic.partition=true;
SET hive.auto.convert.join=true;
SET mapreduce.map.memory.mb=40960;   -- Map任务请求的YARN Container内存
SET mapreduce.reduce.memory.mb=40960; -- Reduce任务请求的YARN Container内存
SET mapred.child.java.opts=-Xmx1536m;
SET mapreduce.job.reduce.slowstart.completedmaps=0.8;
SET hive.exec.parallel=true;

在此示例配置中，Map和Reduce任务均请求了40960 MB的YARN Container内存。

YARN集群的最大内存分配限制

接下来，检查Hadoop YARN集群的yarn-site.xml配置文件。其中yarn.scheduler.maximum-allocation-mb参数定义了单个YARN Container可以分配的最大内存量：

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>30720</value>
</property>

根据上述YARN配置，单个Container允许的最大内存分配为30720 MB。

内存配置冲突与解决方案

通过对比可见，Hive脚本中请求的Map/Reduce任务内存（40960 MB）超过了YARN集群允许的最大分配内存（30720 MB）。当YARN检测到任务请求的资源量超出其最大限制时，它将拒绝为该任务分配Container，导致作业提交失败并抛出YarnRuntimeException。

解决方案： 调整Hive脚本中的mapreduce.map.memory.mb和mapreduce.reduce.memory.mb参数。将它们的值修改为小于或等于yarn.scheduler.maximum-allocation-mb的配置值。例如，可以将其调整为30720 MB或根据实际需求进一步调小：

SET mapreduce.map.memory.mb=30720;
SET mapreduce.reduce.memory.mb=30720;

修改配置后重新提交Hive作业，通常可以解决因内存分配冲突导致的YARN异常。

MapReduce任务内存参数进阶优化

为了更好地管理MapReduce任务的内存资源，需要理解YARN Container内存与JVM堆内存之间的关系：

• YARN Container内存 (mapreduce.map.memory.mb / mapreduce.reduce.memory.mb)：

  这些参数指定了YARN为Map或Reduce任务分配的物理内存总量。这个总量不仅包含JVM的堆内存，还需预留空间给JVM的元空间、栈空间、本地库以及其他进程开销。

• JVM堆内存 (mapreduce.map.java.opts / mapreduce.reduce.java.opts)：

  这些参数通过-Xmx选项来设置Map或Reduce任务JVM的最大堆内存。例如，-Xmx2048m表示JVM堆最大为2GB。

优化建议：

由于Map/Reduce任务的JVM在YARN Container中运行，JVM堆内存（由-Xmx控制）必须小于YARN Container的总内存（由memory.mb控制）。通常推荐将JVM堆内存设置为Container总内存的75%到80%。例如，如果一个Container被分配了30720 MB内存（即mapreduce.map.memory.mb=30720），那么其JVM堆内存（mapreduce.map.java.opts中的-Xmx）可以设置为约23040 MB（30720 * 0.75）。这样做可以为非堆内存、YARN自身的管理开销以及其他系统进程预留足够的空间，避免因Container级别内存溢出（OOM）而导致任务被YARN强制终止。