当前位置:首页 > 技术 > 正文内容

解决Oozie运行时类未找到错误:OozieLauncherOutputCommitter缺失

访客 技术 2026年7月25日 1

在使用Oozie执行任务时,遇到以下异常堆栈信息,表明 OozieLauncherOutputCommitter 类在运行时无法被加载:

java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.OozieLauncherOutputCommitter not found
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2227)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$1.call(MRAppMaster.java:481)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$1.call(MRAppMaster.java:458)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.callWithJobClassLoader(MRAppMaster.java:1560)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.createOutputCommitter(MRAppMaster.java:458)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.serviceInit(MRAppMaster.java:377)
	at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$4.run(MRAppMaster.java:1518)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster(MRAppMaster.java:1515)
	at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1448)
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.OozieLauncherOutputCommitter not found
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2195)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2219)
	... 12 more
Caused by: java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.OozieLauncherOutputCommitter not found
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2101)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2193)

该错误的根本原因通常是 Oozie 的共享库(sharelib)未正确部署到 Hadoop 集群的文件系统中,导致Hadoop的 MRAppMaster 在创建输出提交器时无法定位所需的类。

诊断步骤

首先,通过以下命令检查 Oozie 共享库的当前状态:

oozie admin -oozie http://{oozie-host}:11000/oozie -shareliblist

如果返回结果中包含以下组件列表,则说明共享库配置正常:

hive
distcp
mapreduce-streaming
spark
oozie
hcatalog
hive2
sqoop
pig

若列表为空或未显示任何组件,则说明共享库尚未创建或存在问题。

解决方案:重建并更新共享库

1. 找到 Oozie 安装目录下的 share 文件夹(通常位于 /usr/lib/oozie 或自定义路径中),将其打包为一个压缩文件:

tar zcf share.tar.gz share

2. 使用 oozie-setup.sh 脚本将打包后的共享库上传到 HDFS 指定路径:

./bin/oozie-setup.sh sharelib create -fs hdfs://hadoop01:8020 -locallib share.tar.gz

上述命令会自动创建 /user/oozie/share/lib 目录(若不存在)并将 share.tar.gz 的内容解压至该路径。

3. 执行共享库更新命令,使 Oozie 服务重新加载最新配置:

oozie admin -oozie http://{oozie-host}:11000/oozie -sharelibupdate

4. 再次执行 oozie admin -shareliblist 命令,确认组件列表已正常出现。

原因分析

此问题通常发生在 Oozie 共享库未被正确同步到 HDFS 的情况下。当 /user/oozie/share/lib 目录缺失或内容不完整时,Hadoop 的 MRAppMaster 无法在类路径中找到 org.apache.oozie.action.hadoop.OozieLauncherOutputCommitter,从而抛出 ClassNotFoundException。确保共享库正确部署即可解决该问题。

参考:Cloudera 社区讨论

标签: Oozie
返回列表

上一篇:LeetCode 周赛第164场题解

没有最新的文章了...

相关文章

Linux crontab 详解

1) crontab 是什么cron 是 Linux 的定时任务守护进程;crontab 是用来编辑/查看“按时间周期执行命令”的表(cron table)。常见两类:用户 crontab:每个用户一份(crontab -e 编辑)系统级 crontab / cron.d:可指定执行用户(/etc/crontab、/etc/cron.d/*)2) crontab 时间...

富文本里可以允许的 HTML 属性

一、所有标签默认允许的安全属性(极少)class        (可选)id           (通常建议禁用)title️ 注意:id 容易被滥用做锚点注入,很多系统直接禁用class 允许的话最好只允许固定前缀(如 editor-*)二、a 标签允许属性<a href="" t...

Mac 安装 Node.js 指南

方法一:通过官网安装包(最简单,适合初学者)如果你只是想快速安装并开始使用,这是最直接的方法。访问 Node.js 官网。页面会显示两个版本:LTS (Recommended For Most Users):长期支持版,最稳定。建议选这个。Current:最新特性版,包含最新功能但可能不够稳定。下载 .pkg 安装包并运行。按照安装向导点击“下一步”即可完成。方法二:使用 Homebrew 安装(...

Dom\HTML_NO_DEFAULT_NS 的副作用:自动加闭合标签

在使用Dom\HTMLDocument时,Dom\HTML_NO_DEFAULT_NS 将禁止在解析过程中设置元素的命名空间, 此设置是为了与DOMDocument向后兼容而存在的。当使用它时,已知的一个副作用就是:自动加闭合标签例如 </img> 为什么会这样?当你使用:Dom\HTML_NO_DEFAULT_NS文档会变成 无命名空间模式,此时内部更接近 XML...

Laravel 事件和监听器创建

在 Laravel 中,使用 Artisan 命令创建 Events(事件) 和 Listeners(监听器) 是非常高效的。你可以通过以下几种方式来实现:1. 手动创建单个 Event如果你只想创建一个事件类,可以使用 make:event 命令:Bashphp artisan make:event UserRegistered执行后,文件将生成在 app/Even...

自定义域名解析神器 dnsmasq

什么是 dnsmasq?dnsmasq 是一个轻量级、功能强大的网络服务工具,专为小型和中等规模网络设计。它是一个综合的网络基础设施解决方案[1]。dnsmasq 能做什么?功能说明应用场景DNS 转发与缓存将 DNS 查询转发到上游服务器(ISP、Google DNS 等),并在本地缓存结果加快 DNS 查询速度,减少外部 DNS 流量本地 DNS解析本地网络设备的主机名,无需编辑&n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。