Hadoop在Ubuntu上的故障排查方法有哪些
导读：Hadoop在Ubuntu上的故障排查方法 一 快速定位与通用检查 核对基础环境：执行java -version确认已安装Java 8（Hadoop 3.x 普遍更兼容 JDK 8）；检查环境变量是否正确加载：echo $JAVA_HOM...
Hadoop在Ubuntu上的故障排查方法
一 快速定位与通用检查
- 核对基础环境：执行java -version确认已安装Java 8（Hadoop 3.x 普遍更兼容 JDK 8）；检查环境变量是否正确加载：echo $JAVA_HOME、echo $HADOOP_HOME，必要时在**~/.bashrc或~/.profile中设置并source使其生效。若命令报“command not found”，将$HADOOP_HOME/bin与$HADOOP_HOME/sbin加入PATH**。
- 统一配置文件：重点核对core-site.xml（如fs.defaultFS）、hdfs-site.xml、yarn-site.xml在各节点的取值是否一致，避免端口、目录或主机名不匹配。
- 首次或状态异常时：按需执行hdfs namenode -format以重建元数据目录（注意：会清空现有元数据，生产慎用）。
- 查看进程与端口：用jps确认各节点进程是否到位；必要时用**ss -lntp | grep < 端口> 或netstat -tulpen | grep < 端口> **检查监听。
- 防火墙与监听地址：在Ubuntu上用sudo ufw allow < 端口> 放行必要端口（如9000、9870、8088、19888等）；同时确认**/etc/hosts与hostname**配置正确，避免回环或解析错误。
二 日志与启动输出定位
- 启动脚本即时线索：执行start-dfs.sh或start-yarn.sh时，关注控制台输出的“starting …”与“logging to …”路径，优先检查对应日志文件（.log）与标准输出（.out）。
- 日志目录与文件：Hadoop 日志默认在**$HADOOP_HOME/logs**，常见文件包括：hadoop--namenode-.log、hadoop--datanode-.log、yarn--resourcemanager-.log、yarn--nodemanager-.log等。
- 精准检索错误：用tail -f或less打开最新日志，直接复制完整的异常堆栈到搜索引擎或社区检索，避免仅凭片段误判。
- 常见异常举例：如InconsistentFSStateException（NameNode 存储目录不一致/不可访问），通常需检查dfs.namenode.name.dir目录权限与存在性，必要时重新格式化。
三 分布式场景专项排查
- SSH 免密登录：DataNode/NodeManager 需要由主节点免密启动，确认**~/.ssh/authorized_keys包含本机公钥，必要时执行ssh-keygen -t rsa与cat id_rsa.pub > > authorized_keys并测试ssh localhost**无需口令。
- 主机名与网络解析：在**/etc/hosts为各节点配置IP < -> 主机名映射，避免127.0.0.1**误解析导致节点互连失败。
- 进程缺失定位：若从节点仅出现JPS而无DataNode/NodeManager，优先比对core-site.xml/hdfs-site.xml/yarn-site.xml差异，并查看从节点**$HADOOP_HOME/logs中的DataNode/NodeManager**日志。
- 版本与兼容性：Hadoop 3.x 建议使用JDK 8；若 Web 或 IPC 报错，检查JAVA_HOME是否指向 JDK 8，避免 JDK 11 带来的不兼容。
- 端口与访问：确认NameNode Web UI端口已由50070迁移至9870（Hadoop 3.x），以及ResourceManager的8088、JobHistory的19888等端口已放行并可访问。
四 高频症状与处理对照表
| 症状 | 快速检查 | 处理建议 |
|---|---|---|
| hadoop: command not found | echo $PATH 是否含 $HADOOP_HOME/bin | 在**~/.bashrc中设置HADOOP_HOME与PATH并source** |
| jps 无进程 | 查看**$HADOOP_HOME/logs/*.log** | 依据日志修复配置/权限/端口，再重启相应组件 |
| 无法访问 50070 | 浏览器访问 http://:50070 | Hadoop 3.x 改用 9870；确认防火墙放行 |
| DataNode 未启动（从机仅 JPS） | 比对core/hdfs/yarn配置与**/etc/hosts** | 修正配置与解析，查看从机 DataNode 日志 |
| Permission denied（HDFS） | 本地/远程创建目录测试 | 临时设dfs.permissions=false（测试环境），或规范HDFS权限与用户 |
| 启动报 InconsistentFSStateException | 检查dfs.namenode.name.dir | 确认目录存在且权限正确，必要时hdfs namenode -format |
| SSH 免密失败 | ssh localhost 是否需口令 | 配置authorized_keys并测试无口令登录 |
五 预防与最佳实践
- 基线化配置：将core-site.xml/hdfs-site.xml/yarn-site.xml纳入版本管理，变更前后保留可回滚版本。
- 目录与权限：为NameNode/DataNode数据与日志目录预设专属用户与权限，避免多用户混用导致权限错乱。
- 端口与防火墙：在UFW或云安全组中预先放行9000、9870、8088、19888等端口，减少因网络阻断导致的误判。
- 版本策略：Hadoop 3.x 优先搭配JDK 8；如需升级 JDK，先在测试环境验证兼容性。
- 变更流程：任何配置调整遵循“备份 → 变更 → 验证日志 → 回滚预案”，避免生产环境直接改动。
声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！
若转载请注明出处： Hadoop在Ubuntu上的故障排查方法有哪些
本文地址： https://pptw.com/jishu/748699.html