CentOS Hadoop 日志在哪查看
导读：CentOS 上 Hadoop 日志位置与查看方法 一、常见日志目录与组件对应 下表汇总了 HDFS 与 YARN 的核心日志默认存放位置与典型文件名（实际路径可能因安装方式、发行版与自定义配置而不同）。 组件 常见本地路径 典型...
CentOS 上 Hadoop 日志位置与查看方法
一、常见日志目录与组件对应
- 下表汇总了 HDFS 与 YARN 的核心日志默认存放位置与典型文件名（实际路径可能因安装方式、发行版与自定义配置而不同）。
| 组件 | 常见本地路径 | 典型日志文件示例 | 备注 |
|---|---|---|---|
| NameNode | $HADOOP_HOME/logs 或 /var/log/hadoop-hdfs | hadoop--namenode-.log | 可在 hadoop-env.sh 中通过 HADOOP_LOG_DIR 自定义 |
| DataNode | $HADOOP_HOME/logs 或 /var/log/hadoop-hdfs | hadoop--datanode-.log | 每个数据节点本机一份 |
| SecondaryNameNode | $HADOOP_HOME/logs 或 /var/log/hadoop-hdfs | hadoop--secondarynamenode-.log | 与 NameNode 类似 |
| ResourceManager | $HADOOP_HOME/logs 或 /var/log/hadoop-yarn | yarn--resourcemanager-.log | 也可在 yarn-env.sh 用 YARN_LOG_DIR 指定 |
| NodeManager | $HADOOP_HOME/logs 或 /var/log/hadoop-yarn | yarn--nodemanager-.log | 每个计算节点本机一份 |
| MapReduce 历史作业日志 | HDFS 上由 mapreduce.jobhistory.done-dir 指定 | history 文件 | 通过 yarn logs -applicationId 聚合查看 |
| Container 日志 | 由 yarn.nodemanager.log-dirs 指定（本地磁盘） | application_/container_/ | 常配合 NodeManager Web UI :8042 查看 |
- 以上路径与命名规则在 Apache Hadoop 与常见发行版（含 CDH）中广泛采用，具体以实际环境为准。
二、如何快速确认本机日志目录
- 查看环境变量（优先）：
- echo $HADOOP_LOG_DIR
- echo $YARN_LOG_DIR
- 查看 Hadoop 配置是否覆盖日志目录：
- grep -n “hadoop.log.dir” $HADOOP_HOME/etc/hadoop/yarn-site.xml 2> /dev/null
- grep -n “yarn.nodemanager.log-dirs” $HADOOP_HOME/etc/hadoop/yarn-site.xml 2> /dev/null
- grep -n “mapreduce.jobhistory” $HADOOP_HOME/etc/hadoop/mapred-site.xml 2> /dev/null
- 若使用系统服务管理（systemd），也可用 journalctl 查看服务日志（服务需以 systemd 托管）：
- journalctl -u hadoop-namenode -f
- journalctl -u hadoop-datanode -f
- journalctl -u hadoop-resourcemanager -f
- journalctl -u hadoop-nodemanager -f
三、常用查看命令
- 实时查看组件日志（本地文件）：
- tail -f $HADOOP_HOME/logs/hadoop--namenode-.log
- tail -f $HADOOP_HOME/logs/yarn--nodemanager-.log
- 分页查看大日志：
- less $HADOOP_HOME/logs/yarn--resourcemanager-.log
- 按关键字过滤错误：
- grep -i “error|exception” $HADOOP_HOME/logs/hadoop--datanode-.log
- 聚合查看某个应用的所有容器日志（跨节点自动拉取）：
- yarn logs -applicationId application_1234567890_0001
- 查看本机 NodeManager 上某应用的容器日志目录（本地磁盘）：
- ls -l /yarn/container-logs/application_1234567890_0001/container_*/
四、通过 Web UI 查看
- HDFS NameNode UI：访问 http://:50070，在页面中可浏览 NameNode/SecondaryNameNode 日志入口（部分发行版/版本支持）。
- YARN ResourceManager UI：访问 http://:8088，进入 Applications → 选择应用 → Logs，可查看 ApplicationMaster 与各个 Container 的日志；也可直接打开 NodeManager Web UI :8042 浏览本地容器日志目录。
声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！
若转载请注明出处： CentOS Hadoop 日志在哪查看
本文地址： https://pptw.com/jishu/779190.html