Ubuntu下Hadoop日志如何查看

Ubuntu下查看Hadoop日志的方法

1. 日志文件位置

Hadoop的日志默认存储在$HADOOP_HOME/logs目录下（$HADOOP_HOME为Hadoop安装根目录，如/usr/local/hadoop）。不同组件的日志文件命名规则如下：

• HDFS组件：hadoop-< username> -namenode-< hostname> .log（NameNode）、hadoop-< username> -datanode-< hostname> .log（DataNode）；
• YARN组件：yarn-< username> -resourcemanager-< hostname> .log（ResourceManager）、yarn-< username> -nodemanager-< hostname> .log（NodeManager）。
  其中，< username> 是当前系统用户，< hostname> 是主机名（可通过hostname命令查看）。

2. 常用日志查看命令

Ubuntu下可通过以下Linux命令查看Hadoop日志：

• 实时查看日志更新：使用tail -f命令，例如查看NameNode实时日志：

  tail -f $HADOOP_HOME/logs/hadoop-<
      username>
      -namenode-<
      hostname>
      .log
  

  该命令会持续输出日志文件的新增内容，适合监控实时运行状态。
• 查看日志文件开头：使用head命令，例如查看HDFS日志前10行：

  head -n 10 $HADOOP_HOME/logs/hadoop-<
      username>
      -datanode-<
      hostname>
      .log
  

• 搜索特定错误信息：使用grep命令过滤关键字（如“ERROR”“Segmentation fault”），例如查找NameNode日志中的错误信息：

  grep "ERROR" $HADOOP_HOME/logs/hadoop-<
      username>
      -namenode-<
      hostname>
      .log
  

• 分页查看大日志文件：使用less命令，例如查看ResourceManager日志：

  less $HADOOP_HOME/logs/yarn-<
      username>
      -resourcemanager-<
      hostname>
      .log
  

  按/键可搜索关键字，按q键退出。

3. 通过Hadoop命令查看作业日志

对于MapReduce作业的日志，可使用yarn logs命令直接获取：

• 查看作业日志：替换< application_id> 为实际作业ID（可通过yarn application -list获取），例如：

  yarn logs -applicationId <
      application_id>
      
  

  该命令会输出作业的stdout、stderr和syslog等日志内容，包含任务执行详情（如Map/Reduce任务的耗时、错误堆栈）。

4. 通过Web界面查看日志

Hadoop提供了Web界面方便查看日志：

• ResourceManager日志：访问http://< resourcemanager_ip> :8088，点击“Application”列表中的作业，进入作业详情页后可查看日志；
• NameNode日志：访问http://< namenode_ip> :50070（Hadoop 2.x版本），点击“Logs”链接查看NameNode服务日志。

注意事项

• 若日志文件较大，建议使用less或tail -f命令，避免cat命令导致终端卡顿；
• 关键错误信息通常包含“ERROR”“Exception”“FAILED”等关键字，可通过grep快速定位；
• 定期清理旧日志（如通过logrotate工具），避免占用过多磁盘空间。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！