Ubuntu HDFS如何进行监控

Ubuntu 上监控 HDFS 的实用方案

一 内置命令行快速巡检

• 使用 hdfs dfsadmin -report 查看 DataNode 数量、总容量、剩余空间、各节点使用率 等，用于容量与节点健康巡检。
• 使用 hdfs fsck / 检查文件系统 块完整性、缺失副本、损坏文件 等，用于数据健康核查。
• 使用 jps 确认 NameNode、DataNode、SecondaryNameNode 等进程是否在运行。
• 如需查看 YARN 侧应用状态，可用 yarn application -list/-status/-kill 辅助定位作业与资源问题。
  以上命令适合日常快速巡检与故障初判。

二 Web 界面可视化监控

• HDFS NameNode Web UI：
  • Hadoop 2.x 默认 http://:50070
  • Hadoop 3.x 默认 http://:9870
    可查看 集群摘要、DataNode 列表、存储使用、启动时间、日志与线程信息 等。
• YARN ResourceManager：http://:8088，用于查看 应用运行、资源分配、队列状态。
• SecondaryNameNode（Hadoop 2.x）：http://:50090，用于 检查点 与 编辑日志 状态。
• Hue：基于 Web 的 Hadoop 统一入口，可进行 文件浏览、作业提交与简单监控，适合运维与开发协同。
  在 Ubuntu 上确保相应端口对运维网段开放，并用浏览器访问上述地址即可。

三 第三方监控与可视化

• Prometheus + Grafana：通过 JMX Exporter 暴露 NameNode/DataNode JMX 指标，Prometheus 拉取 指标，Grafana 可视化与告警。适合 容量趋势、I/O、RPC 延迟、JVM GC 等时序监控。
• Ganglia：面向集群的 分布式监控，适合 多节点 资源与负载趋势观察。
• Zabbix / Datadog：企业级监控与 SRE 告警 场景，可与 日志/告警通道 集成。
  这些工具可与 Hadoop 生态良好集成，用于 长期容量规划与异常告警。

四 关键指标与告警建议

• 容量与副本健康：关注 总容量、已用/可用、MissingBlocks、UnderReplicatedBlocks、CorruptBlocks，设置 容量阈值 与 副本异常 告警。
• 节点可用性：监控 Live/Decommissioning/Stale DataNodes，异常下线或长时间 Stale 需及时排查。
• 性能与负载：RPC 处理延迟、队列长度、I/O 吞吐、网络带宽；结合 GC 次数/停顿 判断 JVM 压力。
• 数据完整性：定期 fsck 巡检，关注 缺失/损坏块 与 修复进度。
• 服务进程：对 NameNode/DataNode 进程存活与 端口连通性 设置 存活与连通 告警。
  上述指标与告警项可覆盖 可用性、完整性、性能 三大维度，建议与 容量阈值 联动。

五 落地步骤与排错清单

• 步骤
  1. 建立 基线：用 dfsadmin -report、fsck、Web UI 采集 容量、副本、节点 基线。
  2. 部署 指标采集：在 NameNode/DataNode 配置 JMX Exporter，Prometheus 拉取并落库。
  3. 配置 Grafana 看板：展示 容量、副本、I/O、RPC、JVM GC 等核心面板。
  4. 设置 告警规则：容量阈值、Missing/UnderReplicated 块、节点宕机、RPC 高延迟、进程异常。
  5. 日志与追踪：启用 日志聚合，集中收集 NameNode/DataNode 日志，便于 问题回溯。
• 排错清单
  • 页面打不开：检查 防火墙/安全组、主机名解析、服务端口 与 进程存活。
  • 容量告警：用 dfsadmin -report 核实 可用空间 与 副本数；必要时 清理/归档 或 扩容。
  • 副本异常：用 fsck 定位 缺失/损坏 文件，检查 磁盘/网络 并重试 块恢复。
  • 性能异常：结合 Grafana/Prometheus 查看 RPC/GC/网络，并参考 HDFS 参数调优（如 dfs.replication、dfs.blocksize、handler 线程、GC 参数）。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！