如何进行 Debian HBase 故障排查

Debian 上 HBase 故障排查实操手册

一 快速定位流程

• 进程与端口：在每台节点执行 jps，确认存在 HMaster / HRegionServer；检查默认端口 16000/16020（HMaster/RegionServer）与 2181（ZooKeeper）是否被占用，必要时用 lsof -i:端口 或 netstat -tulpen | grep 端口 定位占用进程并处理。
• 基础连通：用 ping 与 telnet 主机 2181/16020 验证网络与端口可达性；客户端与服务端 版本兼容 要一致（hbase version）。
• 依赖状态：确认 ZooKeeper 已启动（jps 可见 QuorumPeerMain），HDFS 正常（hdfs dfsadmin -report）。
• 日志优先：第一时间查看 $HBASE_HOME/logs/hbase--master-.log 与 hbase--regionserver-.log，从异常栈与报错关键词入手。
• HBase Shell 验证：执行 hbase shell → status，必要时用 status ‘detailed’ 查看 Region 分布与在线情况。

二 常见故障与修复对照表

三 关键命令清单

• 进程与端口
  • jps
  • lsof -i:16020
  • netstat -tulpen | grep 2181
• 依赖与连通
  • hdfs dfsadmin -report
  • zkServer.sh status（或 echo stat | nc zk_host 2181）
  • telnet zk_host 2181
  • hbase version
• HBase 运维
  • hbase shell
    • status / status ‘detailed’
    • list
    • describe ‘< 表名> ’
    • flush ‘< 表名> ’
    • assign ‘’
  • hbase hbck -details < 表名> ；hbase hbck -repair
• HDFS 健康检查与修复
  • hdfs fsck /hbase/data/default -files -blocks -locations
  • hdfs fsck /hbase/data/default -delete -files -blocks（谨慎使用）
• JVM 与线程
  • jstat -gcutil < RS_PID>
  • jstack < RS_PID> > rs.stack
  • top -H -p < RS_PID> ；printf “%x\n” < 线程ID>

四 Debian 环境专项检查

• Java 与环境变量
  • 确认 OpenJDK 8+ 已安装：java -version
  • 在 $HBASE_HOME/conf/hbase-env.sh 正确设置 JAVA_HOME
• 系统资源与限制
  • 检查内存与磁盘：free -h、df -h
  • 适当提升文件描述符与进程数限制（/etc/security/limits.conf），避免 “Too many open files”
• 权限与目录
  • 确保 /hbase 及日志、数据目录属主为 hbase 用户，权限正确
• 配置要点
  • 伪分布式常见配置：
    • hbase.rootdir：file:///usr/local/hbase/data 或 hdfs://localhost:9000/hbase
    • hbase.zookeeper.property.dataDir：/usr/local/zookeeper
    • hbase.zookeeper.quorum：localhost
    • hbase.zookeeper.property.clientPort：2181
  • 分布式请将 quorum 改为实际主机列表，并保证 /etc/hosts 或 DNS 解析正确

五 性能与稳定性优化要点

• 表与 Region 健康
  • 定期 hbck 检查；出现 INCONSISTENT 用 hbck -repair；Region 未分配可手动 assign
  • 避免热点：合理设计 RowKey、预分 Region（单 Region 建议 5–10GB），大批量导入优先 Bulk Load
• 内存与 GC
  • 控制堆与缓存占比，避免 hbase.regionserver.global.memstore.size + hfile.block.cache.size > 0.8；结合 G1GC 与合适的堆大小
  • 关注 长时间 GC 导致的 RS 与 ZooKeeper 会话超时、Region 迁移与雪崩
• 读写路径与存储
  • 关注 WAL/Flush/Compaction 压力；必要时在低峰期执行 major compaction
  • 核查 HDFS 副本数（建议 3）、坏块与 DataNode 健康；IO 异常时优先排查块缺失/损坏与网络
• 负载与网络
  • 监控 网卡带宽、磁盘 IO、CPU；避免单 RS 承载过多 Region（上千 Region 易引发频繁 flush/compaction 与 Full GC）
• 客户端与解析
  • 客户端 hbase-site.xml 与集群保持一致（ZooKeeper 地址、超时等）；外部访问慢可优先排查 DNS 解析

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！