首页主机资讯Ubuntu如何实现HDFS的高可用性

Ubuntu如何实现HDFS的高可用性

时间2025-11-17 09:44:03发布访客分类主机资讯浏览1334
导读：Ubuntu实现HDFS高可用 一 架构与前置条件 架构要点：部署2 个 NameNode（Active/Standby），通过QJM（Quorum Journal Manager）共享编辑日志；使用ZooKeeper + ZKFC（ZK...

Ubuntu实现HDFS高可用

一 架构与前置条件

  • 架构要点：部署2 个 NameNode（Active/Standby），通过QJM（Quorum Journal Manager）共享编辑日志；使用ZooKeeper + ZKFC（ZKFailoverController）实现自动故障转移；至少3 个 JournalNode保证写入多数派与可用性；DataNode 同时向两个 NameNode 上报块位置，保证快速切换。该方案消除 NameNode 单点故障，支持自动或手动切换。
  • 节点与端口示例（可按需调整主机名与路径）：
    • NameNode：nn1=ubuntu1:8020，Web：ubuntu1:9870；nn2=ubuntu2:8020，Web：ubuntu2:9870
    • JournalNode：jn1/jn2/jn3，QJM 端口：8485
    • ZooKeeper：zk1/zk2/zk3，端口：2181
  • 前置要求：各节点安装相同版本 Hadoop 3.x；配置 SSH 免密；时间同步（如 NTP）；目录与权限准备；配置文件在集群内保持一致并分发。

二 关键配置示例

  • 说明：以下为最小可用关键项示例，需在所有节点保持同步（以 mycluster 为名称服务，nn1=ubuntu1，nn2=ubuntu2，jn1/jn2/jn3 为 JournalNode 主机名）。

  • core-site.xml

<
    configuration>
    
  <
    property>
    
    <
    name>
    fs.defaultFS<
    /name>
    
    <
    value>
    hdfs://mycluster<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    ha.zookeeper.quorum<
    /name>
    
    <
    value>
    zk1:2181,zk2:2181,zk3:2181<
    /value>
    
  <
    /property>
    
<
    /configuration>
  • hdfs-site.xml
<
    configuration>
    
  <
    !-- 集群标识与 NameNode 列表 -->
    
  <
    property>
    
    <
    name>
    dfs.nameservices<
    /name>
    
    <
    value>
    mycluster<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    dfs.ha.namenodes.mycluster<
    /name>
    
    <
    value>
    nn1,nn2<
    /value>
    
  <
    /property>
    

  <
    !-- RPC 与 HTTP 地址 -->
    
  <
    property>
    
    <
    name>
    dfs.namenode.rpc-address.mycluster.nn1<
    /name>
    
    <
    value>
    ubuntu1:8020<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    dfs.namenode.rpc-address.mycluster.nn2<
    /name>
    
    <
    value>
    ubuntu2:8020<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    dfs.namenode.http-address.mycluster.nn1<
    /name>
    
    <
    value>
    ubuntu1:9870<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    dfs.namenode.http-address.mycluster.nn2<
    /value>
    
    <
    value>
    ubuntu2:9870<
    /value>
    
  <
    /property>
    

  <
    !-- QJM 共享编辑日志 -->
    
  <
    property>
    
    <
    name>
    dfs.namenode.shared.edits.dir<
    /name>
    
    <
    value>
    qjournal://jn1:8485;
    jn2:8485;
    jn3:8485/mycluster<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    dfs.journalnode.edits.dir<
    /name>
    
    <
    value>
    /data/hadoop/journal<
    /value>
    
  <
    /property>
    

  <
    !-- 客户端故障转移代理 -->
    
  <
    property>
    
    <
    name>
    dfs.client.failover.proxy.provider.mycluster<
    /name>
    
    <
    value>
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider<
    /value>
    
  <
    /property>
    

  <
    !-- 隔离方法（SSH 示例，需配置免密与私钥路径） -->
    
  <
    property>
    
    <
    name>
    dfs.ha.fencing.methods<
    /name>
    
    <
    value>
    sshfence<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    dfs.ha.fencing.ssh.private-key-files<
    /name>
    
    <
    value>
    /root/.ssh/id_rsa<
    /value>
    
  <
    /property>
    

  <
    !-- 启用自动故障转移 -->
    
  <
    property>
    
    <
    name>
    dfs.ha.automatic-failover.enabled<
    /name>
    
    <
    value>
    true<
    /value>
    
  <
    /property>
    

  <
    !-- 副本与本地目录（示例） -->
    
  <
    property>
    
    <
    name>
    dfs.replication<
    /name>
    
    <
    value>
    3<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    dfs.namenode.name.dir<
    /name>
    
    <
    value>
    /data/hadoop/dfs/name<
    /value>
    
  <
    /property>
    
  <
    property>
    
    <
    name>
    dfs.datanode.data.dir<
    /name>
    
    <
    value>
    /data/hadoop/dfs/data<
    /value>
    
  <
    /property>
    
<
    /configuration>
  • 提示：若使用 root 运行，需在 sbin 脚本顶部设置环境变量（示例）：
    • start-dfs.sh/stop-dfs.sh：HDFS_DATANODE_USER=root、HDFS_NAMENODE_USER=root、HDFS_JOURNALNODE_USER=root、HDFS_ZKFC_USER=root
    • start-yarn.sh/stop-yarn.sh：YARN_RESOURCEMANAGER_USER=root、YARN_NODEMANAGER_USER=root。

三 部署与启动步骤

  1. 分发配置：将修改好的 core-site.xml、hdfs-site.xml 等分发到所有节点，确保一致。
  2. 启动 ZooKeeper：在 zk1/zk2/zk3 执行：
    • zkServer.sh start
    • zkServer.sh status（确认 Leader/Follower 角色正常）
  3. 启动 JournalNode：在 jn1/jn2/jn3 执行：
    • hdfs --daemon start journalnode（Hadoop 3.x 推荐）
    • 若启动失败需清理目录后重试：rm -rf /data/hadoop/journal/*
  4. 格式化 NameNode（首次）：
    • 在 nn1 执行：hdfs namenode -format
    • 初始化共享编辑日志：hdfs namenode -initializeSharedEdits
  5. 启动 nn1 的 NameNode：hdfs --daemon start namenode
  6. 在 nn2 同步元数据并启动：
    • hdfs namenode -bootstrapStandby
    • hdfs --daemon start namenode
  7. 初始化 ZKFC（自动故障转移所需）：在 nn1 执行：hdfs zkfc -formatZK
  8. 启动 ZKFC 守护进程（nn1、nn2）：hdfs --daemon start zkfc
  9. 启动 DataNode（所有 DataNode 节点）：hdfs --daemon start datanode
  10. 一键启动（可选）：start-dfs.sh
  11. 验证与观察：
    • 查看状态：hdfs haadmin -getServiceState nn1 / nn2（应一 active 一 standby）
    • 访问 Web：http://ubuntu1:9870、http://ubuntu2:9870。

四 验证与故障转移

  • 手动切换（维护窗口常用）：
    • hdfs haadmin -failover --forcefence --forceactive nn1 nn2
  • 自动故障转移测试：
    • 停止当前 Active（如 nn1）：hdfs --daemon stop namenode（或 kill）
    • 观察：hdfs haadmin -getServiceState nn2 应为 active；执行 hdfs dfs -ls / 验证业务可用
  • 常见问题与要点：
    • 配置变更后需重启相关进程；
    • 多次格式化导致 clusterID 不一致时，清理 DataNode 数据目录 后重启；
    • JournalNode 数据目录异常需清理后重启；
    • 启用自动故障转移时，确保 ZooKeeper 可用、fencing 配置正确、SSH 免密可达；
    • 客户端连接建议使用 nameservice ID（mycluster），避免直连单节点。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！


若转载请注明出处： Ubuntu如何实现HDFS的高可用性
本文地址： https://pptw.com/jishu/748656.html
如何在Ubuntu上部署HDFS集群 如何解决Ubuntu上HDFS的权限问题

游客 回复需填写必要信息
↑