Debian HBase数据如何迁移

Debian 环境下 HBase 数据迁移实操指南

一、迁移方式总览与选型

• Snapshot + ExportSnapshot（推荐）：对线上影响小、速度快，适合大多数迁移场景（含跨集群）。流程为：源集群创建快照 → 用 MR 将快照文件拷贝到目标 HDFS → 目标集群从快照恢复表。适合对业务影响敏感、需要快速切换的场景。
• DistCp + BulkLoad：先停写并 flush，直接拷贝底层 HFile 到目标 HDFS，再用 LoadIncrementalHFiles 导入。适合历史表或可接受短暂停写的场景，吞吐高。
• CopyTable：基于 MapReduce 的全表扫描复制，支持按时间/行范围/列族迁移，适合小中体量或需要在线增量追平的场景（对源集群有一定读压力）。
• Export/Import：先 Export 为 SequenceFile 再 Import 到目标表，便于跨版本迁移或离线落地，同样会全表扫描。
• Replication：类似 MySQL binlog 的异步复制，适合长期双活/近实时同步，需提前让两端数据一致后开启复制。

二、标准流程 Snapshot + ExportSnapshot（推荐）

• 前置检查
  • 确认 Debian 主机到两端 HDFS/ZooKeeper 网络与权限（Kerberos 若启用需 kinit），两端 HBase 版本兼容，目标表结构（列族、TTL、压缩、预分区）与源表一致或在导入后调整。
  • 建议对目标表先做 预分裂 以提升 BulkLoad/恢复性能。
• 源集群创建快照
  • hbase shell
    • snapshot ‘source_table’, ‘snap_20251205’
• 拷贝快照到目标 HDFS（MR 并行）
  • 方式 A（推荐，自动定位 HBase 根目录）
    • hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot
      -snapshot snap_20251205
      -copy-to hdfs://dst-nn:8020/hbase
      -mappers 20 -bandwidth 50
  • 方式 B（显式指定源/目标 HBase 根目录）
    • hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot
      -snapshot snap_20251205
      -copy-from hdfs://src-nn:8020/hbase
      -copy-to hdfs://dst-nn:8020/hbase
      -mappers 20 -bandwidth 50
• 目标集群恢复表
  • hbase shell
    • disable ‘source_table’ # 若目标已存在同名表
    • restore_snapshot ‘snap_20251205’
    • enable ‘source_table’
• 校验
  • hbase shell
    • count ‘source_table’ # 行数对比
    • scan ‘source_table’, { LIMIT => 10}
• 说明
  • 若目标库名不同，可在恢复后用 snapshot 克隆 或 重命名表 的方式切换；快照是元数据级拷贝，实际 HFile 由 ExportSnapshot 通过 MR 拷贝。

三、其他方式速览与命令示例

• DistCp + BulkLoad（适合历史表/可接受停写）
  • 停写与落盘
    • hbase shell: flush ‘source_table’（必要时 disable 表）
  • 拷贝 HFile
    • hadoop distcp -m 50 hdfs://src-nn:8020/hbase/data/default/source_table
      hdfs://dst-nn:8020/hbase/data/default/source_table
  • 目标端导入
    • hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles
      hdfs://dst-nn:8020/hbase/data/default/source_table source_table
  • 修复元数据（异常时使用）
    • hbase hbck -fixMeta -fixAssignments
• CopyTable（在线迁移/小中体量）
  • 目标表需先存在（结构一致）
  • 全量
    • hbase org.apache.hadoop.hbase.mapreduce.CopyTable
      –peer.adr=zk1:2181,zk2:2181,zk3:2181:/hbase
      source_table
  • 按时间/行范围/列族
    • hbase org.apache.hadoop.hbase.mapreduce.CopyTable
      –peer.adr=zk1:2181,zk2:2181,zk3:2181:/hbase
      -starttime=1700000000000 -endtime=1702592000000
      -startrow=row1000 -stoprow=row2000
      -families=cf1,cf2
      source_table
• Export/Import（跨版本/离线）
  • 导出
    • hbase org.apache.hadoop.hbase.mapreduce.Export
      source_table hdfs://dst-nn:8020/tmp/exp_source_table 1
  • 导入（目标表需存在）
    • hbase org.apache.hadoop.hbase.mapreduce.Import
      source_table hdfs://dst-nn:8020/tmp/exp_source_table
• Replication（长期近实时）
  • 两端同表结构后，在源端启用复制（示例为表级复制，需按实际配置）
    • hbase shell: alter ‘source_table’, { METHOD => ‘table_att’, ‘REPLICATION_SCOPE’ => ‘1’}
  • 在目标集群开启复制（配置 hbase.replication 等并重启），适合持续追平增量。

四、迁移前后校验与常见问题

• 校验清单
  • 数据量：对比源/目标 count；抽样 scan 检查关键行/列族。
  • 结构：列族、TTL、压缩、预分区是否一致；Region 分布是否均衡。
  • 一致性：重要业务可做 checksum/hash 抽样比对；若使用 Replication，观察复制延迟与错误日志。
• 常见问题与处理
  • 权限/认证：确保运行用户有 HDFS/HBase 权限；Kerberos 需 kinit 并配置 jaas.conf。
  • 版本兼容：跨大版本优先考虑 Export/Import；同版本优先 Snapshot。
  • 在线业务影响：CopyTable/Export/Import 会 scan，建议在低峰或限速；Snapshot 影响最小。
  • 目标表不存在：Snapshot 恢复会自动建表；CopyTable/Export/Import 需先建表（结构一致/预分裂）。
  • 元数据异常：使用 hbck -fixMeta -fixAssignments 修复；极端情况再考虑 -repair。
  • 带宽控制：ExportSnapshot/DistCp 可用 -bandwidth/-mappers 限速与并行，避免影响线上。
  • 云环境限制：部分云 HBase 默认不开放 HDFS 端口，基于 HDFS 的 DistCp/Snapshot 可能不可用，可改用 CopyTable。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！