Ubuntu中HDFS如何启动

Ubuntu中HDFS启动步骤

1. 准备工作

在启动HDFS前，需完成以下基础配置：

• 安装Java环境：Hadoop依赖Java，需安装OpenJDK 8（或更高版本）。执行sudo apt update & & sudo apt install openjdk-8-jdk安装，通过java -version验证安装成功。
• 下载并解压Hadoop：从Apache官网下载Hadoop二进制包（如hadoop-3.3.1.tar.gz），解压至目标目录（如/usr/local/hadoop）。执行wget https://downloads.apache.org/hadoop/core/hadoop-3.3.1/hadoop-3.3.1.tar.gz下载，tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/解压。
• 配置环境变量：编辑~/.bashrc文件，添加export HADOOP_HOME=/usr/local/hadoop（Hadoop安装路径）和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin（Hadoop命令路径），执行source ~/.bashrc使配置生效。

2. 配置HDFS核心参数

进入Hadoop配置目录（$HADOOP_HOME/etc/hadoop），修改以下文件：

• core-site.xml：设置HDFS默认文件系统地址，添加< property> < name> fs.defaultFS< /name> < value> hdfs://localhost:9000< /value> < /property> （localhost表示单机模式，集群模式需替换为NameNode主机名）。
• hdfs-site.xml：配置NameNode和DataNode数据目录及副本数，添加：

  <
      property>
      <
      name>
      dfs.replication<
      /name>
      <
      value>
      1<
      /value>
      <
      /property>
       <
      !-- 单机模式副本数为1 -->
      
  <
      property>
      <
      name>
      dfs.namenode.name.dir<
      /name>
      <
      value>
      /path/to/hadoop/hdfs/namenode<
      /value>
      <
      /property>
       <
      !-- NameNode元数据存储路径 -->
      
  <
      property>
      <
      name>
      dfs.datanode.data.dir<
      /name>
      <
      value>
      /path/to/hadoop/hdfs/datanode<
      /value>
      <
      /property>
       <
      !-- DataNode数据存储路径 -->
      
  

• 创建数据目录：执行sudo mkdir -p /path/to/hadoop/hdfs/namenode和sudo mkdir -p /path/to/hadoop/hdfs/datanode创建目录，确保Hadoop用户有读写权限（chown -R hadoop:hadoop /path/to/hadoop/hdfs）。

3. 格式化NameNode

首次启动HDFS前，需格式化NameNode以初始化元数据（注意：格式化会清除已有数据，仅首次启动或重置时执行）。执行hdfs namenode -format，等待命令完成（提示“NameNode formatted successfully”即为成功）。

4. 启动HDFS服务

执行start-dfs.sh命令（位于$HADOOP_HOME/sbin目录），该脚本会自动启动NameNode（主节点）和DataNode（数据节点）守护进程。若需单独启动DataNode，可执行hadoop-daemon.sh start datanode（单机模式无需此步）。

5. 验证HDFS运行状态

• 命令行验证：执行jps命令，若输出包含NameNode、DataNode（及SecondaryNameNode，可选），说明HDFS进程已启动。
• Web界面验证：打开浏览器访问http://localhost:9000（默认端口），若看到HDFS文件系统状态页面（显示“Live Nodes”数量≥1），则说明HDFS启动成功。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！