Ubuntu HDFS配置步骤有哪些

Ubuntu环境下HDFS配置步骤（单机/伪分布式模式）

1. 环境准备

• 更新系统：运行sudo apt update & & sudo apt upgrade -y，确保系统软件包为最新版本。
• 安装基础工具：执行sudo apt install -y build-essential openssh-server，安装编译工具和SSH服务（后续配置免密登录需要）。
• 安装Java环境：Hadoop依赖Java，推荐使用OpenJDK 8。运行以下命令安装并配置：

  sudo apt install -y openjdk-8-jdk
  sudo update-java-alternatives --set java-1.8.0-openjdk
  java -version  # 验证安装（需显示Java 1.8版本信息）
  

2. 下载并解压Hadoop

• 从Apache Hadoop官网下载稳定版本（如3.3.4），使用wget命令获取安装包：

  wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
  

• 解压到指定目录（如/usr/local），并重命名文件夹：

  sudo tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
  sudo mv /usr/local/hadoop-3.3.4 /usr/local/hadoop
  

3. 配置Hadoop环境变量

• 编辑~/.bashrc文件（用户级环境变量），添加以下内容：

  export HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

• 使配置生效：

  source ~/.bashrc
  

4. 配置HDFS核心文件

进入Hadoop配置目录（$HADOOP_HOME/etc/hadoop），修改以下文件：

• core-site.xml：定义HDFS的默认文件系统地址。

  <
      configuration>
      
      <
      property>
      
          <
      name>
      fs.defaultFS<
      /name>
      
          <
      value>
      hdfs://localhost:9000<
      /value>
      
      <
      /property>
      
  <
      /configuration>
      
  

• hdfs-site.xml：配置HDFS副本数、NameNode和DataNode数据目录。

  <
      configuration>
      
      <
      property>
      
          <
      name>
      dfs.replication<
      /name>
      
          <
      value>
      1<
      /value>
        <
      !-- 单机模式下副本数为1 -->
      
      <
      /property>
      
      <
      property>
      
          <
      name>
      dfs.namenode.name.dir<
      /name>
      
          <
      value>
      /usr/local/hadoop/data/namenode<
      /value>
      
      <
      /property>
      
      <
      property>
      
          <
      name>
      dfs.datanode.data.dir<
      /name>
      
          <
      value>
      /usr/local/hadoop/data/datanode<
      /value>
      
      <
      /property>
      
  <
      /configuration>
      
  

5. 创建HDFS数据目录

• 手动创建NameNode和DataNode的数据存储目录：

  sudo mkdir -p /usr/local/hadoop/data/namenode
  sudo mkdir -p /usr/local/hadoop/data/datanode
  sudo chown -R $USER:$USER /usr/local/hadoop/data  # 修改目录所有者为当前用户
  

6. 格式化NameNode

• 首次启动HDFS前，必须格式化NameNode以初始化文件系统元数据：

  hdfs namenode -format
  

7. 启动HDFS服务

• 使用start-dfs.sh脚本启动HDFS服务（包含NameNode和DataNode）：

  start-dfs.sh
  

• 验证服务进程：运行jps命令，应看到NameNode、DataNode进程。

8. 验证HDFS功能

• 访问HDFS Web界面：在浏览器中输入http://localhost:9870（Hadoop 3.x版本），查看文件系统状态。
• 执行常用HDFS命令：

  hdfs dfs -mkdir /user/$USER  # 创建用户目录
  hdfs dfs -put ~/test.txt /user/$USER/  # 上传本地文件到HDFS
  hdfs dfs -ls /user/$USER  # 列出目录内容
  

9. 可选：配置防火墙

• 若系统启用了防火墙，需开放HDFS相关端口：

  sudo ufw allow 9000  # NameNode RPC端口
  sudo ufw allow 50070 # NameNode Web UI端口（Hadoop 2.x）
  sudo ufw allow 9870  # NameNode Web UI端口（Hadoop 3.x）
  

注意事项

• 单机模式仅用于测试，生产环境需配置分布式集群（多台机器）。
• 若启动失败，检查logs目录下的日志文件（如NameNode.log），排查具体错误。
• 配置文件修改后，需重新启动HDFS服务使变更生效。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！