Debian Hadoop 安全设置怎么做

Debian Hadoop 安全设置清单

一 身份与访问控制

• 启用强认证：将 Hadoop 切换到 Kerberos，设置核心参数并为主机、服务创建 principal/keytab。示例：core-site.xml 中配置 hadoop.security.authentication=kerberos，HDFS/YARN/MapReduce 各服务使用形如 服务名/_HOST@REALM 的 principal，部署同名 keytab 到各节点（如 /etc/security/keytab/nn.service.keytab），用 kinit/keytab 完成登录与会话维持。完成后重启相关服务。
• 服务级授权：开启 hadoop.security.authorization=true，仅允许白名单服务互相访问，降低横向渗透风险。
• 禁用匿名访问：关闭 Web 与 RPC 的匿名访问，例如 core-site.xml 设置 hadoop.http.authentication.simple.anonymous.allowed=false。
• 进程隔离：以不同系统用户运行组件，推荐 hdfs:hadoop（NameNode/DataNode/Secondary/JournalNode）、yarn:hadoop（ResourceManager/NodeManager）、mapred:hadoop（JobHistory），避免以 root 运行。
• 本地与 HDFS 关键目录权限（示例）：
  • 本地：dfs.namenode.name.dir、dfs.datanode.data.dir → hdfs:hadoop，700；$HADOOP_LOG_DIR → hdfs:hadoop，775；$YARN_LOG_DIR → yarn:hadoop，775；yarn.nodemanager.local-dirs、yarn.nodemanager.log-dirs → yarn:hadoop，755；container-executor → root:hadoop，4750；conf/container-executor.cfg → root:hadoop，400。
  • HDFS：/ → hdfs:hadoop，755；/tmp → hdfs:hadoop，1777；/user → hdfs:hadoop，755；yarn.nodemanager.remote-app-log-dir → yarn:hadoop，1777；mapreduce.jobhistory.intermediate-done-dir → mapred:hadoop，1777；mapreduce.jobhistory.done-dir → mapred:hadoop，750。

二 网络安全与端口加固

• 防火墙最小暴露：在 Debian 使用 ufw 仅开放必要端口与 SSH(22/tcp)，例如：ufw allow 8020,9000,9870,9871,8088,8030:8033,8040:8042,9864,9866,9865,9868,9869,10020,19888,22/tcp；变更后用 ufw status 核对。
• 修改默认端口：为降低暴露面，建议变更常见 Web/RPC 端口（示例：NameNode 9870/9871，DataNode 9864/9866/9865，ResourceManager 8088/8090，Secondary 9868/9869，JobHistory 10020/19888），并同步更新防火墙与监控系统。
• 限制 RPC 暴露面：仅对可信网段开放 RPC/服务端口，并优先在启用 Kerberos 后再对外提供访问。
• Web 控制台加固：为 Web UI/WebHDFS 启用 HTTPS/SSL，避免明文传输；对管理口实施来源 IP 白名单与访问控制。

三 数据与传输加密

• Web 与控制台加密：为 NameNode/ResourceManager/HistoryServer 等 Web 控制台启用 SSL/TLS，保护凭据与作业元数据在传输过程中的机密性与完整性。
• RPC 数据保密：在 core-site.xml 设置 hadoop.rpc.protection=authentication（或更高如 privacy，视加密套件与性能要求而定），确保服务间通信具备认证/加密能力。
• 传输层加固：对 WebHDFS/HTTP 访问优先走 HTTPS，并限制可访问来源；必要时结合反向代理或网关进行证书与访问策略统一管控。

四 审计、权限细化与合规

• 启用 HDFS 权限与 ACL：在 hdfs-site.xml 开启 dfs.permissions.enabled=true 与 dfs.namenode.acls.enabled=true，对敏感目录设置精细化 ACL（如 setfacl/getfacl），实现用户/组/其他之外的细粒度授权。
• 集中式授权与审计：引入 Apache Ranger 对 HDFS/YARN/Hive 等组件进行集中策略管理与审计，支持更细粒度的访问控制与合规报表。
• 系统层加固：在 Debian 上按需启用 AppArmor/SELinux 对 Hadoop 进程进行强制访问控制；对关键配置文件与目录设置最小权限与完整性保护。

五 运维与基线实践

• 时间同步：部署 NTP/Chrony 保证集群节点时间一致（如 server ntp.aliyun.com iburst），避免因时间漂移导致 Kerberos 票据异常与审计失真。
• 变更与回滚：任何权限/端口/加密策略变更前先备份配置与元数据，先在测试环境验证，再灰度上线并保留回滚方案。
• 持续维护：保持 Debian 与 Hadoop 的安全补丁更新，定期审计账户、密钥、策略与日志，监控异常访问与失败登录，完善告警与处置流程。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！