HDFS数据压缩实现指南

一、压缩前的准备工作

1. 选择合适的压缩算法

HDFS支持多种压缩算法，需根据存储需求、处理速度和CPU资源权衡选择：

• Snappy：压缩/解压速度快（适合高频读写场景），压缩比中等（约2-3倍），是HDFS的默认推荐算法。
• Gzip：压缩比高（约3-4倍），但速度慢（适合长期归档数据）。
• LZO：压缩比和速度介于Snappy与Gzip之间，支持块分割（适合MapReduce作业），但需额外安装索引工具。
• Zstandard (zstd)：新型算法，压缩比接近Gzip（约3-5倍），速度接近Snappy（支持多级压缩级别，灵活性高）。
• Bzip2：压缩比最高（约4-5倍），但速度最慢（适合对存储空间极度敏感的场景）。

2. 安装压缩工具

根据选择的算法安装对应依赖（以CentOS为例）：

• Snappy：sudo yum install snappy snappy-devel
• LZO：sudo yum install lzo lzo-devel（需编译Hadoop时启用LZO支持）
• Zstandard：sudo yum install zstd zstd-devel
  确保所有Hadoop节点均安装对应工具，避免兼容性问题。

二、配置Hadoop支持压缩

1. 修改core-site.xml（全局压缩设置）

该文件定义了Hadoop框架支持的压缩编解码器，需添加以下配置：

<
    property>
    
    <
    name>
    io.compression.codecs<
    /name>
    
    <
    value>
    org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.LzoCodec,org.apache.hadoop.io.compress.ZStandardCodec<
    /value>
    
<
    /property>
    
<
    property>
    
    <
    name>
    io.compression.codec.snappy.class<
    /name>
    
    <
    value>
    org.apache.hadoop.io.compress.SnappyCodec<
    /value>
    
<
    /property>
    
<
    property>
    
    <
    name>
    io.compression.codec.default<
    /name>
    
    <
    value>
    org.apache.hadoop.io.compress.SnappyCodec<
    /value>
    
<
    /property>
    

• io.compression.codecs：列出所有支持的编解码器（逗号分隔）。
• io.compression.codec.default：设置默认压缩算法（可选）。

2. 修改hdfs-site.xml（HDFS特定设置）

该文件优化HDFS对压缩的支持，需调整以下参数：

<
    property>
    
    <
    name>
    dfs.replication<
    /name>
    
    <
    value>
    3<
    /value>
    
<
    /property>
    
<
    property>
    
    <
    name>
    dfs.blocksize<
    /name>
    
    <
    value>
    134217728<
    /value>
     <
    !-- 128MB（默认），可根据数据大小调整 -->
    
<
    /property>
    
<
    property>
    
    <
    name>
    dfs.namenode.handler.count<
    /name>
    
    <
    value>
    100<
    /value>
    
<
    /property>
    
<
    property>
    
    <
    name>
    dfs.datanode.handler.count<
    /name>
    
    <
    value>
    100<
    /value>
    
<
    /property>
    
<
    property>
    
    <
    name>
    io.compression.codec.gzip.level<
    /name>
    
    <
    value>
    6<
    /value>
     <
    !-- Gzip压缩级别（1-9，默认6） -->
    
<
    /property>
    

• dfs.blocksize：增大块大小可减少压缩后的文件数量，提升并行处理效率。
• dfs.namenode/datanode.handler.count：增加处理线程数，应对压缩/解压的网络请求。

三、使用命令行工具实现压缩

Hadoop提供了hadoop jar命令，可直接压缩/解压HDFS文件：

1. 压缩文件

hadoop jar $HADOOP_HOME/share/hadoop/common/hadoop-common-*.jar compress \
    -D mapreduce.output.fileoutputformat.compress=true \
    -D mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec \
    /input/path/file.txt /output/path/file.snappy

2. 解压文件

hadoop jar $HADOOP_HOME/share/hadoop/common/hadoop-common-*.jar decompress \
    /input/path/file.snappy /output/path/file.txt

或使用管道组合命令（如Gzip）：

hadoop fs -cat /input/path/file.gz | gunzip | hadoop fs -put - /output/path/file.txt

四、在MapReduce作业中启用压缩

1. 启用Map输出压缩（减少Shuffle数据量）

在mapred-site.xml中配置：

<
    property>
    
    <
    name>
    mapreduce.map.output.compress<
    /name>
    
    <
    value>
    true<
    /value>
    
<
    /property>
    
<
    property>
    
    <
    name>
    mapreduce.map.output.compress.codec<
    /name>
    
    <
    value>
    org.apache.hadoop.io.compress.SnappyCodec<
    /value>
    
<
    /property>
    

2. 启用Reduce输出压缩（最终结果压缩）

同样在mapred-site.xml中配置：

<
    property>
    
    <
    name>
    mapreduce.output.fileoutputformat.compress<
    /name>
    
    <
    value>
    true<
    /value>
    
<
    /property>
    
<
    property>
    
    <
    name>
    mapreduce.output.fileoutputformat.compress.codec<
    /name>
    
    <
    value>
    org.apache.hadoop.io.compress.SnappyCodec<
    /value>
    
<
    /property>
    
<
    property>
    
    <
    name>
    mapreduce.output.fileoutputformat.compress.type<
    /name>
    
    <
    value>
    BLOCK<
    /value>
     <
    !-- 压缩类型：BLOCK（默认，适合列式存储）、RECORD（适合行式存储） -->
    
<
    /property>
    

3. 通过Java API设置（自定义作业）

Configuration conf = new Configuration();
    
conf.set("mapreduce.map.output.compress", "true");
    
conf.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress.SnappyCodec");
    
conf.set("mapreduce.output.fileoutputformat.compress", "true");
    
conf.set("mapreduce.output.fileoutputformat.compress.codec", "org.apache.hadoop.io.compress.SnappyCodec");
    
conf.set("mapreduce.output.fileoutputformat.compress.type", "BLOCK");
    

Job job = Job.getInstance(conf, "Compressed MapReduce Job");
    
// 其他作业配置...
System.exit(job.waitForCompletion(true) ? 0 : 1);
    

五、验证与优化

1. 验证压缩是否生效

• 查看HDFS文件详情：hdfs dfs -ls /output/path/，若文件扩展名为.snappy、.gz等，则表示压缩成功。
• 检查压缩率：hdfs dfs -du -h /input/path/（原始大小）与hdfs dfs -du -h /output/path/（压缩后大小）对比。
• 查看集群报告：hdfs dfsadmin -report，确认Compression Codecs包含已配置的算法。

2. 优化建议

• 监控性能：使用Ganglia、Ambari等工具监控CPU、内存使用情况，避免压缩/解压成为瓶颈。
• 调整参数：根据数据特性调整压缩级别（如Gzip的level参数），平衡速度与压缩比。
• 结合列式存储：使用Parquet/ORC等列式格式（天然支持压缩），可进一步提升存储效率与查询性能。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！