Linux分卷怎样进行日志管理

Linux 分卷日志管理实践

一、概念与总体思路

• 在生产环境中，“分卷”通常指两类需求：
  • 运行期分卷：应用持续写入时按时间/大小自动滚动，旧日志压缩归档、按数量保留，避免磁盘被撑满。
  • 事后分卷：对已有的超大历史日志按大小或行数拆分成多个小文件，便于传输、检索与归档。前者用 logrotate 实现自动化；后者用 split 等工具一次性处理。

二、运行期分卷 logrotate 标准做法

• 配置结构与加载顺序
  • 主配置：/etc/logrotate.conf；服务配置：/etc/logrotate.d/（按字母顺序加载，可覆盖全局）。
  • 状态文件：/var/lib/logrotate/status，记录每个日志上次轮转时间，用于判断是否触发 daily/weekly 等策略。
• 常用指令与含义
  • 频率与触发：daily/weekly/monthly/hourly；按大小触发：size 100M；也可设置 maxsize/minsize 与时间共同决定。
  • 保留与清理：rotate 7（保留 7 份）；maxage 90（超过 90 天的归档删除）。
  • 归档命名：dateext（后缀为日期）；dateyesterday；dateformat -%Y-%m-%d。
  • 压缩与延迟压缩：compress（gzip）、delaycompress（下次轮转再压缩）。
  • 文件创建与权限：create 0640 app app；nocreate。
  • 轮转方式：优先 create（原子切换句柄）；若无法通知应用重开日志再用 copytruncate（存在极小概率丢日志）。
  • 脚本钩子：prerotate/postrotate；配合 sharedscripts 避免重复执行。
  • 其它：missingok（文件不存在不报错）、notifempty（空文件不轮转）、olddir /archive（归档到指定目录）。
• 最小可用示例
  • Nginx（按天轮转，保留 7 天，压缩，通知重新打开日志）

    /var/log/nginx/*.log {
        
        daily
        rotate 7
        missingok
        compress
        delaycompress
        create 0640 nginx adm
        sharedscripts
        postrotate
            /bin/kill -USR1 $(cat /run/nginx.pid 2>
        /dev/null) 2>
    /dev/null || true
        endscript
    }
    
    

  • 通用应用（按大小触发，保留 30 份，日期后缀）

    /opt/app/*.log {
    
        size 100M
        rotate 30
        missingok
        create 0644 app app
        dateext
        dateyesterday
        dateformat -%Y-%m-%d
    }
        
    

• 执行与调试
  • 手动强制执行：/usr/sbin/logrotate -f /etc/logrotate.conf
  • 调试模式：/usr/sbin/logrotate -d /etc/logrotate.conf
  • 状态文件：/var/lib/logrotate/status（排查“未按预期轮转”问题）。

三、按小时轮转与定时集成

• 启用小时级轮转
  • 在配置中使用 hourly；大多数发行版默认按日执行，可将 logrotate 加入 /etc/cron.hourly/ 以实现每小时检查：

    # /etc/cron.hourly/logrotate
    /usr/sbin/logrotate /etc/logrotate.conf
    

  • 或在自定义目录放置配置并通过 crontab 精确调度（如每小时第 5 分执行）：

    5 * * * * /usr/sbin/logrotate -v /etc/logrotate.d/myapp >
        >
         /var/log/logrotate-myapp.log 2>
        &
        1
    

  • 提示：hourly 仅表示“检查频率”，是否真正轮转仍取决于 size/时间等条件是否满足。

四、事后分卷处理已有大日志

• 按大小拆分（便于传输/归档）

  split -b 100M app.log app.log.
  

• 按行数拆分（便于按记录边界处理）

  split -l 100000 app.log app.log.
  

• 使用数字后缀、指定后缀长度

  split -b 50M -d -a 3 app.log app.log.
  

• 合并分卷（校验一致性）

  cat app.log.* >
       app.log.recovered
  md5sum app.log.recovered app.log &
      &
       echo "OK" || echo "MISMATCH"
  

• 适用场景：历史日志归档、迁移、审计取证；不适用于仍在写入的线上日志（应使用 logrotate）。

五、关键注意事项与最佳实践

• 优先选择 create + postrotate 通知（如 Nginx 的 USR1、systemd 服务 systemctl reload），避免 copytruncate 带来的极小概率丢日志风险。
• 合理设置 rotate/maxage/compress，既控磁盘又便于追溯；对敏感日志用 create 0600 等最小化权限。
• 统一在 /etc/logrotate.d/ 管理各服务配置，主配置仅放通用策略；变更后用 -d 调试、-f 验证。
• 若需跨主机集中分析，可在保留本地分卷的同时接入 rsyslog/Filebeat/Logstash 等做集中化采集与长期存储。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！