Ubuntu Java日志文件过大怎么清理

Ubuntu Java日志过大清理与治理

一、先定位日志来源与大小

• 查看常见日志目录与大小：
  • 系统日志：/var/log/（如 syslog、auth.log）
  • Tomcat：/opt/tomcat/logs/（如 catalina.out、catalina..log、localhost.log）
  • Spring Boot/JAR：/var/log/yourapp/ 或应用工作目录（如 app.log、nohup.out）
• 快速定位大文件（示例）：
  • 按大小列出前10个文件：sudo du -ah /var/log /opt/tomcat/logs /var/log/yourapp 2> /dev/null | sort -rh | head -n 10
  • 按时间查看最近修改：sudo find /var/log /opt/tomcat/logs /var/log/yourapp -type f -name "*.log" -mtime -7 -ls

二、优先方案 Logrotate 自动轮转与压缩

• 适用场景：长期运行服务（如 Tomcat、Spring Boot JAR、Logback/Log4j2 输出到文件）。
• 创建配置（示例为按大小切割，不重启应用）：
  • 新建文件：sudo vim /etc/logrotate.d/java-app
  • 写入内容（按需调整路径与保留份数）：

    /home/data-govern/data-govern-executor.log {
    
        size 1G
        rotate 100
        compress
        missingok
        notifempty
        copytruncate
    }
        
    

  • 说明：
    • size 1G：当文件超过 1GB 触发轮转。
    • rotate 100：最多保留 100 个归档。
    • compress：旧日志压缩为 .gz。
    • copytruncate：复制后截断原文件，避免重启 Java 进程；适合无法发送 SIGHUP 的场景。
• 测试与生效：
  • 语法/执行计划检查：sudo logrotate -d /etc/logrotate.d/java-app
  • 强制执行一次：sudo logrotate -f /etc/logrotate.d/java-app
• 常见框架补充：
  • Logback：使用 TimeBasedRollingPolicy（按天/按小时）与 SizeAndTimeBasedRollingPolicy（按大小+时间），自动生成 .gz 归档。
  • Log4j2：使用 RollingFileAppender + TimeBasedTriggeringPolicy/SizeBasedTriggeringPolicy，设置 maxHistory 控制保留份数。
• 提示：若应用已自行按日期/大小切割（如按天生成 app.log.2025-11-18），logrotate 仍可用于压缩与过期清理（按 rotate 与 maxage 策略）。

三、无法轮转时的安全清理与切割

• 安全清空正在写入的日志（避免直接 rm 导致句柄占用与“文件空洞”）：
  • 方式A（推荐）：清空而非删除
    • > /path/to/app.log 或 truncate -s 0 /path/to/app.log
  • 方式B：先切分再清空
    • 按大小切分：split -b 200M -d -a 4 /path/to/app.log /path/to/archive/app.log.
    • 清空原文件：> /path/to/app.log
  • 说明：直接 rm 大文件后，若进程仍持有文件句柄，磁盘空间不会立即释放；清空/切分更安全。
• 按时间批量清理旧日志（配合 cron 定时执行）：
  • 示例脚本（保留最近 7 天）：

    #!/usr/bin/env bash
    LOG_DIR="/var/log/yourapp"
    find "$LOG_DIR" -type f -name "*.log" -mtime +7 -delete
    

  • 加入定时任务（每天 03:00 执行）：
    • 0 3 * * * /path/to/clean_logs.sh
• 备份后再清理（可选）：
  • 先拷贝归档：tar czf /backup/logs-$(date +%F).tgz /var/log/yourapp/*.log.2025*
  • 再删除过期文件：find /var/log/yourapp -type f -name "*.log.2025*" -mtime +30 -delete

四、按场景给出可直接使用的配置

• Spring Boot/JAR（nohup 输出到单一文件，不能重启）
  • 建议优先在应用内用 Logback/Log4j2 做按大小/时间滚动；若暂时无法改动，用 logrotate 的 copytruncate：

    /home/app/runner.log {
    
        size 1G
        rotate 100
        compress
        missingok
        notifempty
        copytruncate
    }
    
    

• Tomcat（catalina.out 持续增长）
  • 方案A：应用内将 catalina.out 改为按天滚动（如 Logback 配置 ConsoleAppender 写入按时间切割的文件），再用 logrotate 压缩与清理旧归档。
  • 方案B：无法改代码时，用 logrotate 的 copytruncate 安全截断：

    /opt/tomcat/logs/catalina.out {
    
        daily
        rotate 30
        compress
        missingok
        notifempty
        copytruncate
    }
        
    

• 通用按时间清理（任何目录）
  • 保留 7 天：0 3 * * * find /var/log/yourapp -type f -name "*.log" -mtime +7 -delete
  • 保留 30 天：0 2 * * * find /var/log/yourapp -type f -name "*.log" -mtime +30 -delete

五、验证与运维要点

• 验证 logrotate：
  • 干跑：sudo logrotate -d /etc/logrotate.d/java-app
  • 强制执行：sudo logrotate -f /etc/logrotate.d/java-app
  • 观察是否生成 .gz 归档与是否按 rotate 限制保留份数。
• 避免“文件空洞”与句柄问题：
  • 清空大文件用 > file 或 truncate -s 0 file，不要直接 rm 正在写入的文件。
  • 若通过脚本切割，确保切割后应用继续写入正确文件（避免写入已归档的旧文件）。
• 监控与容量规划：
  • 设置磁盘告警（如 80% 阈值）。
  • 结合应用日志级别与保留策略，避免无限制增长。
• 安全建议：
  • 清理前确认日志路径与作用，避免误删业务关键日志。
  • 重要日志先备份再清理，保留可供审计的时间窗口。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！