centos filebeat日志存储策略

Filebeat 在 CentOS 的日志存储策略

一 策略总览

• 建议将策略划分为两层：
  • Filebeat 自身运行日志：由 Filebeat 配置或系统的 logrotate 管理，控制本地保留天数、压缩与权限，避免无限增长。
  • 被采集的业务日志：由 Filebeat 的输入与清理参数控制，避免重复采集、控制资源占用与数据丢失风险。

二 自身运行日志配置

• 使用 Filebeat 内置日志到文件
  • 在 /etc/filebeat/filebeat.yml 中开启文件日志并设置保留：

    logging:
      level: info
      to_files: true
      files:
        path: /var/log/filebeat
        name: filebeat
        keepfiles: 7
    

  • 说明：将日志写入 /var/log/filebeat/filebeat，最多保留 7 个旧文件（按文件计数，非按天）。修改后重启服务生效：sudo systemctl restart filebeat。
• 使用 logrotate 管理（推荐与内置策略二选一或叠加）
  • 新建 /etc/logrotate.d/filebeat：

    /var/log/filebeat/*.log {
    
        daily
        missingok
        rotate 7
        compress
        notifempty
        create 0640 root root
    }
        
    

  • 常用选项含义：
    • daily：按天轮转；rotate 7：保留 7 份；compress：压缩旧日志；
    • missingok：文件缺失不报错；notifempty：空文件不轮转；
    • create 0640 root root：新建文件权限与属主属组。
  • 手动测试：sudo logrotate -f /etc/logrotate.d/filebeat；查看状态：cat /var/lib/logrotate/status。logrotate 通常由 /etc/cron.daily/logrotate 每日自动执行。

三 被采集日志的存储与保留策略

• 输入选择
  • 在 Filebeat 7.0+ 推荐使用 filestream 输入类型，较旧 log 输入更高效稳定。
• 清理与资源控制
  • 忽略旧文件，避免无意义采集：ignore_older: 48h（示例为 48 小时，可按需调整）。
  • 关闭长时间不活跃文件，释放文件句柄：close_inactive: 5m（示例为 5 分钟）。
  • 限制每个 input 的 harvester 并发：harvester_limit: 10（示例值，视 CPU/IO 调整）。
• 可靠性与吞吐
  • 持久化队列防数据丢失：queue.type: persisted，并结合 queue.max_bytes 与 flush.min_events 调整批量与内存占用。
  • 批量发送提升吞吐：bulk_max_size 结合输出端（如 Elasticsearch/Logstash）批量大小与超时共同调优。

四 目录权限与 SELinux 建议

• 运行用户与权限
  • 建议以专用非特权用户运行 Filebeat（如创建 filebeat 用户），并设置配置与日志目录权限：

    sudo useradd filebeat -r -M -s /sbin/nologin
    sudo chown filebeat:filebeat /etc/filebeat/filebeat.yml
    sudo chown -R filebeat:filebeat /var/log/filebeat
    sudo chmod 640 /etc/filebeat/filebeat.yml
    

• SELinux
  • 如启用 SELinux，需确保 Filebeat 对相关目录具备访问上下文；可用 sestatus 查看状态，必要时通过 chcon 设置合适上下文，或临时 setenforce 0 排查（生产环境不建议长期关闭）。

五 验证与运维要点

• 验证配置生效
  • 查看轮转结果：ls -l /var/log/filebeat/；检查 Filebeat 状态：sudo systemctl status filebeat；查看自身日志：tail -f /var/log/filebeat/filebeat。
• 关键监控指标
  • 关注 harvester 数量、发送队列长度、事件处理延迟、CPU/内存使用率，并定期检查 Filebeat 自身日志中的 ERROR/WARN 信息，及时排障与调优。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！