如何在Linux上使用Filebeat

在 Linux 上使用 Filebeat 的完整步骤

一 安装与目录结构

• 选择安装方式（示例为 x86_64）：
  • RPM 包：下载后执行 sudo rpm -vi filebeat--x86_64.rpm
  • DEB 包：下载后执行 sudo dpkg -i filebeat__amd64.deb
  • 二进制包：下载并解压，例如 tar xf filebeat--linux-x86_64.tar.gz -C /usr/share/
• 配置文件默认路径：
  • RPM/DEB：/etc/filebeat/filebeat.yml（参考完整示例：/etc/filebeat/filebeat.reference.yml）
  • 二进制：解压目录下的 filebeat.yml
• 建议同时保留并参考同目录的 filebeat.reference.yml（包含所有非弃用选项，便于查找参数）。

二 快速上手 采集系统日志到控制台

• 新建最小配置 config/01-system-to-console.yml：
  • filebeat.inputs:
    • type: log enabled: true paths:
      • /var/log/syslog
      • /var/log/auth.log
  • output.console: pretty: true
• 语法校验与启动：
  • ./filebeat test config -c config/01-system-to-console.yml -e
  • ./filebeat -e -c config/01-system-to-console.yml
• 预期：终端将实时打印匹配到的系统日志事件（用于验证采集与输出链路）。

三 常用输出目标配置

• 输出到 Elasticsearch（示例为单节点，生产建议多节点并开启认证/SSL）
  • output.elasticsearch: hosts: [“10.0.0.91:9200”,“10.0.0.92:9200”,“10.0.0.93:9200”]
• 输出到 Logstash（适合做解析与丰富后再入 ES）
  • output.logstash: hosts: [“10.1.5.65:5044”]
• 输出到 Kafka（解耦生产与消费，便于多系统订阅）
  • output.kafka: hosts: [“kafka-broker1:9092”,“kafka-broker2:9092”] topic: “my-log-topic” partition.round_robin.reachable_only: false required_acks: 1
• 提示：若直接写入 ES 且需要自定义索引名，通常需要关闭默认索引模板或按需自定义模板与 ILM 策略。

四 以服务方式运行与开机自启

• 使用系统服务（RPM/DEB 安装后可用）：
  • 启动：sudo systemctl start filebeat
  • 开机自启：sudo systemctl enable filebeat
  • 查看状态：sudo systemctl status filebeat
• 使用二进制方式后台运行（示例脚本思路）：
  • nohup ./filebeat -c filebeat.yml -e &
  • 将启动命令加入系统启动项（如 rc.local 或 systemd unit）以实现开机自启。

五 验证与常见问题处理

• 配置校验与日志：
  • 校验：./filebeat test config -c filebeat.yml -e
  • 运行时加 -e 可将日志输出到控制台，便于排查初始化问题。
• 采集行为要点：
  • 路径使用 Glob 语法，默认不递归子目录；如需递归，应写成 /var/log/**/*.log 这类模式。
  • 首次采集旧日志时，可临时启用 tail_files: true 从文件末尾开始读取，避免一次性灌入历史数据；稳定后关闭，防止轮转丢行。
  • 多行日志（如堆栈）需配置 multiline；JSON 行可用 decode_json_fields 解析为结构化字段。
  • 大消息可设置 max_bytes 限制单条事件大小，避免异常行撑爆内存或截断。
• 安全与权限：
  • 配置文件建议设置合适的 所有权与权限，避免敏感信息泄露；Beats 会对配置文件做权限检查。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！