如何用Ubuntu Filebeat收集数据

在 Ubuntu 上使用 Filebeat 收集数据的实操指南

一 安装与准备

• 使用 APT 安装（推荐）
  • 更新索引并安装：sudo apt update & & sudo apt install filebeat
  • 启动并设为开机自启：sudo systemctl start filebeat & & sudo systemctl enable filebeat
  • 检查状态：sudo systemctl status filebeat
• 使用 Snap 安装（可选）
  • 安装：sudo snap install filebeat --classic
  • 启动并设为开机自启：sudo systemctl start filebeat & & sudo systemctl enable filebeat
  • 配置文件路径：/var/snap/filebeat/common/etc/filebeat.yml
• 目录与权限
  • 日志目录：/var/log/filebeat/filebeat（用于排查问题）
  • 建议以具备读取日志权限的用户运行（如 root 或加入 adm 组）

二 快速开始 输出到 Elasticsearch

• 启用模块（以系统日志为例）
  • 列出模块：sudo filebeat modules list
  • 启用模块：sudo filebeat modules enable system
• 配置输出（编辑 /etc/filebeat/filebeat.yml）
  • 仅保留 Elasticsearch 输出，注释 Logstash 输出
  • 示例：
    • output.elasticsearch.hosts: [“http://localhost:9200”]
    • 如需安全传输，配置 username/password 或 TLS（见下文安全建议）
• 初始化与启动
  • 初始化索引模板与 Kibana 仪表板（首次接入或变更索引模板时使用）：sudo filebeat setup
  • 启动服务：sudo systemctl restart filebeat
• 验证
  • 查看服务状态：sudo systemctl status filebeat
  • 查看 Filebeat 自身日志：sudo journalctl -u filebeat -f
  • 在 ES 中检索索引：curl -X GET “localhost:9200/_cat/indices?v& pretty”（应能看到以 filebeat- 开头的索引）

三 进阶 输出到 Logstash 或 Kafka

• 输出到 Logstash（便于过滤与丰富）
  • Filebeat 配置（/etc/filebeat/filebeat.yml）
    • 注释或删除 output.elasticsearch 相关配置
    • 启用 Logstash 输出：output.logstash.hosts: [“your_logstash_host:5044”]
  • Logstash 示例（/etc/logstash/conf.d/filebeat.conf）
    • input { beats { port => 5044 } }
    • filter { } # 可添加 grok、mutate 等处理
    • output { elasticsearch { hosts => [“http://your_es_host:9200”] index => “filebeat-logs-%{ +YYYY.MM.dd} ” } }
  • 启动：sudo systemctl restart filebeat & & sudo systemctl restart logstash
• 输出到 Kafka（高吞吐与解耦）
  • Filebeat 配置：output.kafka { hosts: [“kafka1:9092”,“kafka2:9092”], topic: “filebeat-logs”, required_acks: 1 }
  • 注意：Kafka 输出需确保网络与认证可达，并在下游消费者中处理数据落地（如 Logstash/ES）

四 常用配置与优化

• 输入类型与路径
  • Filebeat 7 常用 type: log；Filebeat 8 推荐 type: filestream
  • 示例：
    • filebeat.inputs:
      • type: filestream enabled: true paths:
        • /var/log/syslog
        • /var/log/*.log
• 模块与处理器
  • 模块：sudo filebeat modules enable nginx 或 system，按需加载解析器与仪表板
  • 处理器（processors）：
    • 添加主机/云/容器元数据：add_host_metadata、add_cloud_metadata、add_docker_metadata、add_kubernetes_metadata
    • 字段标记：fields: { source: syslog }
• 过滤与调优
  • 忽略旧文件：ignore_older: 72h
  • 排除行：exclude_lines: [‘^DEBUG’]
  • 仅采集新增行：tail_files: true
• 性能与可靠性
  • 调整并发与批量：pipeline.workers、bulk_max_size、worker 数量
  • 磁盘与内存：确保 data 目录所在磁盘空间充足，避免阻塞
• 安全建议
  • 启用 TLS：在 output.elasticsearch 中配置 ssl.certificate_authorities、ssl.verification_mode 等
  • 启用认证：配置 username/password 或使用 API Key
  • 最小权限：为 Filebeat 创建最小权限的 ES 角色（仅写入目标索引与读取必要的 ILM/模板）

五 常见问题排查

• 配置语法检查：filebeat test config
• 输出连通性检查：filebeat test output
• 服务状态与日志：sudo systemctl status filebeat；sudo journalctl -u filebeat -f
• 权限问题：确保 Filebeat 对日志文件有读取权限（/var/log 下通常需要 root 或 adm 组）
• 索引未生成：确认已执行 filebeat setup（首次接入），并检查 ES 是否可写
• 重复采集：避免多个 Filebeat 实例采集同一文件；使用 clean_inactive 与 close_* 策略管理状态

以上步骤覆盖了在 Ubuntu 上安装 Filebeat、采集系统与应用日志、输出到 Elasticsearch/Logstash/Kafka 的完整流程，并提供了常见优化与排错要点。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！