CentOS上Kubernetes的日志管理怎么做

CentOS上Kubernetes日志管理方案设计与实施

一、日志来源梳理

Kubernetes集群的日志主要分为三类，需全面覆盖以确保可观测性：

• 容器内部日志：应用通过stdout/stderr输出的日志（K8s默认采集，存储于节点/var/log/containers/*.log）；
• K8s组件日志：kubelet、kube-apiserver、kube-controller-manager等系统组件的日志（位于节点/var/log/kube-*目录）；
• 节点操作系统日志：宿主机的系统日志（如/var/log/messages、/var/log/syslog，记录节点级别的事件）。

二、常用日志收集方案

根据集群规模、存储成本及功能需求，选择合适的日志管理方案：

1. EFK Stack（Elasticsearch + Fluentd + Kibana）

适用场景：中大型集群、需要全文检索、复杂分析（如日志关键词搜索、聚合统计）及可视化。
组件职责：

• Fluentd：以DaemonSet形式部署在每个节点，收集节点上的容器日志、K8s组件日志及操作系统日志，通过过滤插件（如kubernetes_metadata）添加元数据（命名空间、Pod名、容器名），再转发至Elasticsearch；
• Elasticsearch：分布式搜索引擎，存储并索引日志数据，支持快速检索与聚合分析（生产环境需配置分片策略（热-温分层）、资源限制（避免内存溢出））；
• Kibana：可视化工具，连接Elasticsearch实现日志 dashboard（如日志量趋势、错误日志占比、应用性能指标），支持自定义查询（如kubernetes.namespace: "default" AND log_level: "ERROR"）。
  部署优化：
• Fluentd DaemonSet需挂载宿主机的/var/log目录，确保访问所有日志文件；
• Elasticsearch集群至少部署3个主节点，保证高可用；
• 为Fluentd设置资源限制（如0.5核CPU、512MB内存），避免日志洪峰导致节点崩溃。

2. Loki + Promtail（轻量级替代）

适用场景：中小规模集群、大规模日志量、低成本存储（无需索引，通过标签组织日志）。
组件职责：

• Promtail：以DaemonSet形式部署，收集节点日志（/var/log/containers/*.log），通过解析插件（如提取level、message字段）处理日志，转发至Loki；
• Loki：日志聚合系统，按标签（如namespace、pod_name、container_name）分类存储日志，而非全文索引，大幅降低存储开销；
• Grafana：集成Loki实现日志查询（如{ namespace="default", pod_name="my-app"} ）及 dashboard 展示。
  优势：资源占用低（Promtail内存占用约20MB），适合日志量大但对全文检索需求低的场景。

3. Filebeat + Elasticsearch + Kibana

适用场景：资源受限环境（如边缘节点）、已有Elasticsearch基础架构。
组件职责：

• Filebeat：轻量级日志收集器，部署在每个节点，监控/var/log/containers/*.log文件变化，将日志转发至Elasticsearch（或通过Logstash预处理）；
• Elasticsearch/Kibana：功能与EFK方案一致，负责日志存储与可视化。
  优势：部署简单（Filebeat镜像体积小），资源占用低（内存占用约10-20MB）；支持多种输出目标（如Kafka、Logstash）。

三、日志收集实战步骤（以EFK为例）

1. 准备工作

• 确保CentOS系统已安装K8s集群（通过kubeadm部署）且运行正常；
• 安装Helm（K8s包管理工具）：

  curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
  

2. 部署Elasticsearch
使用Helm部署单节点Elasticsearch（生产环境建议用StatefulSet+多副本）：

helm repo add elastic https://helm.elastic.co
helm install elasticsearch elastic/elasticsearch \
  --namespace logging \
  --set replicas=1 \
  --set resources.requests.cpu="500m" \
  --set resources.requests.memory="2Gi"

3. 部署Fluentd
使用Helm部署Fluentd DaemonSet（收集节点日志并转发至Elasticsearch）：

helm repo add fluent https://fluent.github.io/helm-charts
helm install fluentd fluent/fluentd \
  --namespace logging \
  --set daemonset.enabled=true \
  --set elasticsearch.host="elasticsearch.logging.svc.cluster.local" \
  --set elasticsearch.port=9200

4. 部署Kibana
使用Helm部署Kibana（连接Elasticsearch并实现可视化）：

helm install kibana elastic/kibana \
  --namespace logging \
  --set elasticsearch.hosts=["elasticsearch.logging.svc.cluster.local:9200"] \
  --set service.type=LoadBalancer

获取Kibana的外部IP（kubectl get svc -n logging kibana），通过浏览器访问http://< IP> :5601进入可视化界面。

5. 验证日志收集

• 进入Kibana Discover页面，选择kubernetes.*索引模式，即可查看容器日志；
• 使用kubectl logs命令验证单个Pod日志：

  kubectl logs -f <
      pod-name>
       -n <
      namespace>
  
  

四、日志管理最佳实践

• 标准化日志格式：建议应用以JSON格式输出日志（如{ "timestamp":"2025-10-24T12:00:00Z","level":"INFO","message":"User logged in"} ），便于Fluentd/Elasticsearch解析；
• 集中化部署：通过DaemonSet或Sidecar实现日志统一采集，避免分散存储（如Sidecar模式适合需要单独处理应用日志的场景，但资源占用较多）；
• 日志轮转与清理：使用logrotate工具防止日志文件无限增长（如Docker容器日志配置示例）：

  /var/lib/docker/containers/*/*.log {
  
    daily
    rotate 7
    compress
    missingok
    notifempty
    copytruncate
  }
      
  

• 监控与告警：使用Prometheus监控日志系统的性能指标（如Fluentd的内存使用率、Elasticsearch的索引速率），并通过Grafana设置告警规则（如日志量突增、Elasticsearch节点宕机）；
• 敏感数据过滤：在Fluentd或Filebeat中配置过滤规则，脱敏敏感信息（如银行卡号、密码），避免日志泄露。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！