如何通过Tomcat日志实现负载均衡监控

通过 Tomcat 日志实现负载均衡监控

一、监控思路与关键指标

• 目标：确认流量是否按策略分发、各节点是否健康、异常是否集中、单条请求落在哪台机器。
• 核心数据源：
  • 访问日志（localhost_access_log）：记录每次 HTTP 请求的 时间、客户端IP、请求行、状态码、字节数、Referer、User-Agent、Host 等，用于分发与错误分布分析。
  • 运行日志（catalina.out）：记录 启动/停止、异常堆栈、JVM 信息，用于节点健康与故障定位。
• 建议关注的指标与日志字段映射：
  • 请求分发均衡性：按 节点 与 时间窗口 统计请求数（访问日志）。
  • 错误率与状态码分布：统计 HTTP 5xx/4xx 占比（访问日志）。
  • 后端处理耗时：若启用 %D/%T，可评估节点处理时延（访问日志）。
  • 异常爆发：应用异常关键字（如 Exception/Error）在 catalina.out 的频次（运行日志）。
  • 单请求定位：通过 trace-id 将客户端请求与具体 Tomcat 节点关联（访问日志）。
  • 会话粘性：结合 JSESSIONID 与节点分布验证会话保持策略（访问日志）。

二、快速验证与排查

• 单节点实时观察
  • 访问日志：tail -f $CATALINA_HOME/logs/localhost_access_log.*.txt，快速判断该节点是否收到请求。
  • 运行日志：tail -f $CATALINA_HOME/logs/catalina.out，观察异常堆栈与启动信息。
• 多节点同时观察
  • 多终端分屏：分别在 tomcat01 与 tomcat02 执行 tail -f，对比请求是否按预期分发。
  • 单终端聚合：使用 multitail 同时跟踪多台节点日志，便于横向比对。
• 精准定位单条请求
  • 客户端注入唯一标识：curl -H “trace-id: 123456” http://your.domain/path
  • 在 Tomcat 的 conf/server.xml 的 AccessLogValve 中扩展 pattern，记录自定义头：

    <
    Valve className="org.apache.catalina.valves.AccessLogValve"
           directory="logs" prefix="blog_access_log" suffix=".txt"
           pattern="%h %l %u %t "%r" %s %b "%{
    Referer}
    i" "%{
    User-Agent}
    i" "%{
    trace-id}
        i"" />
        
    

    重启后在两台节点 grep trace-id=123456 即可确定落点。
• 负载均衡配置核对（确保日志可被正确解读）
  • 使用 Nginx/Apache 时，开启请求头透传，例如：
    • proxy_set_header Host $host;
    • proxy_set_header X-Real-IP $remote_addr;
    • proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    • proxy_set_header X-Forwarded-Proto $scheme;
  • 会话粘性示例：Nginx 使用 ip_hash；Apache 使用 stickysession=JSESSIONID。

三、生产级监控落地（ELK 集中化）

• 架构与流程
  • 各 Tomcat 节点部署 Filebeat 实时采集 访问日志/运行日志；
  • Logstash 清洗与打标签（如 tomcat_node=tomcat01），必要时解析 trace-id/JSESSIONID；
  • Elasticsearch 存储与检索；
  • Kibana 构建可视化面板：按节点/时间统计 QPS、5xx/4xx 率、P95/P99 时延、异常趋势，并支持快速检索单条请求链路。
• 典型可视化与告警
  • 面板：节点对比图（请求量/错误率/时延）、错误 TopN（URI/状态码/节点）、trace-id 追踪视图。
  • 告警：节点 5xx 突增、错误率阈值、节点离线（日志断流）等。

四、自动化巡检与健康检查脚本

• 简易 Shell 巡检示例（统计最近 5 分钟 5xx 数并告警）

  #!/usr/bin/env bash
  LOG=/usr/local/tomcat/logs/localhost_access_log.$(date -d '5 minutes ago' +%F).txt
  if [[ ! -f "$LOG" ]];
       then LOG=/usr/local/tomcat/logs/localhost_access_log.txt;
       fi
  
  COUNT=$(awk -v start="$(date -d '5 minutes ago' '+%d/%b/%Y:%H:%M:')" \
           '$4 >
      = "[" start &
      &
   $0 ~ / 5[0-9]{
  2}
   / {
  n++}
   END {
  print n+0}
      ' "$LOG")
  
  THRESHOLD=10
  if (( COUNT >
       THRESHOLD ));
       then
    echo "ALERT: 5xx count=$COUNT in last 5min on $(hostname)" | \
      mail -s "Tomcat 5xx Spike" ops@example.com
  fi
  

• 建议增强
  • 结合 cron 定时执行并接入企业告警通道（如钉钉/企业微信/短信）。
  • 扩展统计 4xx、耗时分位、异常关键字 等维度，形成综合健康评分。

五、关键注意事项

• 时间同步：所有节点启用 NTP，避免跨节点分析时时间漂移导致结论错误。
• 日志轮转：按天/按大小切割时，确保采集与查看的是 当前活跃文件（如 localhost_access_log.YYYY-MM-DD.txt）。
• 请求头透传：负载均衡需正确设置 Host/X-Real-IP/X-Forwarded-For/X-Forwarded-Proto，否则访问日志中的 Host/IP 失真，影响分发与粘性验证。
• 会话粘性验证：若启用 ip_hash 或 stickysession=JSESSIONID，用 JSESSIONID 分布核对是否按策略保持会话。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！