用日志开启蜘蛛专属日志与周报
把蜘蛛抓取从混合日志里独立出来做专属日志，配合周报观察趋势，是收录运维的基础设施。
把蜘蛛抓取从混合日志里独立出来做专属日志，配合周报观察趋势，是收录运维的基础设施。
Nginx配置蜘蛛日志分割
在log_format里用map指令按UA分流：map $http_user_agent $spider_log { default access.log; ~*Baiduspider spider.log; }，server块里access_log引用 $spider_log。
配置日志切割
logrotate按天切割spider.log，保留90天，避免单文件膨胀影响分析效率。
每日统计脚本
shell脚本统计当日蜘蛛抓取总次数、抓取URL数、404占比、TOP抓取路径，输出到日报文件。核心一行：grep Baiduspider spider.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20。
周报对比
每周对比抓取次数、URL覆盖数、404数三组数据的周环比，连续两周下滑即触发排查流程。
判断标准与参考数据
蜘蛛日均抓取量稳定在正常波动区间；404占比低于5%；新发布内容24小时内出现在蜘蛛日志中。
注意事项
map指令必须放在http块；日志切割要配合reopen信号，否则文件句柄不释放磁盘会被写满。