蜘蛛天天来，收录数却不动，这是收录问题里最让人困惑的一种。答案就在抓取日志里：蜘蛛来了多少次、爬了哪些页面、拿到了什么返回码，三个数据一摆出来，问题出在哪一环一目了然。这篇教你看懂日志，不需要任何付费工具。
先弄清三个概念：抓取、索引、收录
抓取是蜘蛛来下载你的页面；索引是搜索引擎把页面存进自己的库；收录是我们用 site 或者站长平台看到的可见结果。三者是上下游关系：不抓取一定不收录，抓取了也未必收录——中间隔着质量判定。
「被抓取但不收录」就是卡在质量判定这一环。日志能告诉你蜘蛛爬了什么，判定结果要看站长平台的索引报告，两者对照才有结论。
第一步：确认日志里有蜘蛛
日志里甄别真假蜘蛛：真蜘蛛可以用官方提供的 IP 段反向解析验证（形如 spider 开头的域名反解）。软件伪造的假蜘蛛流量会污染你的判断。
- 百度蜘蛛 UA 含 Baiduspider，反解域名以 .baidu.com 或 .baidu.jp 结尾
- Googlebot 反解在 .googlebot.com 或 .google.com
- 验证不过的反解，一律当无效流量处理
第二步：看爬了什么页面
把蜘蛛请求的URL按目录分组统计，回答三个问题：内容页占比多少？翻页和参数页占比多少？有没有反复爬同一批页面的迹象？
健康的比例是内容页占抓取量的一半以上。如果蜘蛛把时间都花在翻页、标签聚合页和带参数的URL上，说明链接结构把蜘蛛引向了低价值区域，需要用 nofollow 和 canonical 把它引回正轨。
第三步：看返回码分布
200是正常；301、302跳转要确认落点正确；404过多说明站内存在死链，蜘蛛的时间被浪费；5xx和超时是最伤的信号，蜘蛛连续几次吃闭门羹就会降低到访频率。
| 返回码 | 含义 | 处理 |
|---|---|---|
| 200 | 正常 | 保持 |
| 301/302 | 跳转 | 核对落点与占比 |
| 404 | 不存在 | 清理内链，保留自定义404页 |
| 5xx/超时 | 服务器异常 | 立即排查服务器稳定性 |
第四步：抓取与索引对照定位
日志显示蜘蛛爬了几百个页面，索引报告却只涨了个位数——这就是「抓了不收」的实锤。常见原因按概率排：内容重复或过短、页面主体内容被模板稀释、同参数URL产生大量重复视图。
对应的解法：提高每篇内容的独立信息量；让主体内容在页面源码里靠前；用 canonical 统一重复视图。做完这些通常两到四周能看到索引回升，收录跟着恢复。
什么时候该求助外部诊断
自己看日志的门槛在于服务器可能没开日志、日志格式不统一、样本量不够。如果折腾两周没有起色，把最近14天的原始日志和站点情况发给我们，48小时内出三页诊断：抓取、收录、竞对，一眼看清卡在哪一环。
一个日志分析的最小工作流
不需要专业工具，三步就能把日志用起来：第一步，把昨天的日志下载下来，grep 蜘蛛UA筛出抓取行；第二步，按目录聚合统计，看内容页、栏目页、翻页各占多少；第三步，把蜘蛛爬过但没收录的URL单独拉一份清单，逐条点开自查质量。每周做一次，每次二十分钟，坚持一个月你就能读懂自己站点的「爬行性格」——什么时段来、爱爬什么、绕开什么。这份感觉比任何工具报告都值钱。
站长平台里最该看的三个报表
站长平台数据多，日常真正要盯的是三张：索引报告（收录的地基，掉索引先于掉收录）、抓取统计（蜘蛛到访量与返回码分布，先行指标）、消息中心（处罚与整改通知，暴跌的第一解释来源）。三张表各看一分钟，站点的健康状况就有了基本判断。剩下的一堆报表属于诊断时才需要深入的部分，日常不必全都过一遍，把注意力花在高频信号上。
收录问题的季节性波动
收录节奏有季节性：重大节假日前后引擎处理队列会拉长，收录时延普遍增加几天；年底平台整顿期，存量索引的清理力度也会加大，不少站会经历一波温和的索引回落。这些波动是全行业性的，判断方法是找两三个同行站对照——大家同步慢就是季节，只有你慢才是自己的问题。季节期不做激进操作，等收敛即可，把改动排在行业平稳期，效果评估也更干净。
常见问题
日志在哪里看？
宝塔面板在站点的日志项里，Nginx 默认路径 /www/wwwlogs/。服务器没开日志的先开日志，没有日志的数据分析都是猜。
假蜘蛛流量要拦吗？
建议拦。伪造蜘蛛除了消耗带宽没有任何价值，还会污染抓取统计。用反解验证配合规则拦截，真蜘蛛不受影响。
日志是网站和搜索引擎之间唯一的通话记录。学会读日志，收录问题就不再靠猜。读不明白的，把日志交给我们，三页报告说清楚。