网页迟迟不被百度收录,九成以上出在九个固定原因上。这篇文章按命中率从高到低把原因排好,每一条都给出排查办法和判断标准,照着从上往下过一遍,大多数收录问题一小时内能定位。排查顺序比技巧更重要:先查蜘蛛来不来,再查蜘蛛来了收不收,最后才考虑用外部资源加速,顺序反了钱花了问题还在。
一、新站考核期(命中率约30%)
全新域名上线后的头两周到一个月,搜索引擎会持续观察站点:内容是否规律更新、结构是否稳定、有没有作弊痕迹。期间只收首页或者收录缓慢,属于正常现象,不用过度紧张。
怎么判断:域名注册不满两个月、内容量不足三十篇的站,先别急着到处找原因,保持规律更新两周再看曲线。考核期里最忌讳的是频繁改标题、改结构,每一次大改都会让考核重新计时。
二、内容质量不足(约20%)
整站采集、正文低于三百字、多篇内容高度相似,都会被判定为低价值页面。蜘蛛明明天天来,就是不收,多半卡在这一关。
怎么判断:随机抽十篇内容自己通读一遍,问一个问题:这篇文章里有没有别人没有的信息?如果删掉站名后放到任何网站上都能成立,那它大概率就是重复内容。补内容的思路不是写更多,而是写得更具体:带参数、带步骤、带自己的数据。
三、站点结构太深(约12%)
从首页到内容页要点四五次点击才能到达,蜘蛛很难爬到深层页面,收录自然慢。怎么判断:随便挑一篇内容页,从首页点过去数点击次数,超过三次就该调整目录层级或者补内链。
理想的结构是三层:首页、栏目页、内容页。分类多的大站可以在中间加一层聚合页,但任何内容页到首页的点击距离都应控制在三次以内。
四、内链太少(约10%)
页面之间互不链接,蜘蛛爬完一篇就离开,收录效率低。怎么判断:看内容页底部和相关位置有没有上下篇、相关文章模块;正文里有没有指向站内其他页面的链接。一个健康的站,每篇内容页至少有三到五条内链出口。
- 正文内链锚文本要描述目标页内容,不要全站都写「点击详情」
- 相关文章模块按同分类调用,相关性越高越好
- 新文章发布后,回头在两三篇旧文章里补一条指向它的链接
五、没有做主动推送(约8%)
各大搜索引擎都提供站长推送接口,很多站根本没接。等蜘蛛自己发现新页面,速度自然慢。怎么判断:登录搜索资源平台(站长平台),确认站点已验证、推送接口已配置、当天有提交记录。
推送不是收录入场券,但它能明显缩短蜘蛛发现新页面的时间。我们给客户站做收录加速时,推送和蜘蛛池引蛛是同时开的双轨,一条管通知,一条管到访,缺一不可。
六、服务器不稳定(约8%)
蜘蛛来访时网站打不开、响应超过几秒,抓取就会中断,收录随之停滞。怎么判断:看抓取日志里的返回码,如果出现大量5xx或者超时记录,先解决服务器再说收录。
选择服务器时,带宽和CPU核数都不是最关键的,稳定性和线路质量才是。蜘蛛抓取集中在凌晨和上午,如果这个时段你的站经常响应慢,收录数据一定难看。
七、robots.txt 误屏蔽(约5%)
一行 Disallow 写错,整个目录甚至全站被屏蔽。我们处理过一个企业站,全站被屏蔽三个月没人发现,收录为零。怎么判断:浏览器打开 yourdomain.com/robots.txt,逐行检查有没有覆盖内容目录的规则。
- Disallow: / 这样的规则等于屏蔽全站
- 屏蔽后台和脚本目录时注意路径不要误伤内容目录
- 修改 robots 后,用站长平台的 robots 检测工具验证一遍
八、重复内容与采集镜像(约4%)
站内多个URL指向同一内容,或者内容被大量其他站点复制,搜索引擎只收录其中一个,其余判重丢弃。怎么判断:用 site 语法查收录结果,看有没有同一标题反复出现;把正文标题加引号去搜索,看有多少站点与你同文。
九、抓取频次异常(约3%)
抓取频次突然跌到接近零,通常是平台调整或者站点被降权处理。怎么判断:对比站长平台里近30天的抓取频次曲线,断崖式下跌需要立即排查,先看有没有违规整改通知,再核对服务器日志里蜘蛛的实际到访情况。
排查时要准备的三样数据
动手前把三样数据备齐,排查效率翻倍:一是最近14天的原始抓取日志(宝塔面板可直接下载);二是站长平台的索引量曲线和抓取频次曲线截图;三是全站URL清单(用爬虫工具跑一遍即可)。三样数据在手,九个原因逐条对照,基本不需要二次返工。拿不到日志的服务器,先开日志再谈排查——没有数据的收录优化都是猜。
常见问题
收录上去了,排名就一定好吗?
不一定。收录只是入场券,排名还看内容质量、外链和用户行为等综合因素。收录服务解决被看见的问题,排名服务解决排得靠前的问题,两者可以分开做。
自己排查还是直接找你们诊断?
上面的清单过一遍只需要一小时,建议先自查。自查搞不定的,把域名和日志发到站长QQ 1692525,48小时内出免费诊断报告。
收录问题的排查,本质是把「蜘蛛来不来、爬了什么、收没收」这条链路每一环都拿到数据。自己排查是省钱,找我们诊断是省时间——把域名发过来,48小时内给你一份看得懂的三页报告,合不合作都在里面。