抓取频次上不去时,站点侧该排查的五件事
新站抓取次数长期偏低,原因往往不在内容写得够不够。本文按响应、站点地图、内链、重复与日志五个顺序,给出可逐项核对的排查清单。
先把响应速度当成抓取成本来看
抓取对搜索引擎来说是一次有成本的访问。服务器返回慢、偶发报错、跳转链条过长,都会让同一次抓取占掉更多时间,站点在队列里能分到的机会就少。我们排查新站时,先看的就是首页和栏目页的响应时间、是否频繁出现服务器错误、HTTPS 与 www 跳转是否一步到位。
有一类问题容易被忽略:页面本身能打开,但关键资源加载很慢。抓取方读的是 HTML,图片和脚本拖慢整体响应,同样会拉长等待。把大图压缩、给静态资源加缓存,看似与收录无关,实际是在降低每次抓取的代价。
站点地图要和真实页面一一对上
站点地图不是写得越多越好。把已删除、被设置为不索引、需要登录才能看的页面写进去,会消耗抓取配额却拿不到有效结果。我们习惯先核对一遍:列出的地址是否都返回正常状态,是否与被索引的规范地址一致,带斜杠和不带斜杠的版本有没有同时出现。
最后修改时间也要如实写。每次构建都把全部页面刷成当天,等于告诉抓取方所有页面都刚改过,反而失去了判断优先级的信息。只给真正改动的页面更新这个字段,比批量刷新更有用。
内链深度决定抓取能走多远
从首页点几下能到文章页,是判断内链健康度最直观的方法。超过三四层才 reachable 的页面,被抓到的概率会明显下降。面包屑、栏目页列表、正文里的相关阅读,本质都是给抓取方提供入口,让新页面不必等外部链接才能被发现。
我们遇到过一种情况:文章写得很扎实,但除了发布当天的首页列表,之后就再没有任何页面指向它。把它挂回栏目页和几篇同主题文章后,抓取才逐步跟上来。内链的作用不是传递权重这种抽象说法,而是给抓取方一条走得通的路。
重复地址会把预算分散到同一批页面
同一个内容存在多个可访问地址,是抓取预算被浪费的常见原因。带参数、带追踪标识、大小写不同、斜杠结尾不同,都可能被当成不同页面各抓一遍。规范地址标签能说明哪一个是正式版本,但更省事的做法是从源头减少重复入口。
检查时可以从站内搜索和筛选页面入手,这类页面最容易生成大量近似地址。对没有独立价值的组合,直接限制抓取比事后写规则更干净。
用日志确认,而不是凭感觉判断
抓取频次低到底是站点问题还是新站信任度问题,靠猜很难分清。服务器日志里能看到抓取方来了几次、读了哪些地址、返回什么状态。把这些信息按天整理出来,再和站点地图、内链调整的时间对齐,才知道哪一步改动起了作用。
如果日志显示抓取方几乎不来,站点侧能做的优化就很有限,这时更该把精力放在外部入口和内容更新节奏上;如果来了却总读重复页面,那问题就在自己站内,调整结构通常能看到变化。两件事的对策完全不同,先分清再动手。
