技术SEO:抓取预算Crawl Budget

什么是抓取预算?

抓取预算是指给定时间范围内 Googlebot 在网站上抓取并建立索引的页面数量。

为什么抓取预算对 SEO 很重要?

简而言之:如果谷歌不索引一个页面,它就不会排名任何东西。

因此,如果您的网页数量超出了网站的抓取预算,您网站上的某些网页将不会被编入索引。
技术SEO:抓取预算Crawl Budget

也就是说,绝大多数网站不需要担心抓取预算。谷歌非常擅长查找和索引页面。

也就是说,在某些情况下您确实需要注意抓取预算:

  • 您运营一个大型网站:如果您的网站(例如电子商务网站)包含超过 10k 个页面,Google 可能很难找到所有页面。
  • 您刚刚添加了一堆页面:如果您最近向网站添加了一个包含数百个页面的新部分,您需要确保有足够的爬网预算来快速将它们全部编入索引。
  • 大量重定向:大量重定向和重定向链耗尽了您的抓取预算。

因此,这里有一些简单的方法可以最大限度地提高网站的抓取预算。

最佳实践

提高网站速度

提高网站的网页速度可能会导致 Googlebot 抓取您网站的更多网址。

事实上,谷歌指出:“使网站速度更快可以改善用户体验,同时也提高抓取速度。”

换句话说:缓慢的页面加载消耗了 Googlebot 的宝贵时间。
技术SEO:抓取预算Crawl Budget

但如果页面加载速度很快,Googlebot就有时间访问您的更多页面并为其建立索引。

技术SEO:抓取预算Crawl Budget

使用内部链接 Googlebot 会优先考虑有大量外部和内部链接指向的页面。

是的,理想情况下您会获得指向您网站上每个页面的反向链接。但在大多数情况下这是不现实的。通过消除任何损坏的链接来保持页面优化。对于内部链接,损坏的链接指向尚未重定向/删除的已删除或移动的页面。

作为最佳 SEO 实践,您需要查找并修复损坏的链接。

内部链接会将 Googlebot 发送到您网站上您想要编入索引的所有不同页面。
技术SEO:抓取预算Crawl Budget
扁平化网站架构

谷歌官方称

“互联网上更受欢迎的 URL 往往会被更频繁地抓取,以使其在我们的索引中保持新鲜。”

而在谷歌的世界里,流行=链接权威。

这就是您想要在网站上使用扁平网站架构的原因。

扁平架构进行设置,以便您网站的所有页面都有一些链接权限流向它们。

技术SEO:抓取预算Crawl Budget

避免“孤立页面”

孤立页面是没有内部或外部链接指向的页面。

技术SEO:抓取预算Crawl Budget

谷歌很难找到孤立页面。因此,如果您想充分利用抓取预算,请确保至少有一个内部或外部链接指向您网站上的每一页。

限制重复内容

事实证明,重复的内容会损害您的抓取预算。
技术SEO:抓取预算Crawl Budget
这是因为 Google 不想通过为具有相同内容的多个页面建立索引来浪费资源。

因此,请确保您网站的 100% 页面均由独特、优质的内容组成。

给TA打赏
共{{data.count}}人
人已打赏
技术SEO

技术SEO:站点地图Sitemaps

2023-10-22 17:07:27

技术SEO

技术SEO:页面速度和搜索引擎优化Page Speed and SEO

2023-10-22 18:45:57

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
有新私信 私信列表
搜索