索引对于一个网站来说是很重要的，对于爬虫资源等话题，历史上的说法一直是，这是为大型网站（被谷歌归类为百万以上网页）和内容更改频率高的中型网站保留的问题。
然而，近几个月来，抓取和索引已成为 SEO 论坛和 Twitter 上向 Google 员工提出的问题中更常见的话题。
根据我们自己的轶事经验，自2021 年 11 月以来，不同规模和更改频率的网站在 Google Search Console（抓取统计数据和覆盖率报告）中的波动和报告变化比以往任何时候都要大。
我们目睹的一些主要覆盖范围变化也与未经证实的谷歌更新和 SERP 传感器/观察者的高波动性有关。鉴于没有一个网站在堆栈、利基甚至技术问题方面有太多共同点——这是否表明对于大多数网站来说 100% 索引是不可能的？
谷歌在他们自己的文档中概述了网络正在以远远超出其自身能力和手段来抓取和索引每个 URL 的速度扩展。
在同一份文档中，谷歌概述了影响其抓取能力以及抓取需求的一些因素，包括：
- 您的 URL 和内容的受欢迎程度。
- 内容是否陈旧
- 网站的响应速度。
- Google 对我们网站上 URL 的了解（感知库存）。
从与 Google 的 John Mueller 在 Twitter 上的对话来看，您的 URL 的受欢迎程度不一定会受到您的品牌和域名的受欢迎程度的影响。
有过主要出版商的第一手经验，没有根据其与已在线发布的类似内容的独特性对内容进行索引，好像它低于质量阈值并且没有足够高的 SERP 包含值。
这就是为什么在处理特定规模或类型的所有网站（例如电子商务）时，我们从第一天开始就认为 100% 索引并不总是会成功的。
1.索引层和分片
谷歌在解释他们的索引是如何工作的方面非常开放。
他们使用分层索引（更好的服务器上的一些内容以便更快地访问）并且他们有一个存储在多个数据中心的服务索引，这些数据中心基本上存储了在 SERP 中提供的数据。
进一步简化：
然后，网页（HTML 文档）文档的内容被标记化并跨分片存储，并且分片本身被索引（如词汇表），以便可以更快、更轻松地查询特定关键字（当用户搜索时）。
很多时候，索引问题归咎于技术搜索引擎优化，如果你有一个无索引或问题和不一致阻止谷歌索引内容，那么它是技术性的，但通常来说这是一个价值主张问题。
2.有益目的和 SERP 包含价值
当我谈到价值主张时，我指的是 Google 质量评估指南 (QRG) 中的两个概念，它们是：
- 有益目的
- 页面质量
结合起来，这些创造了我称之为 SERP 包含值的东西。
这通常是网页在 Google Search Console 的覆盖率报告中属于“已发现 – 当前未编入索引”类别的原因。
在 QRG 中，Google 做出了这样的声明：
- 请记住，如果页面缺乏有益的用途，则应始终将其评为最低页面质量，无论页面的需求满足等级或页面的设计如何。
这是什么意思？页面可以定位正确的关键字并勾选正确的框。但如果它通常与其他内容重复并且缺乏附加价值，那么谷歌可能会选择不将其编入索引。
这就是我们遇到 Google 的质量阈值的地方，这是一个页面是否符合必要的“质量”以被索引的概念。
这个质量阈值如何工作的一个关键部分是它几乎是实时的和流动的。
Google 的 Gary Illyes 在Twitter上证实了这一点，其中一个 URL 可能会在第一次被发现时被编入索引，然后在找到新的（更好的）URL 时被删除，甚至在 GSC 中手动提交时会暂时“鲜见”提升。
3.重复内容
重复内容是更直接的一种，在电子商务、出版和程序化中很常见。
如果包含价值主张的页面的主要内容在其他网站或内部页面中重复，则 Google 不会将资源用于索引内容。
这也与价值主张和有益目的的概念有关。我遇到过很多例子，大型权威网站的内容没有被索引，因为它与其他可用内容相同——没有提供独特的观点或独特的价值主张。
4.采取行动
对于大多数大型网站和中等规模的中型网站，实现 100% 索引只会变得更加困难，因为 Google 必须处理网络上所有现有的和新的内容。
如果您发现有价值的内容被认为低于质量阈值，您应该采取什么措施？
- 改善“高价值”页面的内部链接：这并不一定意味着具有最多反向链接的页面，但那些针对大量关键字排名且具有良好可见性的页面可以通过描述性锚向其他页面传递积极信号.
- 修改低质量、低价值的内容。如果从索引中排除的页面价值较低并且没有带来任何价值（例如，综合浏览量、转化），则应该对其进行修剪。让它们上线只会浪费 Google 在选择抓取它们时的抓取资源，这可能会影响他们基于 URL 模式匹配和感知库存的质量假设。
总结
一旦您确定您是否看到有价值的页面从 Google 的索引中退出，接下来的步骤就是了解原因，然后 Search Console 将排除的页面细分为更多类别。