SEO 最常见的索引问题以及如何解决

索引问题可能会使您的 SEO 努力无效，一个页面可能已经完美优化并具有出色的用户体验，但如果 Google 没有看到它，它就毫无价值可言。未编入索引的页面不会进入自然搜寻结果(SERP)，也不会带来流量和转化。反之亦然，如果 Google 偶尔会看到并索引一个不应该被索引的页面，那麽您将面临隐私信息泄露、Google 对低品质内容的处罚，以及其他难以令人满意的后果带来的风险。在本篇文章中，我们的 SEO 专家将分享存在哪些类型的索引问题以及如何解决这些问题，以便它们存在于您网站以外的任何地方。但首先，让我们看看如何检查您的网站是否有任何索引问题。

如何发现索引问题？

Google Search Console 可以让您基本但仍然充分了解您的网站存在哪些索引问题。无论出于何种原因未编入索引的页面都放在一个部分下，名为网页未编入索引的原因。已编入索引但仍有任何问题且需要您注意的页面可以在网页索引状态中找到。Search Console 将向您显示详细信息并帮助确定页面的问题。一旦您需要更深入地挖掘并获得有关如何修复以使页面听起来不错的建议，请咨询 SEO 专家关于索引和可抓取性部分：SEO 专家将收集所有有错误的 URL，因此您无需单独手动检查每个页面。看看找到哪些类型的索引问题以及如何修复它们以保持您的网站被抓取和索引。我们将理所当然地认为所有报告受索引问题影响的 URL 都需要编入索引。如果不应将 URL 编入索引，请使用 noindex 标记阻止它或借助 robots.txt 说明限制访问。此外，请确保从您的网站地图中删除这些页面。如果它实际上没有被编入索引，则什麽也不做。

01 未找到 (404)

未找到 (404) 或 URL 损坏可能是最常见的索引问题之一。出于多种原因，页面可能具有 404 状态代码。比如说，您已经删除了 URL，但没有从网站地图中删除该页面，或者错误地写入了 URL 等等。正如 Google 所言，404 本身不会损害您的网站性能，直到这些是提交的 URL（即您明确要求 Google 索引的那些）。如果您在索引报告中看到 404 URL，以下是一些可能的选项，用于在它们不打算发生的情况下如何修复它们：更新您的网站地图并检查受影响的 URL 是否正确写入。如果页面已移至新地址，则设置 301 重定向。如果页面在没有任何替换或替代的情况下被删除，则将其保留为 404，但将其从网站地图中删除。这样， Google 就不会再试图找到它并浪费抓取预算了。如果您需要保留 404，则设置一个自定义的用户友好的 404 页面，您可以在其中添加一些有用的链接，让用户留在您的网站上，而不仅仅是关闭页面，用户离开您的网站将会是您的损失。请记住，404 页面仍然是 404，因此无论它有多好，Google 都不应该对其进行索引。值得注意，GSC 不会区分 404（未找到）和 410（已消失）并将它们放在一起在 404 报告下。这些曾经是不同类型的回应代码：404 表示“未找到，但以后可以找到”，而 410 曾经代表“未找到，并且未来不会找到，因为它已经消失了”。

至於今天， Google 表示他们对待 404 和 410 是一样的，所以如果你在 404 报告中找到 410 页面，你可能不需要费心。我建议您做的唯一一件事是设置自定义 404 页面而不是空的 410，以节省流量并防止用户从您的网站跳出。许多 SEO 操作人员和网站管理员都有将 404 重定向到主页的习惯，但事实上这并不是最佳做法。这样做会让 Google 感到困惑，并导致出现软性 404 问题。好吧，让我们看看这些软性 404 是什麽。

02 软性 404(Soft 404)

当页面有 200 OK 回应但 Google 无法找到其内容并将其视为 404 时，就会发生软性 404 (Soft 404)或称转址式 404 问题。软性 404 可能出于多种原因发生，其中一些甚至可能不取决于您，例如用户浏览器发生的错误。这里还有一些原因，象是缺少服务器端包含文档、与数据库的连接断开、一个空的内部搜索结果页面、已卸载或丢失的 JavaScript 文档、内容太少、页面隐藏等等。这些问题实际上并不难解决。以下是一些常见的场景：如果内容移动了，页面实际 200 OK 但为空，则设置 301 重定向到新地址；如果删除的内容别无选择，则将其标记为 404 并从网站地图中删除；如果该页面本来就存在，那麽添加一些内容并检查其上的所有脚本是否正确呈现和显示（未被 robots.txt 阻止，浏览器支持等）；如果错误是因为 Googlebot 尝试获取页面时服务器关闭，请检查服务器是否正常工作。如果是，则请求重新索引此页面。

03 由于未经授权的请求而被阻止 (401）

当 Googlebot 尝试访问需要授权的页面时会发生 401 错误，而您的服务器阻止了 Googlebot 这样做。如果您希望将该页面编入索引，请授予 Googlebot 相关权限，或删除授权请求。

04 由于访问被禁止而被阻止 (403)

当用户代理提供凭据以进入页面（帐号、密码）但未被授予实际运行该操作的权限时，会发生此类错误。但是，Googlebot 从不提供凭据，因此服务器返回 403 而不是预期的页面。如果某个页面被错误地阻止并且您确实需要将其编入索引，请允许未登录用户访问，或明确允许 Googlebot 进入该页面以对其进行读取和索引。

05 提交的 URL 标记为 noindex

从名称可以清楚地看出，当您明确要求 Google 为页面编制索引（即，将其添加到网站地图或手动要求编入索引）但该页面具有 noindex 标记时，就会发生此错误。修复非常简单，直接删除 noindex 标签，以便 Google 可以访问该页面。

06 被 robots.txt 屏蔽的 URL

如果您在 robots.txt 的帮助下屏蔽了某个网页，那麽 Google 将不会抓取它。删除限制以使页面编入索引。注意： Robots.txt 不能保证该页面不会被编入索引。这就是为什麽有时 Google Search Console 可能会显示内容的原因。与未编入索引的页面相比，此类问题可能会给您带来更多问题，因为 Google 可能会访问并披露原本不打算出现在 SERP 中的信息（如购物车、私人数据等）。如果遇到这样的问题，请决定是否需要将页面编入索引。如果是这样，请从 robots.txt 文档中删除 URL。如果没有，也将其从 robots.txt 中删除，但应用 noindex 标签，或限制非授权用户的访问。应用新限制後，您还可以要求 Google 通过 GSC 将页面从索引中删除。

07 无内容索引

这是另一种类型的问题，它可能会比未编入索引的页面更严重地损害您网站的性能。Google 不喜欢空白页面，并且很可能会降低您的排名，因为空白页面是垃圾网站和低品质内容的信号。如果您发现您的某些页面处于已编入索引但没有内容状态，请手动检查 URL 以找出原因。例如：页面内容可能太少、页面可能有一些无法正确加载的喧染阻止内容、内容是隐藏的。根据所见采取措施。例如，如果页面太空洞，请添加更多内容。在这里，您可以在 SEO 专家利用内容编辑器的帮助下检查您的 SERP 竞争对手并遵循他们已经历过的最佳实践。如果您怀疑受影响的页面上可能存在一些阻止喧染的内容，请检查使用第三方脚本的弹出窗口，并确保它们正常工作并且实际上可以被 Google 读取。总而言之，Google 应该以与用户相同的方式查看您的网页内容。如果您的网页内容被隐藏，请检查所有脚本或图象是否可供 Google 访问。

08 重定向错误

SEO 专家社群里已经讨论了很多关于 URL 重定向的内容。尽管如此，SEO 操作人员仍然不断犯错误，导致重定向错误和索引损坏。以下是 Google 无法正确读取重定向的一些常见原因：重定向链太长、重定向导致无限循环、重定向 URL 超过最大 URL 长度（Google Chrome 为 2 MB）、重定向链包含错误或空 URL。修复重定向错误的唯一方法归结为一句话：正确设置重定向。避免只会浪费抓取预算和消耗链接汁的长重定向链，确保链中没有 404 或 410 URL，并始终将 URL 重定向到相关页面。

09 服务器错误（5xx）

发生服务器错误的原因可能是服务器在 Googlebot 出现时崩溃、超时或关闭。这里要做的第一件事是检查受影响的 URL。转到 GSC 中网页索引状态的服务器错误，看看它是否仍然显示错误。如果没问题，那麽您唯一能做的就是请求重新索引。如果仍然有错误，您可以根据错误性质选择以下选项：减少动态页面请求的过度页面加载、确保您网站的托管服务器未关闭、重载或配置错误、检查您是否无意中屏蔽了 Google、明智地控制网站抓取和索引、修复所有内容後，请求重新索引以使 Google 更快地获取页面。

10 没有用户选择的规范的重复

“没有用户选择的规范的重复”是 Google Search Console 中的 URL 状态。这意味着 Google 没有将给定页面编入索引，因为它是另一个页面的副本，并且没有任何页面使用 canonical 标签表示为规范页面。使用规范标签、网站地图和重定向向 Google 显示它应该索引哪个页面变体。“没有用户选择的规范的重复”是多语言和/或电子商务网站的常见问题，这些网站有许多页面具有相同或非常相似的内容，旨在用于不同目的。在这种情况下，您应该将一页标记为规范，以防止出现重复内容问题。

11 重复， Google 选择了与用户不同的规范

这是一件有趣的事情。您可能已将某个页面指定为规范，但 Google 决定选择该页面的另一个版本作为规范，从而将其编入索引。修复此类错误的最简单方法是在 Google 选择的页面上放置一个规范标签，以免将来混肴。如果您想在您选择的页面上保持规范，您可以将 Google 选择的页面重定向到您需要的 URL。

12 带有适当规范标签的备用页面

注意：现在我将讨论不需要任何特定操作的问题（在大多数情况下）。尽管如此，它们仍显示在 Google Search Console 中，我想您可能想知道它们的含意。Google 不会索引页面，因为它是规范页面的副本。保持原样。

13 已发现 - 当前未编入索引

如果页面处于已发现状态，则 Google 已经发现了它，但尚未对其进行抓取和索引。您在这里唯一能做的就是检查页面的索引说明，以防有任何疑问。如果一切正常（即按照您的意图），那麽让 Google 稍后再做其余的事情。

14 已爬网 - 当前未编入索引

从逻辑上讲，此描述意味着 Google 已抓取您的网页但尚未将其编入索引。如果索引说明没有相反的说明，则该页面将被索引。您无需要求重新编制索引，Googlebot 知道该页面正在等待被索引。

仔细检查 Google 未检测到的索引问题

在发现和修复索引问题时，Google Search Console 可以为您提供很多帮助。但是如果没有就太好了。问题是 Search Console 仅在 Google 尝试获取页面并因任何原因失败时才显示问题。如果 Google 甚至没有发现这样的页面，那麽 GSC 中就不会存在索引问题的概念。尽管这个问题可能很重要，而且实际上可能有很多。

SEO 专家有能力让您看到页面在 Google 中缓存的日期。您可能会问我们的 SEO 专家是如何设法看到 Google 看不到的页面呢？答案是我们的 SEO 使用自己研发的索引和最先进的爬网引擎，可以发现其他搜索引擎出于任何原因未检测到的页面。现在看看缓存日期，如果日期有点太远，象是超过一年前或根本没有，那麽 Google 很可能不知道该页面的存在，你必须全力找出原因。这可能是一个孤立页面，Google 无法通过抓取您的网站找到它。如果您希望将页面编入索引，请从相关且流量丰富的页面链接到该页面。此外，也可能是您错误地阻止了要编入索引的页面，请记得检查 robots.txt 文件并深入研究标记为不允许的页面。SEO 专家提供的可视化解决方案会是查找索引问题的另一个有用方式。在这里，您将很容易发现孤立页面（与其他页面没有连接的页面）、损坏的页面和长重定向链，这也可能是某些页面没有被索引的原因。

一旦您发现并解决了所有问题，请 SEO 专家生成一个新的网站地图（如果需要，还可以生成一个 robots.txt 文档），该文档将进一步发送给 Google，以便它可以发现您需要的所有页面。如果您需要尽快将固定网址编入索引，您可以在 Google Search Console 中手动请求重新编入索引。