网站内容_建站指南：为什么网站内容无法被搜索引擎抓取？

关闭

如何确保搜索引擎可以轻松抓取您的网站？

如果您的网站无法被搜索引擎捕获，这可能是由以下原因造成的:

1，HTTPS安全实施

如果您最近刚到HTTPS，您可能没有机会审查或以其他方式安装的身份安全证书有问题，表面审查可以帮助您确定是什么影响了HTTPS的转换。

如果您在第一次购买SSL证书时没有考虑网站的用途，那么可能会有所不同。需要记住的一点是，在购买证书时，您必须非常小心，以确保它涵盖您想要的所有子域。

如果不这样做，可能会导致一些问题，例如无法重定向该网址。

如果您没有获得完整的通配符证书，并且在子域上有网址参数(使用绝对网址)，并且您的证书没有覆盖这些网址，则您不能将这些网址重定向到https://

这就是为什么您在购买SSL证书时应该注意自己的选择，因为这可能会对您的站点产生负面影响

2，不正确的重定向或过多的重定向将导致网站性能下降

。如果您不密切关注正在创建的重定向，也很容易创建冲突的重定向。

此外，重定向很容易失控，导致每个网站的网址有几十个或更多的重定向，进而导致网站性能下降

解决这个问题的简单方法是确保所有的重定向都是以1:1的比例创建的

3、HTTPS和HTTP网址上的内容不应同时加载

。正确的方法是将一个重定向到另一个，而不是两个都重定向如果同时加载两个，站点的版本安全性会有问题。如果您在浏览器中输入网站的网址，请测试

如果两个网址都被加载，将显示两个版本的内容。重复的网址可能导致重复的内容

为了确保不会再次遇到此问题，您需要根据站点的平台执行以下操作之一:

在HTACCESS中创建完整的重定向模式(在Apache/CPanel服务器上)；

使用WordPress中的重定向插件从http://强制重定向

4，如何在Apache/Cpanel服务器的htaccess中创建重定向

您可以在中执行服务器级全局重定向。Apache/CPanel服务器的htaccessInmotionhosting有一个关于如何在你的主机上强制重定向的好教程。

如果所有网络流量都被迫使用HTTPS，您需要以下代码

确保将此代码添加到具有类似前缀的代码中(重写引擎打开、重写秒等)。)

重写引擎

重写第二%{HTTPS}！

RewritteCond % { REQUEST _ URI }！/

5。如果你正在运行WordPress网站，请使用插件

。解决这些重定向问题的简单方法是使用插件，尤其是在运行WordPress网站时

许多插件可以强制http://到https://重定向，但是这里有一些插件可以使这个过程尽可能简单:CM https专业版，WP强制SSL，轻松HTTPS重定向

插件注意:如果您已经使用了太多插件，请不要再添加

您可能需要调查您的服务器是否可以使用上述类似的重定向规则(例如，如果您使用的是基于NGINX的服务器)

这里需要说明的是，插件的重量会对网站的速度产生负面影响，所以不要总是认为新的插件会对你有帮助。

6，所有网站链接都应该从HTTP://更改为HTTPS://

即使执行了上述重定向，也应该执行此步骤。

如果您使用绝对网址而不是相对网址，您应该做得更多。因为前者总是显示你正在使用的超文本传输协议，如果你正在使用后者，那么你不需要多注意这一点。

当您使用绝对网址时，为什么需要更改站点链接？因为谷歌会抓取所有这些链接，这可能会导致内容重复。

这似乎是浪费时间，但事实并非如此。你必须确保谷歌最终能准确捕捉到你的网站。

7。确保不会发生从HTTP://到HTTPS://的转换。突然增加404页

404可能会使您的网站无法运行，尤其是当在http://和https://页之间有链接时

此外，由于显示的404页太多，谷歌找不到应该抓取的页面，这将导致抓取预算的浪费。谷歌

负责人约翰·穆勒指出，除非是大型网站，否则攫取预算并不重要。约翰·穆勒，

，在推特上说他认为预算优化被高估了。对大多数网站来说，它没有效果，它只能帮助大型网站。

"国际海事组织预算过高事实上，大多数网站不需要担心这一点。如果你正在抓取一个网页或运行一个数十亿的网址网站，这是非常重要的，但对普通网站来说并不十分重要。

SEO PowerSuite的负责人Yauhen Khutarniuk的一篇文章也说明了这一点:

“从逻辑上讲，你应该专注于获取预算，因为你希望谷歌找到尽可能多的重要网页你也希望它能在你的网站上迅速找到新的内容。您的捕获预算越大(管理越智能)，这种情况发生得越快。“

优化抓取预算非常重要，因为在网站上快速找到新内容是一项重要任务，同时需要找到尽可能多的网站优先页面

8，如何修复可能的404页

首先，将404从旧的网址重定向到新的现有网址

有一个相对简单的方法，如果你有一个WordPress网站，使用尖叫青蛙抓取网站，并使用重定向WordPress插件执行301重定向规则批量上传

9，网址结构不应该太复杂

在准备技术搜索引擎优化时，网址结构是一个重要的考虑因素

你必须同时注意这些事情，比如随机生成索引动态参数，不容易理解的网址，以及其他可能导致搜索引擎优化技术实施问题的因素

这些都是重要的因素，因为它们可能会导致索引问题，从而影响网站的性能。

10，更人性化的网址

创建网址时，您可以考虑相关内容，然后自动创建网址然而，这可能不合理

是因为自动生成的网址可以遵循几种不同的格式，没有一种是非常人性化的

例如

(1)/content/date/time/keyword

(2)/content/date/time/numeric string

(3)/content/category/date/time/

(4)/content/category/date/time/parameter/

正确传达URL背后的内容是关键点由于可访问性，它在今天变得更加重要。

网址的可读性越强，效果就越好:如果有人在搜索结果中看到你的网址，他们可能会更愿意点击它，因为他们会看到该网址与他们搜索的内容的相关性。简而言之，网址需要匹配用户的搜索意图

许多现有网站使用过时或混乱的网址结构，导致用户参与度低如果你有一个更人性化的网址，你的网站可能会有更多的用户参与。

11，重复网址

在建立任何链接之前，需要考虑的一个搜索引擎优化技术问题是:重复内容当

涉及内容复制时，以下是主要原因:

(1)内容在网站的各个部分被显著复制

(2)从其他网站抓取内容

(3)只有一个内容的重复网址

，因为当多个网址代表一个内容时，它确实会混淆搜索引擎搜索引擎很少同时显示相同的内容，重复的网址会削弱它们的搜索能力。

12，避免使用动态参数

虽然动态参数本身并不是搜索引擎优化问题，但如果您不能管理它们的创建并在使用中保持一致，它可能会成为未来的潜在威胁

Jes Scholz在搜索引擎杂志上发表了一篇文章，涵盖了动态参数和网址处理的基本知识，以及它如何影响搜索引擎优化。

Scholz解释说，这些参数用于以下目的:跟踪、重新排序、过滤、识别、分页、搜索和翻译

当您发现问题是由网址的动态参数引起的时，通常是由于网址的基本管理不善

在跟踪的情况下，当创建由搜索引擎捕获的链接时，可以使用不同的动态参数在重新排序的情况下，这些不同的动态参数被用于重新排序列表和项目组，然后可索引的重复页面被搜索引擎创建和检索。

如果动态参数没有保持在可管理的水平，可能会无意中造成太多的重复

如果不仔细管理一些内容的创建，这些动态网址的创建实际上会随着时间的推移而积累，然后内容的质量会被稀释，从而削弱搜索引擎的执行能力。

这也会导致关键词“自相残杀”，相互影响，并且在足够大的范围内会严重影响你的竞争力

13，短网址比长网址好

长期搜索引擎优化实践结果是:短网址比长网址好

有其他证据表明，谷歌特别对短网址而不是长网址进行了排名。

如果你的网站包含超长网址，你可以将它们优化成更短、更简洁的网址，以更好地反映文章的主题和用户意图。

◎/雨果网吕晓琳