Shopify SEO基础技术：抓取、索引和排名（下）

图片来源：图虫创意

大家好，我是外贸老司机Allan。shopify入门小白或者对独立站和跨境电商感兴趣的朋友们，欢迎关注我，这里将持续分享更多运营干货哦~

今天，我们将向你展示如何利用内部链接、robots.txt文件和XML站点地图来帮助Google更快、更有效地抓取你的Shopify商店并为其编制索引。

Shopify和robots.txt：你需要知道的一切

简单地说，robots.txt是一个简单的文本文件，它告诉Google你网站的哪些页面要抓取，哪些不要抓取。

一般来说，SEO不需要robots.txt文件。但是，拥有robots.txt有几个不容忽视的好处：

它可以防止Googlebot（和其他搜索引擎抓取工具）抓取和索引包含敏感信息的页面（例如，登录/注册页面、帐户页面等）。它可以防止Googlebot抓取和索引没有SEO权重的页面和资源（例如，“谢谢”页面、预览页面、pdf文件（例如，产品手册）等）。它可以防止Googlebot抓取薄内容页面或包含重复内容的页面。它可以帮助搜索引擎更轻松地找到你的站点地图（robots.txt文件包含指向站点地图的链接）。它可以帮助Google更快、更有效地抓取你的网站并将其编入索引。它可以优化你的抓取预算（通过确保Google不会抓取不应抓取和编入索引的网页）。

你需要了解的有关Shopify和robots.txt的信息：

图片来源：FinalStraw的robots.txt文件

在我们进一步讨论之前，让我们解释一下每个指令（即robots.txt文件中的每一行）的含义：

“User-agent”指令指定指令适用于哪个爬虫。换句话说，如果在“User-agent”指令（例如“User-agent：Googlebot”）中指定了用户代理，则该用户代理（例如“Googlebot”）应遵循说明，但不同的代理（例如，“Bingbot”-Bing的爬虫）应该继续寻找更具体的指令。如果未指定用户代理（如上述情况），则所有搜索引擎机器人（或爬虫程序）都应遵循这些说明。“允许”指令仅适用于Googlebot。它告诉Googlebot它可以访问特定网页或子文件夹，即使其父页面或子文件夹可能被禁止。“禁止”指令告诉搜索引擎机器人不要抓取和索引哪些页面。“站点地图”指令将搜索引擎机器人指向你的XML站点地图的位置。“Host”指令包含你主页的URL（即你的主域名）。

现在你对robots.txt的工作原理有了更好的了解，以下是你需要了解的有关robots.txt文件和Shopify的信息：

Shopify会自动生成你的robots.txt文件。你的robots.txt文件位于你网站主域名的根目录中。要访问它，只需在主页的URL中添加“/robots.txt”，例如“https://www.yourshopifystore.com/robots.txt”你的robots.txt文件由Shopify维护。这意味着你无法编辑其内容。但是，如果你不希望Google访问你的robots.txt文件中未禁止的特定页面，你可以使用“noindex”元标记隐藏它们-一行代码告诉搜索引擎不要索引特定的页。实现“noindex”元标记需要技术知识，因为你需要自定义theme.liquid布局文件。

如果你不精通技术并且不熟悉ShopifyLiquid，最好联系Shopify专家并请求帮助。

此外，你可以使用像SmartSEO这样的ShopifySEO应用程序——SmartSEO只需单击一下按钮即可将“noindex”标签添加到页面。

你可以通过注册一个免费的GoogleSearchConsole帐户来监控你的robots.txt文件阻止了哪些页面。

如果你注意到你的结账页面已被你的robots.txt文件阻止，不必担心-它不需要为SEO排名。此外，通过不抓取你的结帐页面，搜索引擎机器人有更多时间抓取你网站上更重要的页面（例如，你的主页、类别页面、产品页面、博客和文章页面等）。

但是，如果你的robots.txt文件阻止了直接影响你的底线的页面（即类别页面、产品页面等），你应该担心。通常，发生这种情况的几率几乎为0%（因为Shopify会自动创建和管理你的robots.txt文件）。如果是这样，请立即联系Shopify支持团队。

Shopify和sitemap.xml：你需要知道的一切

你的XML站点地图为Googlebot（和其他搜索引擎机器人）提供有关你Shopify商店中的网页和资源（例如媒体文件、pdf等）的信息。基本上，它是你网站上最重要的页面和资源的综合列表。你的站点地图还包含有关你的网页的重要信息（例如，它们上次修改的时间、包含的图像数量、它们与其他页面或资源的关系等）。

站点地图的目的是帮助Google更快、更有效地抓取你的网站。

与robots.txt文件类似，拥有站点地图并不是绝对必要的-Google将能够在没有其帮助的情况下抓取你的网站（尤其是在你制定了强大的内部链接策略的情况下）。但是，拥有站点地图肯定会让你受益。特别是在以下情况下：

如果你有一个大型目录商店。想象一下，必须互连1000多个（甚至100个）产品页面……不可能，对吧？如果你的Shopify商店是新的，并且它的反向链接和互连仍然很少。如果你的Shopify商店包含大量媒体文件，例如视频和图像。如果你上传了大量pdf文件（例如，产品手册或说明）。如果你发了很多文章。此外，拥有站点地图意味着Googlebot（和其他搜索引擎抓取工具）会更频繁地抓取你的网站。你需要了解的有关Shopify和XML站点地图的信息：图片来源：RebelNell的站点地图

以上就是Shopify商店的典型站点地图的外观-有一个父站点地图链接到产品、产品系列、博客和页面的其他站点地图（或子站点地图）。这种分类有助于Google更轻松地导航和抓取你的Shopify商店。

每个附加站点地图都包含一个广泛的页面列表。例如，RebelNell的产品站点地图，包含所有RebelNell产品页面的链接，以及图像信息、页面上次修改时间、页面修改频率等。

以下是你需要了解的有关sitemap.xml文件和Shopify的信息：

Shopify会自动为你的商店生成一个sitemap.xml文件。它包含指向你所有产品、产品图片、页面、集合和博客文章的链接。

如果你使用的是BasicShopify计划，那么只有你商店的主域具有生成的站点地图文件并且可以被搜索引擎发现。如果你使用的是Shopify、AdvancedShopify或ShopifyPlus计划，那么你可以使用国际域功能来创建特定于区域或特定于国家的域。当你使用国际域时，将为你的所有域生成站点地图文件。你的所有域都可以被搜索引擎发现，除非它们重定向到你的主域。

来源：Shopify，查找并提交你的站点地图你的站点地图位于你Shopify商店域的根目录中，即你可以通过将“/sitemap.xml”添加到你主页的URL（例如，“https://www.yourshopifystore.com/sitemap.xml”）来找到它。注意：你还可以在robots.txt文件中找到站点地图的位置-它是在“站点地图”指令中指定的。Shopify每次更新商店时都会自动更新站点地图（例如，每次添加新产品或发布新博客文章时）。你无法手动编辑站点地图。如果你希望从商店的站点地图中排除某个页面，你只能通过ShopifyAPI（通过代码）来完成。如果你不精通技术，有一些应用程序可以为你提供帮助。比如smartSEO，只需单击一下按钮，你就可以排除不想出现在站点地图中的页面。该APP会向它们添加noindex标签，并将它们从你的站点搜索页面中排除。

图片来源：smartSEO内部截图

请注意每个产品旁边的复选框-如果选中了复选框，则产品的状态设置为“活动”。这意味着该产品包含在站点地图中。如果你想从站点地图中排除产品，你需要做的就是从复选框中删除复选标记。

SmartSEO的评分为⭐4.9。它有一个免费版本和一个专业计划，每月收费4.99美元（提供7天免费试用）。

如何将你的站点地图提交到GoogleSearchConsole：为什么这很重要以及如何去做

你可以随时将你的sitemap.xml文件提交到GoogleSearchConsole。这不是绝对必要的-即使你不提交，Google也能找到你的站点地图。

那为什么我们还是需要去提交呢？因为将你的站点地图提交到GoogleSearchConsole将有助于Googlebot更快地抓取你的网页和资源并将其编入索引。此外，将你的站点地图提交到GoogleSearchConsole将提高你的排名，提升你的内部链接工作，并最终扩大你的覆盖范围。也就是说，提交你的站点地图将为你带来更多曝光率并带来更多销售机会。

如何将站点地图提交到GoogleSearchConsole：

确保你的网站不受密码保护-如果有密码的话，Google将无法访问你的站点地图。创建一个免费的GoogleSearchConsole帐户。使用GoogleSearchConsole验证你的域并确认你是Shopify商店的所有者。注意：如果你的网站受密码保护，你将无法验证你的域名。将你的sitemap.xml文件提交到GoogleSearchConsole。按照此处列出的步骤操作→Shopify，查找并提交你的站点地图

使用SmartSEO，你可以轻松地将站点地图提交给Google，而无需经过使用SearchConsole的手动过程。但是你仍然需要一个具有经过验证的站点属性的GoogleSearchConsole帐户。

结论

今天，我们讨论了搜索的工作原理。我们解释了抓取、索引和排名之间的区别，以及shopifySEO技术与这些过程中的每一个的关系。

此外，我们还向你展示了如何通过以下方式帮助Google更快、更有效地抓取你的Shopify商店并将其编入索引：

创建强大的内部链接策略拥有无可挑剔的robots.txt文件拥有无可挑剔的sitemap.xml文件并将其提交到GoogleSearchConsole

如果你还有其他问题，请在下面给我们留言！

在下一篇文章中，我们将重点介绍网站架构。更具体地说，我们将向你展示如何创建低深度页面层次结构、逻辑URL结构和直观的网站导航——这些是构建技术优化网站的关键步骤（而且，它有助于抓取和索引）。所以，请继续关注！

​