在管理侧栏中，导航至内容 > 设计 > 配置

[rakibhasan]

实施“noindex”标签后，您需要确保您的内部搜索网址实际上都没有被编入索引。搜索 如果您看到网址出现在索引中，我们建议您等到 Google 删除其中大部分网址。如果您没有在索引中看到网址，您可以考虑使用 robots.txt 命令屏蔽它们。

Robots.txt
在 Magento 中，您还可以配置 robots.txt 文件。您需要利用 robots.txt 文件来限制 Google 有资格抓取的 Magento 网站页面数量。如果您的网站使用允许用户从各种属性中进行选择的分面导航，则配置此项尤为重要。

幸运的是，Magento 确实 摩洛哥电话数据 允许您控制网站的 robots.txt。为此，您可以执行以下步骤：

找到要调整的“商店视图”，然后选择“编辑”

展开“搜索引擎机器人”下拉菜单

在“编辑 robots.txt 文件的自定义指令”字段中添加 robots.txt 命令

如何调整 robots.txt 将取决于您的特定商店。遗憾的是，这里没有一刀切的选项。主要目标是阻止抓取任何低价值页面（未编入索引的页面），同时允许抓取高优先级页面。

以下是您可能考虑在 robots.txt 中阻止的一些常规事项：

通过分面导航和排序选项创建的低价值页面

网站的内部搜索页面

登录页面

用户的购物车

网站地图.xml
Sitemap.xml 文件确保 Google 有一条途径来发现您网站的所有关键 URL。这意味着无论网站的架构如何，sitemap.xml 都会为 Google 提供一种方法来查找网站上的重要 URL。