以确定您的在线商店或页面是否以及被抓取的

meseoworker188@

例如，对于 WordPress，这可以通过 Yoast SEO 来完成。 网上商店SEO技巧： 您不知道有多少网页已被 Google 编入索引？然后使用 Google 上的搜索运算符并输入以下内容： 网站：musterseite.de 使用site:yourpage.de filetype:pdf您还可以查看有多少 PDF 被索引。


2.1 Robots.txt：让爬虫能够正确读取你的网店！ Robots.txt是爬虫在访问页面时首先读取的内容。在此，您可程度。它始终可以在找到爬虫程序。 作为文本文件，robots.txt 可以轻松编辑。这描述了该说明适用于哪些机器人或爬行器。 robots.txt 示例 用户代理：* 不允许：/account/ 不允许：/app/ 不允许：/fragen/ 不允许 中国海外欧洲号码数据 不允许：/news/wp-admin/ 不允许：/profile/ 站点地图您以搜索引擎优化的方式自行创建网上商店的 robots.txt 用户代理： * 用户代理：谷歌 所有爬虫均已解决 说明仅适用于 Google 例如，禁止规则禁止访问某些子目录。



例如： 不允许： 不允许： / 禁止：/登录/ 所有目录均可抓取 不能抓取任何目录 登录目录可能无法被抓取 指令应按逻辑顺序组织。 换句话说，首先处理特定的爬网程序，最后列出适用于所有爬网程序的规则。此外，还提供了每个用户代理的说明。 由于站点地图与 robots.txt 不同，不能总是在同一 URL 中找到，因此也可以在您的在线商店的 robots.txt 中指定它，以达到搜索引擎优化的目的。