1. 站长派首页
  2. 站长杂谈

微软与俄罗斯搜索引擎一起推出了IndexNow 的新爬虫协议，利于提高搜索引擎爬虫和索引的效率

• 站长杂谈
为了发现众多网站上新发布的页面，搜索引擎往往需要爬行并渲染上万个页面，可能需要几天到几周的时间才能发现内容发生了变化，不过这一低效索引问题将有望得到解决。
去年 10 月份，微软与俄罗斯搜索引擎Yandex一起推出了IndexNow 的新爬虫协议，目的是提高搜索引擎爬虫和索引的效率。

IndexNow协议到底是什么呢？

具体来说，IndexNow 是由 Microsoft Bing 和 Yandex 创建的新协议，允许网站在创建、更新或删除其网站内容时，通过使用API轻松通知搜索引擎。
日前，微软再度宣布，它正在通过确保提交的URL在搜索引擎之间共享，使该协议更容易实施。
这意味着网站管理员只需要一个API接口，所有的URL将被共同分享给支持IndexNow协议的所有搜索引擎。除了为内容发布者节省时间和精力外，这还有助于搜索引擎的内容发现工作，这使网络在整体上更有效率。
你或许已经觉得这个协议和百度的链接提交API很相似了。的确也是这样，只不过内容提交后并不保证被爬行或收录，搜索引擎只是会“被通知到”这个变化，并且将这些URL的爬行优先级提升到更高一些。

IndexNow带来了搜索索引的演变

了解完IndexNow协议，可以发现它非常重要，因为带来了搜索引擎发现更新和新发布网页的方式的重大变化。
我们知道， 搜索引擎获取网页数据有两种方式：拉取和推送。拉取是指搜索引擎爬虫访问网站以请求网页并从服务器“拉取”数据。这就是搜索引擎传统上的工作方式。
而IndexNow 所做的是将内容发现更改为推送方法，它使发布者受益于快速索引和更少的服务器负载，因为机器人不需不断地爬取他们的网页。主要搜索引擎的采用将是内容发布者和搜索引擎之间关系的演变，这对双方都有利。

利好内容发布者

对于内容发布者来说，它可以帮助减少对服务器的爬取需求，搜索引擎不需要进行探索性爬取来检查网页是否已更新，并且减少了发现和索引内容的时间。
另外，减少服务器负载有助于服务器以最佳方式运行，而不会增加搜索引擎已经拥有的网页冗余服务的负担。
最终，它也通过减少爬行和索引的能源需求，可以减少全球变暖压力造福世界。

已有多个搜索引擎参与，谷歌正在测试

最新数据显示，IndexNow协议已经被Bing和Yandex等多个搜索引擎采用，并且超过 8 万个网站开始发布并收获了更快提交索引的好处。
目前，已经采用IndexNow协议的公司名单包括：
  • Wix
  • Duda
  • Cloudflare
  • Akamai
  • Botify
  • oncrawl
  • onely
  • Yext
而让更多人关心的是，未来谷歌是否也会采用IndexNow协议。对此，谷歌发言人在去年 11 月份也发表声明，确认谷歌将测试新的 IndexNow 协议。这意味着IndexNow的效能将大幅上升。
另外，占全球最大市场份额的CMS WordPress也正在考虑支持IndexNow协议。不过，目前他们似乎鼓励插件的开发，而不是急于将其集成到WordPress核心本身。可以说，WordPress仍处于观望状态，等待谷歌以及其它搜索引擎等更广泛的行业认同。

如何部署IndexNow？

对于网站管理者，只需要在网站页面发生变更时去通过这个协议Ping一下搜索引擎，搜索引擎就会被成功通知到。
如果你是开发人员，部署 IndexNow具体可以遵循以下步骤：
1）使用在线密钥生成工具生成协议支持的密钥。
2）将密钥托管在网站根目录的密钥值命名的文本文件中。
3）添加、更新或删除 URL 后开始提交 URL。您可以为每个 API 调用提交一个 URL 或一组 URL。
4）提交一个 URL 就像发送一个简单的 HTTP 请求一样简单，其中包含更改的 URL 和您的密钥，就像下面这样：
https://www.bing.com/IndexNow?url=url-changed&key=your-key
有关实施的更多详细信息，可以访问IndexNow了解。

（网址：https://www.bing.com/indexnow）

关于IndexNow常见问题解答
▶搜索引擎提交 URL 的端点是什么？
——启用 IndexNow 的搜索引擎会立即共享提交给所有其他启用 IndexNow 的搜索引擎的所有 URL，因此您只需通知一个端点。
▶提交了一个 URL会有什么效果？
——如果搜索引擎喜欢您提交的URL内容，搜索引擎将尝试根据其爬取逻辑和网站的配额对其进行爬取，以快速获取最新内容。
▶一天内提交了一万个URL，会发生什么？
——如果搜索引擎喜欢这些URL内容，并且站点有足够的抓取配额，搜索引擎将尝试抓取部分或所有URL。
▶已经提交 URL，却没有被编入索引怎么回事？
——使用 IndexNow 可确保搜索引擎了解您的网站更新，但并不保证网页会立即被搜索引擎抓取或编入索引，可能需要过一段时间才能被索引。
▶刚开始使用IndexNow，应该发布去年更改过的URL吗？
——不需要，只需要发布自您开始使用 IndexNow以来发生变化（添加、更新或删除）的 URL。
▶提交的 URL 是否计入抓取配额？
——会。每次抓取都计入网站的抓取配额。
▶为什么没有看到所有提交的url被搜索引擎索引?
——如果内容不符合搜索引擎选择标准，则可以选择不抓取和索引 URL。
▶网页很少的小站点适合使用IndexNow吗？
——当然。如果您希望内容更改后立即让搜索引擎发现，那么建议使用 IndexNow。
可以每天多次提交同一个 URL 吗？
——建议避免一天多次提交相同的 URL。如果页面经常编辑修改，那么最好在两次编辑之间等待 10 分钟，然后再通知搜索引擎。如果页面不断更新，最好不要每次更改都使用 IndexNow。
▶可以通过 API 提交 404 网址吗？
——可以。可以提交死链（http 404、http 410）页面来通知搜索引擎有关新的死链接。
▶可以提交新的重定向吗？
——可以。可通过提交新重定向的 URL（例如 301 重定向、302 重定向等）通知搜索引擎内容已更改。
▶什么时候需要更换密钥？
——搜索引擎在收到新密钥时只会尝试抓取 {key}.txt 文件一次以验证所有权。此外，不需要经常修改密钥。
▶每个主机可以使用多个密钥吗？
——可以。如果您的网站使用不同的内容管理系统，每个内容管理系统都可以使用自己的密钥；在主机的根目录发布不同的密钥文件。
▶有sitemap还需要 IndexNow吗？
——是的。搜索引擎访问sitemap频率也可能很低，使用 IndexNow，可以让网站管理员“不必”等待搜索引擎发现和抓取sitemap，直接通知搜索引擎新内容。
—END—
来源：站长之家

文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=415

免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com

赞 (0)
上一篇 2022年1月17日 上午9:54
下一篇 2022年1月18日 上午12:01

相关推荐

博客首页