如何识别Baiduspider

上周百度站长平台接到某站长求助,表示误封禁了Baiduspider的IP,询问是否有办法获得Baiduspider的所有IP,打算放入白名单加以保护,防止再次误封。在此要告诉各位站长,Baiduspider的IP池是不断变动的,我们无法提供IP全集。

除此之外,之前还有站长发来质疑说Baiduspider光顾过于频繁,已超越服务器承受能力。而百度站长平台追查发现,Baiduspider对该站点的抓取并无异常,那只spider极有可能是个李鬼。

那么,站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢?

可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。如何识别Baiduspider

2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=469

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2022年2月4日 下午2:21
下一篇 2022年2月5日 上午11:15

相关推荐

  • 如何寻找目标关键词?目标关键词挖掘方法

    方法一:百度搜索风云榜(http://top.baidu.com) 查看目前的最新的热门关键词,把握先机,获取流量。 方法二:百度指数相关检索词(index.baidu.com) …

    2022年3月15日
  • 如何建设网站外链?增加网站外链的方法?

    首先教大家认识一下什么是高质量外链,依据笔者多年的经验来看,高质量外链是指外链网站权重高,站点相关性好,导出链接少……俗话说内容为王,外链为皇,皇又比王重要,可见外链的重要性。而高…

    2022年3月15日
  • 烽火算法3.0详情

    算法名称:烽火算法3.0算法内容:持续打击网络劫持问题发布时间:2019-03-14原文详情: 网站劫持的表现形式 百度搜索中的网站劫持有以下两种表现形式: 跳转劫持:用户点击目标…

    2021年11月5日
  • 百度搜索引擎抓取系统概述(一)

    编者按:站长朋友们,今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容,今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓…

    2022年2月2日
  • 友情链接交换注意事项?链接交换常见套路?

    有一些站长和SEO人员为了获得单向指回的接,会采用一些欺骗的手段,在进行链接分换工作时,一定要进行细心甄别。常见的小把戏如下。 (1)加上链接一段时间后恶意删除。 这种情况一般是利…

    2022年3月17日
  • 谷歌SEO:哪些内容容易被搜索引擎判定为垃圾内容

    稀薄的内容 虽然网站通常拥有不同主题的独特页面,但较旧的内容策略是为关键字的每次迭代创建一个页面,以便针对那些高度具体的查询在第 1 页上排名。 例如,如果您销售婚纱,您可能已经为…

    2022年2月20日
  • 什么是sitemap网站地图?

    一般情况下,Sitemap-网站地图,分为两种: 普通Html格式的网站地图,类似 https://zhanzhangpai.com/sitemap.html,它的目的是帮助用户对…

    2022年3月15日
  • 网站代码优化注意事项

    SEO代码优化是一项比较复杂的工程,大多数seo人员对网站的代码优化了解并不多,希望这篇“SEO教程之代码优化方法!代码优化的九点注意事项!”的文章能有一点点帮。 一、尽量采用di…

    2022年3月15日
  • 蓝天算法2.0详情

    原文标题:百度升级『蓝天算法』,加强“站点构造目录发布低质内容”识别能力 原文发布日期:2021-07-27 近日,百度搜索技术团队发现“站点构造目录发布低质、虚假等与站点主题无关…

    2022年2月8日
  • 什么是反作弊算法?反作弊算法有哪些类型?

    本篇文章站长博客介绍什么是反作弊算法?反作弊算法有哪些类型? 在搜索引擎的架构中过滤也是很重要的一环,在Spider抓取部分会过滤掉重复和垃圾页面,在进行排序和呈现时同样还会进行一…

    2022年2月25日