如何正确识别Baiduspider移动ua

百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider UA,那么该如何正确识别移动UA呢?我们百度站长平台技术专家孙权老师给出了答案:

新版移动UA:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC UA:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:
1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。
2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=467

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2022年2月3日 下午2:17
下一篇 2022年2月4日 上午11:16

相关推荐

  • 飓风算法1.0详情

    算法名称:飓风算法1.0算法内容:严厉打击恶劣采集发布时间:2017-07-04原文详情: 百度搜索于近日推出飓风算法,旨在严厉打击以恶劣采集为内容主要来源的网站,同时百度搜索将从…

    2021年11月5日
  • 百度搜索引擎检索系统概述

    前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这…

    2022年2月1日
  • 代码优化简介,什么是网站代码优化?

    所谓代码优化是指对程序代码进行等价(指不改变程序的运行结果)变换。程序代码可以是中间代码(如四元式代码),也可以是目标代码。等价的含义是使得变换后的代码运行结果与变换前代码运行结果…

    2022年3月15日
  • 百度APP移动搜索落地页体验白皮书5.0

    原文标题:百度APP移动搜索落地页体验白皮书5.0最新更新章节:2020-03-19 1.导言 2.面向对象 3.名词解释 4.落地页体验规范   4.1. 信息获取规范 4.1….

    2021年11月5日
  • 如何挖掘关键词?关键词挖掘的原则是什么?

    明确了关键词的分类后,就需要开展关键词的挖掘工作,然后再将关键词根据需求分组和布局到网站中去。关键词挖掘S是EO工作中比较上游的工作,没有定位明确要优化的关键词类别,SEO的很多重…

    2022年3月6日
  • Robots文件应放在哪里?

    robots.txt 文件必须放在网站的根目录。 放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。 如: https://zhanzhangpai….

    2022年3月15日
  • 从spider抓取,分析网站不收录原因

    目前百度spider抓取新资源的途径有两个:1、主动出击发现抓取; 2、从搜索资源平台的普通收录工具中获取数据。 其中通过资源平台“收”上来的数据最受百度spider的欢迎。 有的…

    2021年12月3日
  • 搜索引擎排名处理过程,SEO优化过程中怎么排名?

    百度上为什么会有网站呢?它是怎么抓取的呢?为什么网站又是以那样的形式存在于搜索结果之中呢?那个百度快照是个什么东西?(什么是百度快照)下面笔者就对百度排名的过程简单介绍一下。 1、…

    2022年3月15日
  • 如何挖掘长尾关键词?长尾关键词挖掘方法大全

    挖掘长尾关键词其实方法有很多,找到适合自己的就好。 长尾关键词分为三个等级:难、中、易。接下来为大家介绍几种常用的方法: 1.利用主关键词在百度中查看相关搜索(难) 2.研究同行业…

    2022年3月15日
  • 白皮书5.0解读—什么样的顶部嵌入广告符合体验标准?

    《百度APP移动搜索落地页体验白皮书5.0》对页面广告的内容、形式、位置和面积的要求都做出了详细的说明,受到了全网开发者的广泛关注。关于白皮书5.0中最新提出的顶部嵌入广告标准”落…

    2022年12月30日