Spider和普通用户的区别?搜索引擎蜘蛛和用户有什么区别?

所有的全文搜索引擎都表示自己的Spider对网站的抓取行为和普通用户的访问行为没有太大区别。站在普通用户的角度这句话的确没有问题,但是站在站长和EO的角度这句话就不太对了。网页上有很多东西普通用户看不到也分辨不清,但是Spider可以;网页上也有很多东西普通用户可以看到并分辨清楚,但是Spider不可以。可以说Spider是一个既聪明又弱智的普通用户,Spider有着普通用户访问行为的大部分特性,但是也有不少差异。

  • Spider可以很容易地分辨出网页中是否有隐藏内容,是否被挂了黑链等,但是不能完全了解网页中图片的内容,也不能很好地读取JavaScript、Iframe、Ajax和Flash中的内容,普通用户却是恰恰相反;
  • Spider没有Referer,对网站的抓取全部都是直接访问,而普通用户中除了直接访问的用户外一般都是有Referer的;Spider不支持Cookie,但普通用户的浏览器一般是支持的;
  • Spider不会主动注册登入网站,但是普通用户是可以的;原则上Spider不会抓取和分析网站robots中已经屏蔽的内容,但是普通用户是可以正常访问的;
  • Spider对于有多个动态参数网站的抓取,可能会陷入死循环,但是普通用户是不会的;Spider对于列表中前几页的新内容抓取可能不好,但是感兴趣的普通用户会依次浏览;
  • Spider暂时还不能真正判断文章是不是原创,但是普通用户可以通过多种方式来确定文章是原创还是采集转载等。
  • Spider毕竞是人为技术驱动的程序,与普通用户还是有着非常大的区别的,因此给了站长和SEO人员很大的操作空间。站长和SEO人员在充分了解到Spider和普通用户的区别后,可以更方便地优化网站,使得网站内容被充分抓取,网站整体在搜索引擎中有个良好的表现;同时也可以利用两者的区别,使得在不影响搜索引擎抓取和排名的情况下,给普通用户更友好的用户体验,比如,判断用户Referer给用户推荐内容等;当然,不排除有些站长和SEO人员会利用这些区别,采用很多极端的技术作弊手法,在普通用户感觉不到的地方,误导Spider对网站内容的判断,而恶意抢夺很多本不应该得到的搜索流量,这是不可取的。无论如何,都有必要深入了解两者的差异。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1086

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2022年2月21日 上午9:17
下一篇 2022年2月21日 上午9:22

相关推荐

  • 谷歌SEO-如何更快更系统化地开展外链建设

    你是否知道外链建设的基本知识,但却为顺利开展外链建设而苦苦挣扎?这份高级指南将教你如何快速地开展外链建设。 外链建设中的outreach工作可以拆分为三个任务: 寻找outreac…

    2022年2月16日
  • 清风算法2.0详情

    算法名称:清风算法2.0算法内容:严厉打击欺骗下载发布时间:2018-4-19原文详情: 百度搜索将于5月上旬推出清风算法2.0,对于欺骗用户下载的问题进行永久封禁。请站长尽快对照…

    2021年11月5日
  • 什么是分词理论?如何运营分词理论做SEO?

    中文分词很重要,做SEO的人都知道。不懂技术的初级SEO和编辑人员被SEO行业影响,也知道分词很重要,但是大部分人都在谈概念,真正把分词运用到实际工作中的SEO人员却很少。往往是自…

    2022年3月11日
  • 细雨算法2.0详情及算法解读

    算法名称:细雨算法2.0算法内容:打击B2B领域低质内容发布时间:2019-11-07原文详情: 对于近期B2B领域出现的伤害搜索用户体验的违规低质内容,百度搜索将升级细雨算法,上…

    2021年11月5日
  • 买卖链接的走向,网站可以买卖友情链接和外链吗?

    买卖链接已经成为SEO行业内的常态,大量买卖链接平台的出现,使得买卖链接的行为更加优惠和便捷。不得不说买卖链接对网站的权重和排名提升作用很明显,在过去的一段时间内有不少网站依靠买链…

    2022年3月20日
  • 如何建立关键词之间的联系?

    对于部分网站可能并不需要为挖掘来的关键词建立相关关系,只需要把关键词分布到网站中就可以了。但是关键词之间的相关关系一般可以辅助指导网站内链的布局,所以架构比较大、内容比较多的网站,…

    2022年3月8日
  • 网站安全风险及应对方案

    5月25日,VIP大讲堂-网站安全那些事儿成功举办,百度云加速为大家带来网站安全风险及应对方案,学堂君将现场演讲提炼成图文概括版,快来看吧! 百度云加速主要给大家带来: 一、网站安…

    2022年2月1日
  • SEO是什么意思?什么是SEO优化?

    SEO的中文意思是搜索引擎优化。 通俗理解是:一种通过分析搜索引擎的排名规律,了解各种搜索引擎怎样进行搜索、怎样抓取互联网页面、怎样确定特定关键词的搜索结果排名的技术,最终通过提高…

    2022年3月15日
  • 什么是链接诱饵?网站如何设置链接诱饵?

    如果你的网站换链接达到了瓶颈、群发链接已经失效、买卖链接也渐渐没有了太大的操纵空间,那么就在链接诱饵上动动脑筋吧。能够自动扩散你网站链接的方法都可以算做链接诱饵。常见的链接诱饵方式…

    2022年3月20日
  • 烽火算法1.0详情

    原文标题:打击劫持 百度移动搜索推出烽火计划发布日期:2017-02-23 近期,百度移动搜索接到用户举报,在浏览完落地页返回搜索结果页时,会进入到虚假的百度移动搜索结果页,该页面…

    2021年11月5日