经常被采集的技术层面处理方法

小站新站被采集,自己网站没收录或者没排名,被权重网站采集,而变成了别人的嫁衣,反馈又没有实质性可以证明自己的内容。注意:即使按照下面的说法做也无法杜绝采集,毕竟防君子不防小人。

优化层面

1、添加内容时候增加一些,能代表自己的东西“XXX网提示” “XXX提醒”,品牌词的变种词“百度知道”变成“bai度了解”“佰镀知道”,对方采集没有及时替换的情况下,反馈可以充当证据,不要说内容是自己原创的他人采集为什么算他的,没有实际证据的情况,也可能你采集他人的把时间给修改提前了。

2、给图片增加水印。

技术层面

被采集站点必须有最新入口,才会被采集者采集到最新且没有收录的内容,我们只要考虑,新内容不被采集到的,等新内容收录之后,在放出来,它采集意义也不大。

1、延时更新首页,首页尽可能不要实时更新,几天一更新,网站把蜘蛛养起来之后首页就可以更新不那么勤快了,举例百度经验,百度知道 首页根本没有最新内容。

2、延时更新列表,和首页道理一样,只要做好主动推送和sitemap就不用考虑首页列表引导蜘蛛进入到最新内容里。

3、限制列表页数,限制5-10页,没有用户翻几十页上百页的。正常用户都是有需求才来,我的网站就限制十页,百度经验限制3页,还不是最新内容。

4、限制用户列表页面展示内容数量。

5、内容页链接尽可能无规则,避免使用递增有规律的url,假如链接有规律递增,采集者不需要最新入口都可以采集最新内容,使用百度近一周收录获取到最新链接进行递增。

举例: htt ps://jin gyan.baidu.com/article/1.html

htt ps://jin gyan.baidu.com/article/2.html

以此类推

htt ps://jing yan.baidu.com/article/99999999.html

爱奇艺、腾讯视频、链接无规则,就很难采集。

一般提交内容,后台就会生成静态页面,只要把静态页提交给百度就好。

我常用的这些办法就是以上这些,完全屏蔽不了,采集者甚至用代理IP抓相关内容爬搜索结果页来采集你。

不建议新站这么操作,等到蜘蛛稳定爬取了,还可以偷偷懒,偷懒更新不一定是坏事,让勤快的采集者无路可走。

注:动态站你也可以选择调用几天前的数据。提前做好sitemap主动api推送等操作。

限制访客IP的通常做法我就不说了,大家可以百度。


内容来源:百度站长论坛

原文链接:http://bbs.zhanzhang.baidu.com/thread-2191267-1-1.html

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=4119

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2023年1月10日 下午5:33
下一篇 2022年12月30日 下午3:08

相关推荐

  • Spider的抓取策略?搜索引擎是如何抓取网页的?

    本篇文章站长博客介绍Spider的抓取策略?搜索引擎是如何抓取网页的? 在大型搜索引擎Spider的抓取过程中会有很多策略,有时也可能是多种策略综合使用。这里简单介绍一下比较简单的…

    2022年2月22日
  • 网站死链处理指南

    直播回看地址:http://live.baidu.com/m/media/pc … 937643&source=h5pre 内容基本都是原意,文字部分精简。 本…

    2023年1月10日
  • 如何优化网站URL?怎样的URL更规范?

    RL在搜索引擎的搜索结果中是能显示出来的,在做网站架构前最好对目录及文件命名事先做好规划。在做SEO同时也要注意一下用户体验,URL最好能做到清晰、方便记忆,然后考虑URL对排名的…

    2022年3月15日
  • 百度绿萝算法2.0详情

    作者:百度网页搜索反作弊团队 发布时间:2013年7月1日 亲爱的站长朋友们: 大家好! 针对一些网站到处发布推广性软文的现象,一直以来我们都在通过各种方式进行处理。一方面,过滤清…

    2022年2月8日
  • 如何布局长尾关键词?长尾关键词布局方法

    与网站目标关键词相对应,能带来流量的关键词叫长尾关键词。一般情况下长尾关键词都比较长,有的是两到三个词语组成,甚至是“如何布局长尾关键词”这种,搜索量不多还不稳定,偶尔来两个IP有…

    2022年3月15日
  • 如何给网站部署关键词?关键词部署原则是什么?关键词部署方法是什么?

    在关键词的挖掘、选择、分组一系列的工作完成后,就到了关键词在网站中部署的环节也是关键词研究的最后一个步骤。关键词的部署在一定程度上也是对网站的栏目设置、专题制作方向、内容创作方向的…

    2022年3月9日
  • 百度工程师为你总结网站优化常见问题

    前段时间,小编收到部分开发者关于建站相关的提问,于是特地让百度工程师为大家从网站的抓取建设、内容生产、死链处理3个方面总结了开发者经常遇到的问题,看到就是赚到! 一、网站抓取建设 …

    2022年2月18日
  • 百度搜索基础展现解读

    一、什么是搜索基础展现? 用户在百度搜索引擎中根据自身的搜索需求输入关键词,从得到的搜索结果中,筛选出符合需求的内容,产生点击行为。这个过程中,【搜索展现】传递给用户的信息,会影响…

    2022年12月30日
  • 什么是搜索专区?如何进入搜索专区?

    一、什么是搜索专区? (1)搜索专区是百家号作者经营搜索流量的入口。 (2)百度天然具有大量的搜索流量,借助搜索专区,创作者能够快速熟悉搜索玩法、了解搜索用户行为、洞悉搜索内容创作…

    2022年12月6日
  • 内链的作用有哪些?为什么要优化网站内链

    一、提升网站权重 当内链有很好效果的时候,用户体验的作用就能够通过观察数据体现出来。网页内容被浏览的次数大大提高,不会出现没有点击率的情况。由于内容的可传递性,用户访问量就会迅速提…

    2022年3月15日