经常被采集的技术层面处理方法

小站新站被采集,自己网站没收录或者没排名,被权重网站采集,而变成了别人的嫁衣,反馈又没有实质性可以证明自己的内容。注意:即使按照下面的说法做也无法杜绝采集,毕竟防君子不防小人。

优化层面

1、添加内容时候增加一些,能代表自己的东西“XXX网提示” “XXX提醒”,品牌词的变种词“百度知道”变成“bai度了解”“佰镀知道”,对方采集没有及时替换的情况下,反馈可以充当证据,不要说内容是自己原创的他人采集为什么算他的,没有实际证据的情况,也可能你采集他人的把时间给修改提前了。

2、给图片增加水印。

技术层面

被采集站点必须有最新入口,才会被采集者采集到最新且没有收录的内容,我们只要考虑,新内容不被采集到的,等新内容收录之后,在放出来,它采集意义也不大。

1、延时更新首页,首页尽可能不要实时更新,几天一更新,网站把蜘蛛养起来之后首页就可以更新不那么勤快了,举例百度经验,百度知道 首页根本没有最新内容。

2、延时更新列表,和首页道理一样,只要做好主动推送和sitemap就不用考虑首页列表引导蜘蛛进入到最新内容里。

3、限制列表页数,限制5-10页,没有用户翻几十页上百页的。正常用户都是有需求才来,我的网站就限制十页,百度经验限制3页,还不是最新内容。

4、限制用户列表页面展示内容数量。

5、内容页链接尽可能无规则,避免使用递增有规律的url,假如链接有规律递增,采集者不需要最新入口都可以采集最新内容,使用百度近一周收录获取到最新链接进行递增。

举例: htt ps://jin gyan.baidu.com/article/1.html

htt ps://jin gyan.baidu.com/article/2.html

以此类推

htt ps://jing yan.baidu.com/article/99999999.html

爱奇艺、腾讯视频、链接无规则,就很难采集。

一般提交内容,后台就会生成静态页面,只要把静态页提交给百度就好。

我常用的这些办法就是以上这些,完全屏蔽不了,采集者甚至用代理IP抓相关内容爬搜索结果页来采集你。

不建议新站这么操作,等到蜘蛛稳定爬取了,还可以偷偷懒,偷懒更新不一定是坏事,让勤快的采集者无路可走。

注:动态站你也可以选择调用几天前的数据。提前做好sitemap主动api推送等操作。

限制访客IP的通常做法我就不说了,大家可以百度。


内容来源:百度站长论坛

原文链接:http://bbs.zhanzhang.baidu.com/thread-2191267-1-1.html

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=4119

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2023年1月10日 下午5:33
下一篇 2023年1月31日 上午11:48

相关推荐

  • 网站JS代码如何优化

    javascript代码对于网站排名优化同样没有多大影响,但从网站优化的角度来看却是至关重要的一步优化操作,优良的javascript代码可以大幅度提升网页的响应速度! 外链js代…

    2022年3月15日
  • 什么是信息类关键词?

    之前的文章中介绍了什么是导航类关键词和什么是事务类关键词?,本文接续介绍什么是信息类关键词? 信息类关键词,即用户在寻找某种信息时所使用的关键词,这种关键词没有明显的购买意向,也不…

    2022年3月5日
  • 搜索引擎是如何进行内容处理的?百度蜘蛛页面处理原理介绍

    内容处理即搜索引擎对Spider抓取回来的页面进行处理。处理步骤简单介绍如下。 步骤01要判断该页面的类型 首先要判断该页面的类型是普通网页,还是PDF、Word、Excel等特殊…

    2022年2月21日
  • 百度APP移动搜索落地页体验白皮书5.0

    原文标题:百度APP移动搜索落地页体验白皮书5.0最新更新章节:2020-03-19 1.导言 2.面向对象 3.名词解释 4.落地页体验规范   4.1. 信息获取规范 4.1….

    2021年11月5日
  • 谷歌SEO:网站没有被搜索引擎收录的原因有哪些

    正如您刚刚了解到的,确保您的网站被抓取并编入索引是出现在 SERP 中的先决条件。如果您已经有一个网站,最好先查看索引中有多少页面。这将对 Google 是否正在抓取并找到您想要的…

    2022年2月18日
  • 什么是Spider?Spider是如何发现网页的?

    本篇内容站长博客为大家介绍什么是Spider?Spider是如何发现网页的? Spider也就是大家常说的爬虫、蜘蛛或机器人,是处于整个搜索引擎最上游的一个模块,只有Spider抓…

    2022年2月22日
  • 同一个网页多个快照的原因

    有不少朋友都发现了不同的搜索词或搜索方式,得到同一个网页的百度快照时间可能是不同的。 搜索引擎更新索引的过程,并不是一个新索引替换老索引的过程,对于一个重要的网页,百度可能会同时保…

    2022年2月27日
  • 网站做SEO之前要分析哪些数据?

    在为新的网站做SEO的之前也要分析一下网站的各方面综合数据,做好充分的准备也能为日后的工作带来便捷。 1、分析网站的主题和品牌 就像一个商品一样,有自己的主题、品牌,做好了这个品牌…

    2022年3月15日
  • sitemap文件常见问题汇总

    1、如果没有 XML Sitemap,对收录会有影响吗? XML Sitemap 是为了让站点更好地被收录。 特别是当站点内容层次比较深,或者包含许多通过js或提交表单才能获得 U…

    2022年3月15日
  • 蓝天算法详情

    算法名称:蓝天算法算法内容:严厉打击新闻类站点售卖目录发布时间:2016-11-21原文详情: 百度持续打击新闻类站点售卖软文、目录行为,近日百度反作弊团队发现部分新闻类站点售卖目…

    2021年11月5日