经常被采集的技术层面处理方法

小站新站被采集,自己网站没收录或者没排名,被权重网站采集,而变成了别人的嫁衣,反馈又没有实质性可以证明自己的内容。注意:即使按照下面的说法做也无法杜绝采集,毕竟防君子不防小人。

优化层面

1、添加内容时候增加一些,能代表自己的东西“XXX网提示” “XXX提醒”,品牌词的变种词“百度知道”变成“bai度了解”“佰镀知道”,对方采集没有及时替换的情况下,反馈可以充当证据,不要说内容是自己原创的他人采集为什么算他的,没有实际证据的情况,也可能你采集他人的把时间给修改提前了。

2、给图片增加水印。

技术层面

被采集站点必须有最新入口,才会被采集者采集到最新且没有收录的内容,我们只要考虑,新内容不被采集到的,等新内容收录之后,在放出来,它采集意义也不大。

1、延时更新首页,首页尽可能不要实时更新,几天一更新,网站把蜘蛛养起来之后首页就可以更新不那么勤快了,举例百度经验,百度知道 首页根本没有最新内容。

2、延时更新列表,和首页道理一样,只要做好主动推送和sitemap就不用考虑首页列表引导蜘蛛进入到最新内容里。

3、限制列表页数,限制5-10页,没有用户翻几十页上百页的。正常用户都是有需求才来,我的网站就限制十页,百度经验限制3页,还不是最新内容。

4、限制用户列表页面展示内容数量。

5、内容页链接尽可能无规则,避免使用递增有规律的url,假如链接有规律递增,采集者不需要最新入口都可以采集最新内容,使用百度近一周收录获取到最新链接进行递增。

举例: htt ps://jin gyan.baidu.com/article/1.html

htt ps://jin gyan.baidu.com/article/2.html

以此类推

htt ps://jing yan.baidu.com/article/99999999.html

爱奇艺、腾讯视频、链接无规则,就很难采集。

一般提交内容,后台就会生成静态页面,只要把静态页提交给百度就好。

我常用的这些办法就是以上这些,完全屏蔽不了,采集者甚至用代理IP抓相关内容爬搜索结果页来采集你。

不建议新站这么操作,等到蜘蛛稳定爬取了,还可以偷偷懒,偷懒更新不一定是坏事,让勤快的采集者无路可走。

注:动态站你也可以选择调用几天前的数据。提前做好sitemap主动api推送等操作。

限制访客IP的通常做法我就不说了,大家可以百度。


内容来源:百度站长论坛

原文链接:http://bbs.zhanzhang.baidu.com/thread-2191267-1-1.html

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=4119

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2023年1月10日 下午5:33
下一篇 2023年1月31日 上午11:48

相关推荐

  • 百度APP移动搜索落地页体验白皮书5.0

    原文标题:百度APP移动搜索落地页体验白皮书5.0最新更新章节:2020-03-19 1.导言 2.面向对象 3.名词解释 4.落地页体验规范   4.1. 信息获取规范 4.1….

    2021年11月5日
  • 百度搜索算法全解析

    上周的百度搜索线上直播课《开发者避雷指南》之搜索算法全解析,你看了吗?直播中,百度搜索产品经理结合理论与案例详细解读了百度搜索网站质量规范和搜索算法中的常见违规行为,供广大开发者参…

    2022年12月30日
  • 网站导航如何优化?网站导航优化注意事项

    导航结构的作用: 网站号航主题是引导用户访间指定的网站菜单、栏目、内容等。一个合理的网站导购也是权重互传的重要途径。导航结构越清晰,越有利于用户在短时间内找到自己喜欢的内容。 网站…

    2022年3月15日
  • SEO常见网站流量数据统计指标及名词介绍

    流量统计中会有各种数据来反映网站当前的流量状况,功能越强大的流量统计工具就拥有越丰富的数据,比如GA有儿十个流量报表,母个报表都有着特定的作用。由于SE的工作就是尽力把搜索引擎上的…

    2022年3月10日
  • site结果排序和权重的关系

    在交换友情链接时,站长和SEO人员一般都习惯在搜索引擎中,使用site指令查看一下对方首页是不是在第一位,来判断对方网站是不是被降权了。百度官方对外解答时说“site指令的结果排序…

    2022年2月28日
  • 10个网站URL优化技巧

    URL如何来优化?这是许多SEOER们一直在讨论的问题,因为优化好我们的Url将会有利于给我们网站的优化,而如何优化URL更符合我们的SEO策略呢,对于SEO而言,URL的好坏将直…

    2022年3月15日
  • 百度搜索基础信息设置规范

    一、导言 对于开发者们而言,站点和智能小程序在搜索结果页的展现内容与形式,是吸引用户点击搜索结果访问站点的重要因素。百度搜索会基于网站和小程序的设置,提取对搜索用户有价值的信息展现…

    2022年7月6日 搜索引擎
  • 如何增加蜘蛛爬取以及高价值url的发现!

    前言: 本文主要增加蜘蛛爬取以及高价值url发现,而非友链外链操作,也可以称低价值url过滤,从而增加蜘蛛爬取。 蜘蛛是受到抓取系统调度影响的,与站点内容体量有直接关系,但是又不能…

    2023年1月31日
  • 飓风算法2.0详情及算法解读

    算法名称:飓风算法2.0算法内容:打击恶劣采集行为发布时间:2018-09-13原文详情: 为了营造良好的搜索内容生态,保护搜索用户的阅读浏览体验,保障优质内容生产方在百度搜索中的…

    2021年11月5日
  • 请问百度对新站点有流量加持政策吗

    请问百度对新站点有流量加持政策吗 问题:我是做淘宝 阿里的,所以关注 对新产品 新站点的一些流量加持政策,不知道搜索引擎有对新站点的流量加持政策么? 答案:有扶持,备案的新站有扶持…

    2022年7月6日