经常被采集的技术层面处理方法

小站新站被采集,自己网站没收录或者没排名,被权重网站采集,而变成了别人的嫁衣,反馈又没有实质性可以证明自己的内容。注意:即使按照下面的说法做也无法杜绝采集,毕竟防君子不防小人。

优化层面

1、添加内容时候增加一些,能代表自己的东西“XXX网提示” “XXX提醒”,品牌词的变种词“百度知道”变成“bai度了解”“佰镀知道”,对方采集没有及时替换的情况下,反馈可以充当证据,不要说内容是自己原创的他人采集为什么算他的,没有实际证据的情况,也可能你采集他人的把时间给修改提前了。

2、给图片增加水印。

技术层面

被采集站点必须有最新入口,才会被采集者采集到最新且没有收录的内容,我们只要考虑,新内容不被采集到的,等新内容收录之后,在放出来,它采集意义也不大。

1、延时更新首页,首页尽可能不要实时更新,几天一更新,网站把蜘蛛养起来之后首页就可以更新不那么勤快了,举例百度经验,百度知道 首页根本没有最新内容。

2、延时更新列表,和首页道理一样,只要做好主动推送和sitemap就不用考虑首页列表引导蜘蛛进入到最新内容里。

3、限制列表页数,限制5-10页,没有用户翻几十页上百页的。正常用户都是有需求才来,我的网站就限制十页,百度经验限制3页,还不是最新内容。

4、限制用户列表页面展示内容数量。

5、内容页链接尽可能无规则,避免使用递增有规律的url,假如链接有规律递增,采集者不需要最新入口都可以采集最新内容,使用百度近一周收录获取到最新链接进行递增。

举例: htt ps://jin gyan.baidu.com/article/1.html

htt ps://jin gyan.baidu.com/article/2.html

以此类推

htt ps://jing yan.baidu.com/article/99999999.html

爱奇艺、腾讯视频、链接无规则,就很难采集。

一般提交内容,后台就会生成静态页面,只要把静态页提交给百度就好。

我常用的这些办法就是以上这些,完全屏蔽不了,采集者甚至用代理IP抓相关内容爬搜索结果页来采集你。

不建议新站这么操作,等到蜘蛛稳定爬取了,还可以偷偷懒,偷懒更新不一定是坏事,让勤快的采集者无路可走。

注:动态站你也可以选择调用几天前的数据。提前做好sitemap主动api推送等操作。

限制访客IP的通常做法我就不说了,大家可以百度。


内容来源:百度站长论坛

原文链接:http://bbs.zhanzhang.baidu.com/thread-2191267-1-1.html

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=4119

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2023年1月10日 下午5:33
下一篇 2023年1月31日 上午11:48

相关推荐

  • 为什么要分析网站日志?

    在给网站做SEO的同时,一定要监测和分析下网站,首先要了解的是各个蜘蛛在抓取目录情况(蜘蛛都是从网站首页往目录先爬取,爬取之后再抓取)、抓取页面情况(从首页爬往目录后再爬到内容页面…

    2022年3月15日
  • 网站URL优化全解析

    一、怎样的URL对搜索引擎友好 1、在搭建网站结构、制作URL时,尽量避开非主流设计,追求简单美即可, 越简单越平常,越好2、不建议URL中含有中文字符,中文字符容易出现识别问题3…

    2021年11月16日
  • 谷歌SEO-如何高效编写完美的元描述?

    元描述是一个 HTML 属性,用于描述页面内容。它可以在搜索结果中以摘录的形式出现在标题标签下方,以提供更多内容。 以下是代码段的外观: <meta name= “descr…

    2022年1月31日
  • 百度搜索打击的违法违规信息概要

    原文标题:关于百度搜索严厉打击虚假诈骗等违法违规信息的公告发布日期:2019-02-27 为了维护安全健康的搜索生态,保障搜索用户的合法权益,百度搜索严厉打击电信网络中的虚假诈骗、…

    2021年11月5日
  • 百度搜索引擎检索系统概述

    前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这…

    2022年2月1日
  • 什么是关键词?如何用关键词做好谷歌SEO?

    关键词是人们在搜索引擎中输入的可以帮助他们找到所需内容的单词和短语。 例如,如果你想买一件新夹克,你可以在Google中输入“mens leather jacket(男士皮夹克)”…

    2022年1月17日
  • 如何建立关键词词库?网站关键词库建立步骤

    关键词的重要性笔者觉得再说就无力了,海量长尾关键词是带来有效流量的保证。笔者就自己的经验来跟大家说说笔者是如何挑选关键词的。 1、初始挑选 首先根据网站定位来挑选关键词,找到适合自…

    2022年3月15日
  • 什么是次导航?次导航如何优化?

    次导航:在网站的页脚,用首页的目标关键词打上锚文本指向给首页。目的是增加目标关键词的内链,提高URL的权重。 一句话次导航:编辑一句完整话语,在里面出现多个关键词,给每个关键词添上…

    2022年3月15日
  • 如何建设网站外链?增加网站外链的方法?

    首先教大家认识一下什么是高质量外链,依据笔者多年的经验来看,高质量外链是指外链网站权重高,站点相关性好,导出链接少……俗话说内容为王,外链为皇,皇又比王重要,可见外链的重要性。而高…

    2022年3月15日
  • 什么是C位直达?如何参加C位直达?

    C位直达是百度搜索和百家号联合推出的内容生产计划,激励百家号优质创作者对搜索高频稀缺问题进行定向内容创作,创作者认领词包之后发布内容和摘要,搜索审核通过后即可解锁五大权益激励哦! …

    2022年12月6日