网站不收录原因分析——百度spider抓取篇

目前百度spider抓取新链接的途径有两个,一是主动出击发现抓取,二就是从搜索资源平台的链接提交工具中获取数据,其中通过主动推送功能“收”上来的数据最受百度spider的欢迎。对于站长来说,如果链接很长时间不被收录,建议尝试使用主动推送功能,尤其是新网站,主动推送首页数据,有利于内页数据的抓取。

那么同学们要问了,为什么我提交了数据还是迟迟在线上看不到展现呢?那涉及的因素可就多了,在spider抓取这个环节,影响线上展现的因素有:

1、网站封禁。你别笑,真的有同学一边封禁着百度蜘蛛,一边向百度狂交数据,结果当然是无法收录。

2、质量筛选。百度spider进入3.0后,对低质内容的识别上了一个新台阶,尤其是时效性内容,从抓取这个环节就开始进行质量评估筛选,过滤掉大量过度优化等页面,从内部定期数据评估看,低质网页比之前下降62%。

3、抓取失败。抓取失败的原因很多,有时你在办公室访问完全没有问题,百度spider却遇到麻烦,站点要随时注意在不同时间地点保证网站的稳定性。

4、配额限制。虽然我们正在逐步放开主动推送的抓取配额,但如果站点页面数量突然爆发式增长,还是会影响到优质链接的抓取收录,所以站点在保证访问稳定外,也要关注网站安全,防止被黑注入。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=3899

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2022年12月30日 下午2:27
下一篇 2022年12月30日 下午2:31

相关推荐

  • 烽火算法2.0详情

    算法名称:烽火算法2.0算法内容:严厉打击恶意劫持发布时间:2018-05-17原文详情: 一直以来,百度搜索对于危害用户隐私、恶意劫持站点的行为态度坚定,一经发现一律严惩。201…

    2021年11月5日
  • 如何增加蜘蛛爬取以及高价值url的发现!

    前言: 本文主要增加蜘蛛爬取以及高价值url发现,而非友链外链操作,也可以称低价值url过滤,从而增加蜘蛛爬取。 蜘蛛是受到抓取系统调度影响的,与站点内容体量有直接关系,但是又不能…

    2023年1月31日
  • 索引量和site数据的差别及含义,site结果和网站索引量一样吗?

    百度索引量是百度站长平台推出的查询网站真实索引量的工具。在第8章也会有所提及,这里配合site来讨论一下百度索引量的数据。百度在多个地方都在提醒site指令得到的“收录量”并不是真…

    2022年3月1日
  • 白皮书5.0解读—如何合理设置展开全文功能

    导读:2020年3月,百度发布了《百度APP移动搜索落地页体验白皮书5.0》。白皮书5.0发布后,收到许多开发者关于体验规范的反馈建议,针对开发者集中关心的规范问题,百度搜索将推出…

    2022年12月30日
  • 百度搜索下载站质量规范

    百度搜索一直致力于为用户提供安全、便捷、高效的搜索体验,资源下载作为搜索用户的重要需求之一,更是我们关注的重点。下载站,是指以提供用户软件(PC 端软件、移动端app)下载服务为主…

    2021年11月5日
  • 关键词出现位置及次数介绍

    URL中出现关键词(英文) 网页标题中出现关键词(1-3个) 关键词标签中出现关键词(1-3个) 描述标签中出现关键词(主关键词重复2次) 内容中自然出现关键词 内容第一段和最后一…

    2022年3月15日
  • 网站误封robots该如何处理

    robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。很多站长同学在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不…

    2022年3月15日
  • 什么是次导航?次导航如何优化?

    次导航:在网站的页脚,用首页的目标关键词打上锚文本指向给首页。目的是增加目标关键词的内链,提高URL的权重。 一句话次导航:编辑一句完整话语,在里面出现多个关键词,给每个关键词添上…

    2022年3月15日
  • 移动网页兼容性问题

    近期针对移动页面兼容性问题,百度内部做了专项数据评估和分析,发现一些网站的移动端页面在操作系统的不同版本下,页面浏览效果有较大差异,有些版本下存在排版异常、页面功能失效、页面不美观…

    2022年1月28日
  • Canonical标签是什么?Canonical标签如何使用?

    大家如有留意,在百度搜索中搜索某些关键词,经常会出现网站列表或文章分页的非第一页出现在搜索结果中,第一页却无影无踪的情况。相信普通搜索用户对此也会不满,常常需要点击搜索结果后,再点…

    2022年3月10日