如何增加蜘蛛爬取以及高价值url的发现!

前言:

本文主要增加蜘蛛爬取以及高价值url发现,而非友链外链操作,也可以称低价值url过滤,从而增加蜘蛛爬取。

蜘蛛是受到抓取系统调度影响的,与站点内容体量有直接关系,但是又不能无节制的爬取,会造成系统调度浪费或被抓取站点容易造成爬取崩溃。

为什么说高价值url而不是高价值内容呢?

主要原因是很多内容蜘蛛并未发现或者发现未爬取的页面,无法获取页面主体内容,无法分析内容价值。

以下则是可以提高蜘蛛抓取的策略。

一、目录树增加蜘蛛爬取

站点结构也是会影响蜘蛛爬取的,通常网站目录结构是由“统一固定目录”或“非统一固定栏目”来承载内容的,当一个站点目录下出现大量,已经蜘蛛抓取的高质量内容,那么这个目录下,未来出现的内容大概率是高质量的,如果这个目录下出现大量低质量或者违规内容,那么蜘蛛大概率放弃爬取。

这也是为什么有些网站个别目录收录很好,有些目录收录差或者不收录的原因。

大家也可能看到很多网站直接根目录下挂所有内容页 /1.html /2.html …… /100000.html

目录结构分辨

目录是由斜杠”/”来分辨的 根目录”/”到最后一个出现的(如下图)

https://zhidao.baidu.com /question/ 371203564961799932.html

————————— ———– —————————–

站点域名 目录结构 内容文件名

二、页面相关性增加抓取

页面内容的相关性是会增加蜘蛛爬取的,当蜘蛛发现并爬取A页面内容《电脑蓝屏怎么办》,进行页面url分析,如果A页面中子URL集合过多,蜘蛛全部抓取调度系统会导致被爬取站点崩溃和浪费,如果A页面存在B页面《茄子怎么吃》和C页面《如何修复电脑蓝屏》,如果你是蜘蛛或者是用户你会怎么选择B页面和C页面呢?肯定会爬取C页面的,这样A页面URL集合就可以筛选出高质量URL C页面和低质量URL B页面了。


来源:百度搜索资源平台

作者:毕文权

原文链接:http://bbs.zhanzhang.baidu.com/thread-2195930-1-1.html

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=4154

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2023年1月10日 下午5:39
下一篇 2023年3月2日 下午5:34

相关推荐

  • 2022年百度站长平台工具常见问题解析

    开发者们每天都会和资源平台里的一系列工具打交道,平台一直以来也在不断地和大家分享工具使用的注意事项。 今天小编就来和大家分享一下索引量、流量与关键词等工具的常见问题及解析,快来做好…

    2022年2月25日
  • 网站内容建设注意事项

    网站内容建设是一个超大的命题,从宏观上包括网站产品设计制作和用户运营维护,既同时通过内容和用户两个维度提高其在百度搜索引擎中的评价得分。内容建设涉及的部门也很多,除了产品部外,还要…

    2022年12月30日
  • 网站JS代码如何优化

    javascript代码对于网站排名优化同样没有多大影响,但从网站优化的角度来看却是至关重要的一步优化操作,优良的javascript代码可以大幅度提升网页的响应速度! 外链js代…

    2022年3月15日
  • 百度搜索优质内容指南

    1、导言 一直以来,百度搜索从用户角度出发,不断分析和研究用户需求,努力提升搜索结果的优质体验,期望将最优质的搜索结果返回给搜索用户。 什么样的内容才算优质?什么样的内容才能更好的…

    2021年11月5日
  • 什么是网站权重?什么样的网站权重高?

    本篇文章站长博客介绍什么是网站权重?什么样的网站权重高? 权重是一个相对的概念,即对于统一指标而言,A和B相对比哪个更重要。在搜索引擎中一般会体现在具体数字上,比如,在Google…

    2022年2月26日
  • 网站被挂木马与777权限的奥妙

    某天VIP大讲堂微信群里的一位同学说网站被人挂马了,查了半天也查不到原因。艺龙SEO负责人刘明问了一句“是不是技术把linux系统里网站的核心目录设置777文件权限了”,同学查后发…

    2022年2月3日
  • 蓝天算法1.0详情

    百度持续打击新闻源售卖软文、目录行为,近日百度反作弊团队发现部分新闻源站点售卖目录,发布大量低质内容现象仍然存在,此举严重违反新闻源规则,并影响用户搜索体验。针对此情况,百度推出“…

    2022年2月8日
  • 谷歌SEO-LSI 关键词:定义与重要性

    很多人说Latent Semantic Indexing(LSI)关键词可以让谷歌的排名更好,这个是真的吗?又或者这只是另一个SEO的谣言? 通过阅读其他的关于LSI关键词的文章你…

    2022年2月7日
  • 百度智能小程序体验优化指南 2.0

    “体验”对于智能小程序经营、获流等各个方面都有着举足轻重的影响:用户角度,体验影响着用户留存、消费意愿、信任度;规范角度,体验是智能小程序获取各种权益的重要门槛,进而影响流量获取的…

    2022年7月6日 搜索引擎
  • 百度spider介绍

    1. 什么是Baiduspider Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。…

    2022年2月6日