搜索引擎是如何进行内容处理的?百度蜘蛛页面处理原理介绍

内容处理即搜索引擎对Spider抓取回来的页面进行处理。处理步骤简单介绍如下。

步骤01要判断该页面的类型

首先要判断该页面的类型是普通网页,还是PDF、Word、Excel等特殊文件文档。如果是普通网页还要判断该网页的类型是普通文本内容、视频内容,还是图片内容。甚至还会对网页是普通文章页还是论坛帖子进行判断,然后有针对性地进行内容处理。

步骤02提取网页的文本信息

当下搜索引擎虽然在努力读取JavaScript、Flash、图片和视频,但是对于普通网页的索引还是以文本为主。此时还会提取页面的Title、Keywords、Description等标签中的内容,虽然一直有信息说Keywords标签已经被主流大型搜索引擎抛弃了,但是经过多人实际测试,至少百度多多少少还是会参考Keywords标签的。

步骤03去除页面噪声

如果该网页是普通网页,则搜索引擎会把与该网页内容无关的广告、导航、链接、图片、登入框、网站版权信息等内容全部剔除掉,只提取出该网页的主体内容。其实目前在这一步中,百度并不会把主体内容之外的东西全部抛弃,相关推荐的内容在一定程度上也会被算作本页的内容,或者是对本页主体内容的补充,也会在搜索排名中有直观的体现。甚至与页面不相干的链接文本也会被保留索引,比如,百度搜索“复制本页链接”向后翻几页,就会看到如图2-7所示的结果。其实“复制本页链接”只存在于这些页面按钮上,但是也被索引了,如图2-8所示。所以搜索引擎的去除噪声,并不是很严格。因此EO人员对于网页主体内容外的推荐内容、链接、链接锚文本等一切元素也要善于利用,而不是随便堆一些不相干的内容。很多人都说SEO需要注重细节,但是这些细节又有多少站长和SEO人员真正地重视、研究和利用了呢?

步骤04去除内容中的停止词

接下来应该是对剩余文本内容的分词处理,然后搜索引擎会剔除掉诸如“得”“的”“啊”“地”“呀”“却”之类的停止词。其实此步骤是存在疑问的,对于普通文章来说,去除这些停止词会有利于搜索引擎对内容进行分词和理解,并且可以减少搜索引擎的计算量。但是在搜索引擎中单独搜索这

些词也是有丰富的搜索结果的,当搜索包含这些词的关键词时,也会有比较丰富的搜索结果,不过会弱化这些停止词对搜索结果的影响,所以搜索引擎在对普通文章的处理中应该会有此步骤,但并不是机械严格去除的,也要看这些词在页面上的作用(搜索引擎在分词的时候也会进行词性识别,同一个词在不同位置词性可能不同)。此处对EO人员的工作并没有太多影响,所以不必深究。经过这些处理后,Spider抓取回来的网页内容就被“洗”干净了,再经过分词处理及去重处理后,搜索引擎就会对已经被初步处理过且有索引价值的网页内容进行正向索引和倒排索引处理了。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1083

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2022年2月21日 上午8:14
下一篇 2022年2月21日 上午9:20

相关推荐

  • 友情链接交换技巧:友情链接锚文本要多样化

    自然的链接,不可能所有链接的锚文本都是相应页面的核心关键词。为了使链接构建显得更加自然,应该设计多样化的锚文本。可以在一开始做友情链接交换的时候就设置几个核心的锚文本,多个核心关键…

    2022年3月19日
  • 如何优化网站长尾关键词?长尾关键词优化方法介绍

    任何一个行业的名称就可看作核心关键词或者主关键词,一般来说这样的关键词都是很热门,优化 难度比较大的。我们就转而对这些词进行有效合理的修饰,这些修饰之后的词一般可称为长尾关键词,需…

    2022年3月15日
  • 百度搜索引擎检索系统概述

    前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这…

    2022年2月1日
  • 飓风算法1.0详情

    算法名称:飓风算法1.0算法内容:严厉打击恶劣采集发布时间:2017-07-04原文详情: 百度搜索于近日推出飓风算法,旨在严厉打击以恶劣采集为内容主要来源的网站,同时百度搜索将从…

    2021年11月5日
  • 烽火算法1.0详情

    原文标题:打击劫持 百度移动搜索推出烽火计划发布日期:2017-02-23 近期,百度移动搜索接到用户举报,在浏览完落地页返回搜索结果页时,会进入到虚假的百度移动搜索结果页,该页面…

    2021年11月5日
  • 百度搜索优质内容指南

    1、导言 一直以来,百度搜索从用户角度出发,不断分析和研究用户需求,努力提升搜索结果的优质体验,期望将最优质的搜索结果返回给搜索用户。 什么样的内容才算优质?什么样的内容才能更好的…

    2021年11月5日
  • 蓝天算法2.0详情

    原文标题:百度升级『蓝天算法』,加强“站点构造目录发布低质内容”识别能力 原文发布日期:2021-07-27 近日,百度搜索技术团队发现“站点构造目录发布低质、虚假等与站点主题无关…

    2022年2月8日
  • 百度搜索引擎抓取系统概述(一)

    编者按:站长朋友们,今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容,今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓…

    2022年2月2日
  • 网站JS代码如何优化

    javascript代码对于网站排名优化同样没有多大影响,但从网站优化的角度来看却是至关重要的一步优化操作,优良的javascript代码可以大幅度提升网页的响应速度! 外链js代…

    2022年3月15日
  • 谷歌SEO:搜索引擎如何对网页进行排名?网站排名原因是什么?

    搜索引擎如何确保当有人在搜索栏中输入查询时,他们会得到相关的结果作为回报?该过程称为排名,或按与特定查询最相关到最不相关对搜索结果进行排序。 为了确定相关性,搜索引擎使用算法、过程…

    2022年2月18日