什么是网页去重原理?搜索引擎是如何去重的?

本篇文章站长博客为大家介绍什么是网页去重原理?搜索引擎是如何去重的?

在互联网如此发达的今天,同一资料会在多个网站发布,同一新闻会被大部分媒体网站报道,再加上小站长和EO人员孜孜不倦地网络采集,造成了网络上拥有大量的重复信息。然而当用户搜索某个关键词时,搜索引擎必定不想呈现给用户的搜索结果都是相同的内容。抓取这些重复的网页,在一定意义上就是对搜索引擎自身资源的浪费,因此去除重复内容的网页也成了搜索引擎所面临的一大问题。

在一般的搜索引擎架构中,网页去重一般在Spider抓取部分就存在了,“去重”步骤在整个搜索引擎架构中实施得越早,越可以节约后续处理系统的资源使用。搜索引擎一般会对已经抓取过的重复页面进行归类处理,比如,判断某个站点是否包含大量的重复页面,或者该站点是否完全采集其他站点的内容等,以决定以后对该站点的抓取情况或是否直接屏蔽抓取。

去重的工作一般会在分词之后和索引之前进行(也有可能在分词之前),搜索引擎会在页面已经分出的关键词中,提取部分具有代表性的关键词,然后计算这些关键词的“指纹”。每一个网页都会有个这样的特征指纹,当新抓取的网页的关键词指纹和已索引网页的关键词指纹有重合时,那么该新网页就可能会被搜索引擎视为重复内容而放弃索引。

实际工作中的搜索引擎,不仅仅使用分词步骤所分出的有意义的关键词,还会使用连续切割的方式提取关键词,并进行指纹计算。连续切割就是以单个字向后移动的方式进行切词,比如,“百度开始打击买卖链接”会被切成“百度开”“度开始”“开始打”“始打击”“打击买”“击买卖”“买卖链”“卖链接”。然后从这些词中提取部分关键词进行指纹计算,参与是否重复内容的对比。这只是搜索引擎识别重复网页的基本算法,还有很多其他对付重复网页的算法。

因此网络上流行的大部分伪原创工具,不是不能欺骗搜索引擎,就是把内容做得鬼都读不通,所以理论上使用普通伪原创工具不能得到搜索引擎的正常收录和排名。但是由于百度并不是对所有的重复页面都直接抛弃不索引,而是会根据重复网页所在网站的权重适当放宽索引标

准,这样使得部分作弊者有机可乘,利用网站的高权重,大量采集其他站点的内容获取搜索流量。不过自2012年6月份以来,百度索多次升级算法,对采集重复信息、垃圾页面进行了多次重量级的打击。所以O在面对网站内容时,不应该再以伪原创的角度去建设,而需要以对

用户有用的角度去建设,然后者的内容不一定全部是原创,一般如果网站权重没有大问题,都会得到健康的发展。关于原创问题,本书后续会在第12章进行详细讨论。

另外,不仅仅是搜索引擎需要“网页去重,自己做网站也需要对站内页面进行去重。比如分类信息、B2B平合等UGC类的网站,如果不加以限制,用户所发布的信息必然会有大量的重复,这样不仅在SEO方面表现不好,站内用户体验也会降低很多。又如SEO人员在设计流量产品大批量产生页面时,也需要做一个重复过滤,否则就会大大降低产品质量。O人员所设计的流量产品常见的一般为以“聚合”为基础的索引页、专题页或目录页,“聚合”就必须有核心词,不加以过滤,海量核心词所扩展出来的页面就可能会有大量重复,从而导致该产品效果不佳,甚至会因此被搜索引擎降权。

“去重”算法的大概原理一般就如上所述,有兴趣的朋友可以了解一下I-Match、Shingle、SimHash及余弦去重具体算法。搜索引擎在做“网页去重”工作之前首先要分析网页,内容周围的“噪声”对去重结果多少会有影响,做这部分工作时只对内容部分操作就可以了,相对来说会简单很多,并且可以很有效地辅助产出高质量的“$EO产品”。

作为SEO人员只要了解实现原理就可以了,具体在产品中的应用,需要技术人员来实现。此外还涉及效率、资源需求等问题,并且根据实际情况“去重”工作也可以在多个环节进行(比如对核心词的分词环节),EO人员只要稍微了解一些原理,能够为技术人员建议几个方向就很不错了(技术人员并不是万能的,也有不熟悉、不擅长的领域,在特定时刻也需要别人提供思路)。如果EO人员能在这些方面和技术人员进行深入的交流,技术人员也会对SEO另眼相看,至少不会再认为“SEO人员就只会提改标题、改链接、改文字之类‘无聊’的需求”了。

本文作者:站长派,如若转载,请注明出处:https://zhanzhangpai.com/?p=1118

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2022年2月23日 上午8:43
下一篇 2022年2月23日 上午8:48

相关推荐

  • 什么是索引?索引和排名的关系?

    本篇文章站长博客为大家介绍什么是索引?索引和排名的关系? 搜索引擎中使用的是倒排索引,有不少朋友并不理解什么叫倒排索引。这里先来介绍一下正向索引。当用户进行查询时,如果对本地文件全…

    2022年2月23日
  • SEO的原始含义及现实含义?SEO和SEM的关系介绍

    本片内容站长博客为大家介绍SEO的原始含义及现实含义?SEO和SEM的关系介绍 在《百度搜索引擎优化指南》中,关于sEO的定义是:搜索引擎优化(Search EngineOptim…

    2022年2月21日
  • 蓝天算法1.0详情

    百度持续打击新闻源售卖软文、目录行为,近日百度反作弊团队发现部分新闻源站点售卖目录,发布大量低质内容现象仍然存在,此举严重违反新闻源规则,并影响用户搜索体验。针对此情况,百度推出“…

    2022年2月8日
  • 网站内链优化注意事项?内链优化原则?

    网站优化不外乎两点,站外优化和站内优化,而站内优化中,以内链优化最为重要,那么内链优化中有什么是需要引起我们的注意呢? 1、相关性的内页之间需要进行链接 相关性不管在外链亦或是内链…

    2022年3月15日
  • 什么是导航类关键词?导航类关键词有哪些分类?

    在SEO中关键词研究是必要的,所以本文就介绍一下什么是导航类关键词?导航类关键词有哪些分类? 导航类关键词是指用户想去特定的网站,但是记不起该网站的网址或者懒得在地址栏输入网址时所…

    2022年3月4日
  • 网站服务器空间选多大的合适?

    网站服务器空间选多大的合适? 网站服务器空间选多大的合适?相信很多人经常听到过电脑或手机的空间的不足,却很少听到服务器的空间不足。其实,服务器空间和手机的内存一样,是存放文件和资料…

    2022年4月7日
  • 谷歌SEO:哪些内容容易被搜索引擎判定为垃圾内容

    稀薄的内容 虽然网站通常拥有不同主题的独特页面,但较旧的内容策略是为关键字的每次迭代创建一个页面,以便针对那些高度具体的查询在第 1 页上排名。 例如,如果您销售婚纱,您可能已经为…

    2022年2月20日
  • Canonical标签是什么?Canonical标签如何使用?

    大家如有留意,在百度搜索中搜索某些关键词,经常会出现网站列表或文章分页的非第一页出现在搜索结果中,第一页却无影无踪的情况。相信普通搜索用户对此也会不满,常常需要点击搜索结果后,再点…

    2022年3月10日
  • 10个重要的谷歌seo排名因素详解

    大多数 Google 排名因素的列表都过于冗长了。他们专注于穷举出所有的——而不是真正有意义的——排名因素。 更糟糕的是,因为没有人了解所有的排名因素,其中的大部分都包含了许多迷思…

    2022年1月13日
  • 什么是中文分词?搜索引擎是如何进行中文分词的?

    本篇文章站长博客为大家介绍什么是中文分词?搜索引擎是如何进行中文分词的? 分词是中文搜索引擎中特有的技术。在英文中以单词为单位,单词之间会有空格,并且每个单词都有特定的意思,计算机…

    2022年2月22日