什么是中文分词?搜索引擎是如何进行中文分词的?

本篇文章站长博客为大家介绍什么是中文分词?搜索引擎是如何进行中文分词的?

分词是中文搜索引擎中特有的技术。在英文中以单词为单位,单词之间会有空格,并且每个单词都有特定的意思,计算机很容易理解英文语句的意思。但是中文以字为单位,只有将一句话中所有的字串联起来才能表达一个完整的意思,计算机不能直接把中文分成单个字来理解,所以就需要引入中文分词技术,把一句话切分成一个个有意义的词语来进行理解。比如把“我是一个学生”切分成“我/是/一个/学生”。

搜索引擎面对中文网页时就是这样,靠中文分词来理解网页所描述的内容。其实分词技术的基础就是拥有海量的有意义的词库(词典),搜索引擎会使用自己强大的词库来对网页内容进行拆分,或者是对内容进行机械切割,统计出出现次数最多的词。通过分词就可以使得搜索引擎明白该网页内容是与什么相关的,这会直接决定该网页出现在哪些词的搜索结果中,所以中文分词在SEO工作中也是需要潜心研究的。现在很多SEO人员只是知道有这么个技术,但是对这项技术具体是怎么进行分词的,以及中文分词是怎么运用到EO工作中的还一无所知。

搜索引擎对于中文内容的理解和分词一直都没有太大的进步,所以搜索引擎程序在判断网页内容和关键词的相关性方面的技术,与几年前相比也并没有太大进步。现在常见的中文分词技术有两种:基于词典匹配和基于统计,也有研究基于语义分析的分词方法,但是汉语博大精深,计算机程序暂时还不能很好地支持。

1.基于词典匹配

这种分词技术是使用搜索引擎自己的词典对网页内容进行拆分。按照匹配方向的不同可以分为正向匹配和逆向匹配;按照不同长度优先匹配的不同可以分为最长匹配和最小匹配。常见的三种匹配方法是正向最大匹配(由左到右)、逆向最大匹配(由右到左)和最少切分。

不论使用什么样的匹配方式,都是使用搜索引擎已有的词典,对网页内容进行拆分理解。这种分词方式的准确度取决于词典的完整性和更新情况。如果当一个新词出现时,搜索引擎没

有即时把该词加入到词典中,那么就会影响最终的分词精度。尤其是在网络如此发达的今天,几乎每天都有新词出现。

2.基于统计

这种分词技术不依靠词典,而是对大量文字样本进行分析,然后把相邻出现次数比较多的几个字当成一个词来处理。基于统计的分词方法在一定程度上解决了搜索引擎词典更新的问题,并且有利于消除歧义。

在当前的搜索引擎中文分词中多多少少都会存在着一些难题没有解决,这可能是因为汉语真的太博大精深了,在当下计算机根本不可能完全理解。比如,网络上流传的两句话“以前喜欢一个人,现在喜欢一个人”“以前谁都看不上,现在谁都看不上”,有些人第一眼看到这两句话也不太理解,相信搜索引擎在短期内更不会真正理解这两句话。

搜索引擎会把网页拆分出来的词按照词频进行排序,使用TF-IDF之类的算法以确定该网页主要和哪些词相关,并进行相关度计算。搜索引擎会综合各方面因素来确定当前页面主要描述的内容。分词技术指导EO人员在进行网站内容建设和关键词布局时,可以把一个关键词分成更小的单位进行拆分布局,这样不仅可以加强网页和这个关键词的相关度,也会使得网页匹配出更多的关键词。

如图2-11所示为在百度搜索长尾词“搜索引擎优化公司”,图中自然搜索结果的第一和第三名的网页Title、Description和页面内容都没有完整出现“搜索引擎优化公司”这个词,但是依然拥有比较不错的排名。

例如:百度网页搜索把“搜索引擎优化公司”分别匹配。切割成了“搜索引擎优化”“公司”和“搜索引擎优化”“优化公司”,来进行相关度计算。在后面的搜索结果中还有很多网页都完整地出现了“搜索引擎优化公司”这个词,但是并没有排到理更靠前的位置。可见如果中文分词用得好,会为网页额外增加大量可以匹配的关键词,这样就可以使网站整体获得更多的搜索展示机会和流量。

在这个例子中充分体现了分词技术中的正向最大匹配、逆向最大匹配及最少切分的规律。如前面所述很多SEO人员知道有中文分词这么回事,但是并不知道怎么运用。如果你还没有研究过中文分词,那么现在就开始详细研究吧,有不懂的问题就百度一下,会有很多详细的介绍资料。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1112

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(1)
上一篇 2022年2月22日 上午8:35
下一篇 2022年2月23日 上午8:43

相关推荐

  • 如何建立关键词之间的联系?

    对于部分网站可能并不需要为挖掘来的关键词建立相关关系,只需要把关键词分布到网站中就可以了。但是关键词之间的相关关系一般可以辅助指导网站内链的布局,所以架构比较大、内容比较多的网站,…

    2022年3月8日
  • site结果排序和权重的关系

    在交换友情链接时,站长和SEO人员一般都习惯在搜索引擎中,使用site指令查看一下对方首页是不是在第一位,来判断对方网站是不是被降权了。百度官方对外解答时说“site指令的结果排序…

    2022年2月28日
  • 百度绿萝算法1.0详情

    作者:百度网页搜索反作弊团队 发布时间:2013年2月19日 亲爱的站长朋友们: 大家好! 三个多月前,我们与各位站长朋友分享了百度对超链作弊的态度,经过一段时间的观察和数据积累,…

    2022年2月8日
  • 说说劫持的那些事

    网络安全日益严峻,站长朋友们多多少少都遇到过被黑被劫持的经历,对于老老实实做人,认认真真做站的朋友来说,好不容易做出了一点成绩,一劫持就又回到解放前了,本期我们一起来探讨常见的网站…

    2022年1月29日
  • 什么是网页去重原理?搜索引擎是如何去重的?

    本篇文章站长博客为大家介绍什么是网页去重原理?搜索引擎是如何去重的? 在互联网如此发达的今天,同一资料会在多个网站发布,同一新闻会被大部分媒体网站报道,再加上小站长和EO人员孜孜不…

    2022年2月23日
  • 百度搜索引擎抓取系统概述(二)

    编者按:之前与大家分享了关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程的内容,今天将于大家分享搜索引擎抓取系统第二部分内容—spider抓取过程中…

    2022年2月3日
  • 网站被镜像,如何向百度反馈?

    最近收到不少站长反馈被镜像的问题,网站被镜像后,站点流量、关键词都会受到影响,是很多网站深恶痛绝的现象,站长通过禁止正文被粘贴、禁止镜像站IP都无法彻底杜绝被镜像现象。被镜像该如何…

    2022年2月5日
  • 网站长尾关键词的作用是什么?选择要优化长尾关键词?

    现实中的热门关键词只占到网上搜索词的30%左右,而剩下的70%都是长尾词。 研究长尾关键词相关知识,对网站至关重要,长尾词也能给网站带来以下好处: 1、很多长尾都是以问答形式来呈现…

    2022年3月15日
  • 谷歌seo入门指南第四章:页面seo

    您可以在此处优化页面,以帮助搜索引擎理解它们。

    2022年1月11日
  • Spider的抓取策略?搜索引擎是如何抓取网页的?

    本篇文章站长博客介绍Spider的抓取策略?搜索引擎是如何抓取网页的? 在大型搜索引擎Spider的抓取过程中会有很多策略,有时也可能是多种策略综合使用。这里简单介绍一下比较简单的…

    2022年2月22日