什么是中文分词?搜索引擎是如何进行中文分词的?

本篇文章站长博客为大家介绍什么是中文分词?搜索引擎是如何进行中文分词的?

分词是中文搜索引擎中特有的技术。在英文中以单词为单位,单词之间会有空格,并且每个单词都有特定的意思,计算机很容易理解英文语句的意思。但是中文以字为单位,只有将一句话中所有的字串联起来才能表达一个完整的意思,计算机不能直接把中文分成单个字来理解,所以就需要引入中文分词技术,把一句话切分成一个个有意义的词语来进行理解。比如把“我是一个学生”切分成“我/是/一个/学生”。

搜索引擎面对中文网页时就是这样,靠中文分词来理解网页所描述的内容。其实分词技术的基础就是拥有海量的有意义的词库(词典),搜索引擎会使用自己强大的词库来对网页内容进行拆分,或者是对内容进行机械切割,统计出出现次数最多的词。通过分词就可以使得搜索引擎明白该网页内容是与什么相关的,这会直接决定该网页出现在哪些词的搜索结果中,所以中文分词在SEO工作中也是需要潜心研究的。现在很多SEO人员只是知道有这么个技术,但是对这项技术具体是怎么进行分词的,以及中文分词是怎么运用到EO工作中的还一无所知。

搜索引擎对于中文内容的理解和分词一直都没有太大的进步,所以搜索引擎程序在判断网页内容和关键词的相关性方面的技术,与几年前相比也并没有太大进步。现在常见的中文分词技术有两种:基于词典匹配和基于统计,也有研究基于语义分析的分词方法,但是汉语博大精深,计算机程序暂时还不能很好地支持。

1.基于词典匹配

这种分词技术是使用搜索引擎自己的词典对网页内容进行拆分。按照匹配方向的不同可以分为正向匹配和逆向匹配;按照不同长度优先匹配的不同可以分为最长匹配和最小匹配。常见的三种匹配方法是正向最大匹配(由左到右)、逆向最大匹配(由右到左)和最少切分。

不论使用什么样的匹配方式,都是使用搜索引擎已有的词典,对网页内容进行拆分理解。这种分词方式的准确度取决于词典的完整性和更新情况。如果当一个新词出现时,搜索引擎没

有即时把该词加入到词典中,那么就会影响最终的分词精度。尤其是在网络如此发达的今天,几乎每天都有新词出现。

2.基于统计

这种分词技术不依靠词典,而是对大量文字样本进行分析,然后把相邻出现次数比较多的几个字当成一个词来处理。基于统计的分词方法在一定程度上解决了搜索引擎词典更新的问题,并且有利于消除歧义。

在当前的搜索引擎中文分词中多多少少都会存在着一些难题没有解决,这可能是因为汉语真的太博大精深了,在当下计算机根本不可能完全理解。比如,网络上流传的两句话“以前喜欢一个人,现在喜欢一个人”“以前谁都看不上,现在谁都看不上”,有些人第一眼看到这两句话也不太理解,相信搜索引擎在短期内更不会真正理解这两句话。

搜索引擎会把网页拆分出来的词按照词频进行排序,使用TF-IDF之类的算法以确定该网页主要和哪些词相关,并进行相关度计算。搜索引擎会综合各方面因素来确定当前页面主要描述的内容。分词技术指导EO人员在进行网站内容建设和关键词布局时,可以把一个关键词分成更小的单位进行拆分布局,这样不仅可以加强网页和这个关键词的相关度,也会使得网页匹配出更多的关键词。

如图2-11所示为在百度搜索长尾词“搜索引擎优化公司”,图中自然搜索结果的第一和第三名的网页Title、Description和页面内容都没有完整出现“搜索引擎优化公司”这个词,但是依然拥有比较不错的排名。

例如:百度网页搜索把“搜索引擎优化公司”分别匹配。切割成了“搜索引擎优化”“公司”和“搜索引擎优化”“优化公司”,来进行相关度计算。在后面的搜索结果中还有很多网页都完整地出现了“搜索引擎优化公司”这个词,但是并没有排到理更靠前的位置。可见如果中文分词用得好,会为网页额外增加大量可以匹配的关键词,这样就可以使网站整体获得更多的搜索展示机会和流量。

在这个例子中充分体现了分词技术中的正向最大匹配、逆向最大匹配及最少切分的规律。如前面所述很多SEO人员知道有中文分词这么回事,但是并不知道怎么运用。如果你还没有研究过中文分词,那么现在就开始详细研究吧,有不懂的问题就百度一下,会有很多详细的介绍资料。

本文作者:站长派,如若转载,请注明出处:https://zhanzhangpai.com/?p=1112

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(1)
上一篇 2022年2月22日 上午8:35
下一篇 2022年2月23日 上午8:43

相关推荐

  • 谷歌seo入门指南第三章:关键词研究

    seo的出发点是了解目标客户要搜索的内容

    2022年1月10日
  • 谷歌SEO:如何给网站挖掘关键词?

    您可能有一种描述您所做工作的方式,但您的受众如何搜索您提供的产品、服务或信息?回答这个问题是关键字研究过程中至关重要的第一步。 发现关键字 您可能会考虑一些要为其排名的关键字。这些…

    2022年2月19日
  • 网站关键词选择的十大误区

    搜索引擎是网站进行网络营销的重要平台,一方面是通过竞价广告的投放,一方面是针对网站的搜索引擎优化。竞价广告和搜索引擎优化都需要选取关键词,但是在选取关键词中存在了误区,企业往往投放…

    2022年3月15日
  • 如何布局长尾关键词?长尾关键词布局方法

    与网站目标关键词相对应,能带来流量的关键词叫长尾关键词。一般情况下长尾关键词都比较长,有的是两到三个词语组成,甚至是“如何布局长尾关键词”这种,搜索量不多还不稳定,偶尔来两个IP有…

    2022年3月15日
  • 谷歌SEO-LSI 关键词:定义与重要性

    很多人说Latent Semantic Indexing(LSI)关键词可以让谷歌的排名更好,这个是真的吗?又或者这只是另一个SEO的谣言? 通过阅读其他的关于LSI关键词的文章你…

    2022年2月7日
  • 什么是信息类关键词?

    之前的文章中介绍了什么是导航类关键词和什么是事务类关键词?,本文接续介绍什么是信息类关键词? 信息类关键词,即用户在寻找某种信息时所使用的关键词,这种关键词没有明显的购买意向,也不…

    2022年3月5日
  • 蓝天算法2.0详情

    原文标题:百度升级『蓝天算法』,加强“站点构造目录发布低质内容”识别能力 原文发布日期:2021-07-27 近日,百度搜索技术团队发现“站点构造目录发布低质、虚假等与站点主题无关…

    2022年2月8日
  • 如何优化网站URL?怎样的URL更规范?

    RL在搜索引擎的搜索结果中是能显示出来的,在做网站架构前最好对目录及文件命名事先做好规划。在做SEO同时也要注意一下用户体验,URL最好能做到清晰、方便记忆,然后考虑URL对排名的…

    2022年3月15日
  • 免费虚拟主机怎么样?免费虚拟主机好用吗?

    免费虚拟主机怎么样?免费虚拟主机好用吗? 当下其实不管是虚拟主机还是云服务器价格都相对比较便宜,所以大多数用户都会花钱来购买稳定的主机空间。但是仍然有新手想要找一些免费的虚拟主机使…

    2022年4月11日
  • 【SEO问答】SEO如何面试才能拿下高薪offer?

    【SEO问答】SEO如何面试才能拿下高薪offer? 问题背景:最近招聘全栈PHP被迫面了几十人,从面试人变成面试官的视角,内心五味杂全,所以想整理和总结下面试的基本要素。 正式问…

    2022年3月23日