什么是中文分词?搜索引擎是如何进行中文分词的?

本篇文章站长博客为大家介绍什么是中文分词?搜索引擎是如何进行中文分词的?

分词是中文搜索引擎中特有的技术。在英文中以单词为单位,单词之间会有空格,并且每个单词都有特定的意思,计算机很容易理解英文语句的意思。但是中文以字为单位,只有将一句话中所有的字串联起来才能表达一个完整的意思,计算机不能直接把中文分成单个字来理解,所以就需要引入中文分词技术,把一句话切分成一个个有意义的词语来进行理解。比如把“我是一个学生”切分成“我/是/一个/学生”。

搜索引擎面对中文网页时就是这样,靠中文分词来理解网页所描述的内容。其实分词技术的基础就是拥有海量的有意义的词库(词典),搜索引擎会使用自己强大的词库来对网页内容进行拆分,或者是对内容进行机械切割,统计出出现次数最多的词。通过分词就可以使得搜索引擎明白该网页内容是与什么相关的,这会直接决定该网页出现在哪些词的搜索结果中,所以中文分词在SEO工作中也是需要潜心研究的。现在很多SEO人员只是知道有这么个技术,但是对这项技术具体是怎么进行分词的,以及中文分词是怎么运用到EO工作中的还一无所知。

搜索引擎对于中文内容的理解和分词一直都没有太大的进步,所以搜索引擎程序在判断网页内容和关键词的相关性方面的技术,与几年前相比也并没有太大进步。现在常见的中文分词技术有两种:基于词典匹配和基于统计,也有研究基于语义分析的分词方法,但是汉语博大精深,计算机程序暂时还不能很好地支持。

1.基于词典匹配

这种分词技术是使用搜索引擎自己的词典对网页内容进行拆分。按照匹配方向的不同可以分为正向匹配和逆向匹配;按照不同长度优先匹配的不同可以分为最长匹配和最小匹配。常见的三种匹配方法是正向最大匹配(由左到右)、逆向最大匹配(由右到左)和最少切分。

不论使用什么样的匹配方式,都是使用搜索引擎已有的词典,对网页内容进行拆分理解。这种分词方式的准确度取决于词典的完整性和更新情况。如果当一个新词出现时,搜索引擎没

有即时把该词加入到词典中,那么就会影响最终的分词精度。尤其是在网络如此发达的今天,几乎每天都有新词出现。

2.基于统计

这种分词技术不依靠词典,而是对大量文字样本进行分析,然后把相邻出现次数比较多的几个字当成一个词来处理。基于统计的分词方法在一定程度上解决了搜索引擎词典更新的问题,并且有利于消除歧义。

在当前的搜索引擎中文分词中多多少少都会存在着一些难题没有解决,这可能是因为汉语真的太博大精深了,在当下计算机根本不可能完全理解。比如,网络上流传的两句话“以前喜欢一个人,现在喜欢一个人”“以前谁都看不上,现在谁都看不上”,有些人第一眼看到这两句话也不太理解,相信搜索引擎在短期内更不会真正理解这两句话。

搜索引擎会把网页拆分出来的词按照词频进行排序,使用TF-IDF之类的算法以确定该网页主要和哪些词相关,并进行相关度计算。搜索引擎会综合各方面因素来确定当前页面主要描述的内容。分词技术指导EO人员在进行网站内容建设和关键词布局时,可以把一个关键词分成更小的单位进行拆分布局,这样不仅可以加强网页和这个关键词的相关度,也会使得网页匹配出更多的关键词。

如图2-11所示为在百度搜索长尾词“搜索引擎优化公司”,图中自然搜索结果的第一和第三名的网页Title、Description和页面内容都没有完整出现“搜索引擎优化公司”这个词,但是依然拥有比较不错的排名。

例如:百度网页搜索把“搜索引擎优化公司”分别匹配。切割成了“搜索引擎优化”“公司”和“搜索引擎优化”“优化公司”,来进行相关度计算。在后面的搜索结果中还有很多网页都完整地出现了“搜索引擎优化公司”这个词,但是并没有排到理更靠前的位置。可见如果中文分词用得好,会为网页额外增加大量可以匹配的关键词,这样就可以使网站整体获得更多的搜索展示机会和流量。

在这个例子中充分体现了分词技术中的正向最大匹配、逆向最大匹配及最少切分的规律。如前面所述很多SEO人员知道有中文分词这么回事,但是并不知道怎么运用。如果你还没有研究过中文分词,那么现在就开始详细研究吧,有不懂的问题就百度一下,会有很多详细的介绍资料。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1112

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(1)
上一篇 2022年2月22日 上午8:35
下一篇 2022年2月23日 上午8:43

相关推荐

  • 静态url和动态url哪个好?

    很多SEO从业人员在做优化的时候,会考虑到url到底是使用静态还是动态,其实这也是一个不大不小的问题,笔者有时候在做站的时候也会考虑一下,下面笔者就来跟大家分享一下自己的经验。 W…

    2022年3月15日
  • 友情链接交换技巧:友情链接锚文本要多样化

    自然的链接,不可能所有链接的锚文本都是相应页面的核心关键词。为了使链接构建显得更加自然,应该设计多样化的锚文本。可以在一开始做友情链接交换的时候就设置几个核心的锚文本,多个核心关键…

    2022年3月19日
  • 谷歌seo入门指南第六章:搜索引擎优化技术

    重要的是要确保没有技术上的障碍阻止

    2022年1月11日
  • 百度搜索网页标题规范

    对搜索用户来说,标题是一个网页最直观的认知渠道和展现方式,也是吸引用户点击搜索结果进入落地页的关键因素。 为了保障搜索用户对所需资源的有效获取,保证搜索结果的公平性,现百度搜索对外…

    2021年11月5日
  • 网站导航优化注意事项?如何优化网站导航?

    网站导航的本职作用是引导用户和Spider更好地浏览网站内容。常见的网站导航有主导航、多级导航、底部导航和面包屑导航等。这些导航链接在SEO中,不仅可以引导用户和Spider测览全…

    2022年3月7日
  • 网站不收录原因分析——百度spider抓取篇

    目前百度spider抓取新链接的途径有两个,一是主动出击发现抓取,二就是从搜索资源平台的链接提交工具中获取数据,其中通过主动推送功能“收”上来的数据最受百度spider的欢迎。对于…

    2022年12月30日
  • 如何建设网站外链?增加网站外链的方法?

    首先教大家认识一下什么是高质量外链,依据笔者多年的经验来看,高质量外链是指外链网站权重高,站点相关性好,导出链接少……俗话说内容为王,外链为皇,皇又比王重要,可见外链的重要性。而高…

    2022年3月15日
  • 【开发者分享系列】SEO用户需求分析

    文章作者:社区版主——毕文权   这篇内容不太适合无脑采集”梭哈”的站点,不过也有一定参考性!百度公开课的历史内容基本要差不多了,还有几个老课程没看,可能会…

    2023年1月10日
  • 百度搜索内容质量白皮书

    百度搜索在中文用户信息获取上发挥了不可替代的作用,用户体验直接影响搜索整体满意度。百度搜索内容质量白皮书将以连载的方式,陆续将如何做好网站建设、网站优化发布出来,以此来与网站一起为…

    2022年1月30日
  • 蓝天算法2.0详情

    原文标题:百度升级『蓝天算法』,加强“站点构造目录发布低质内容”识别能力 原文发布日期:2021-07-27 近日,百度搜索技术团队发现“站点构造目录发布低质、虚假等与站点主题无关…

    2022年2月8日