百度分词技术就是百度针对用户提交查询的关键词串进行的查询处理后根据用户的关键词串用各种匹配方法进行的一种技术。所谓分词就是把字与字连在一起的汉语句子分成若干个相互独立、完整、正确的单词。词是最小的、能独立活动的、有意义的语言成分。



从百度搜索引擎优化的角度来看,如果分词技术可以运用恰当,可以使你的网站优化更上一层楼,其实分词原理很简单,就是当用户输入查询关键词的时候可以给用户匹配相关准确输出结果,同时也是百度所追求的用户友好度体验。


如果可以很好的掌握百度分词技术就可以实现网站关键词的定位,而且可以罗列出长尾关键词,从而带动网站更好的优化,引来更多的流量,百度分词技术比谷歌分词先进的原因是百度有一个巨大的词库,包含了人名、地名、企业名等,同时有正向的匹配和反向匹配,以较短的路径满足用户的搜索需求。


百度分词主要是以词义、词语、词频的方式满足搜索引擎对词语的抓取,具体的分词原理分为这三大部分:


一、字符串匹配分词方法


细分为是正向匹配法、反向匹配法、短路径分词法等。


1、正向匹配法


正向匹配法主要是结合我们长期写字的方式,将一个词或者一句话从左向右来分词,例如:“一个学生在教室上自习”,这一句话的正向匹配法就是一个,学生,正在,教室,上,自习,主要采用从左向右的匹配方法。


2、反向匹配法


反向匹配法与正向匹配法刚好相反,例如:“一个学生在教室上自习”主要是将学生,正在,教室,上,自习利用反向匹配法从右向左区分。


3、较短路径分词法


其实就是一段话中需要分出来的词数比较少,尽可能将一句话分成几个词来区分,也有特殊情况,就是将正向匹配、反向匹配、短路径匹配三者结合起来组成的分词方法,例如正向最大匹配与反向最大匹配组合起来就叫做双向最大匹配法。



二、词义分词方法


词义分词方法就是利用一种机器语言来判断的分词方式,进行句法、语义分析,借助语法信息和语义信息作出判断处理歧义的现象,目前这样的方法在百度中还不算成熟。



三、统计分析方法


统计分析主要是在人工标注与统计特征下进行的,对于中文进行建立模型,在分词阶段通过模型来计算分词出现的概率,能够将概率的结果作为最后的筹码,比较常见的序列模型有HMM和CRF。


优势是可以很好的处理歧义和不能登录词的问题,效果比字符串匹配效果要好。


劣势是可能需要大量的人工标注,速度会相对比较慢。


因为相邻的字同时出现的次数较多,就越有可能组成一个词语,所以字与词相邻部分出现的几率可以很好地反应词语的可信度。


也可以对语料中临边出现的各个字的组合频度进行统计,预算出他们的共同信息,从而定义这些信息,计算这个词之间相邻的出现的概率。


从形式上看,词是稳定的字的组合,因此在上下文中,相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。在做百度分词分析的过程中,不论是标题TItle分词,还是首页相关关键词设置,我们都不可以随意使用百度搜索的任意一个关键词,因为你会发现首页标题能利用百度搜索引擎切除相关关键词排名靠前。