研究分詞技術(shù)的主要目的在于,我們在優(yōu)化一個網(wǎng)站時,不要老把眼睛盯在你的核心關(guān)鍵詞上,通過分詞技術(shù),你可以得到很多與你核心關(guān)鍵詞,重要的是這些詞的競爭度通常會遠(yuǎn)遠(yuǎn)小于你的核心關(guān)鍵詞,通過對這些分詞進(jìn)行網(wǎng)站優(yōu)化,你的核心關(guān)鍵詞將會自然的提升的.

目前主流的網(wǎng)站優(yōu)化分詞算法有以下3種:

1、 基于字符串匹配的分詞方法

這種方法又叫做機(jī)械分詞方法,它是按照一定的策略將待分析的漢字串與一個”充分大的”機(jī)器詞典中的詞條進(jìn)行配,若在詞典中找到某個字符串,則匹配成功(識別出一個詞).按照掃描方向的不同,串匹配分詞方法可以分為正向匹配和逆向匹配;按照不同長度優(yōu)先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配;按照是否與詞性標(biāo)注過程相結(jié)合,又可以分為單純分詞方法和分詞與標(biāo)注相結(jié)合的一體化方法.常用的幾種機(jī)械分詞方法如下:

1)正向最大匹配法(由左到右的方向);

2)逆向最大匹配法(由右到左的方向);

3)最少切分(使每一句中切出的詞數(shù)最小).

還可以將上述各種方法相互組合,例如,可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法.由于漢語單字成詞的特點,正向最小匹配和逆向最小匹配一般很少使用.一般說來,逆向匹配的切分精度略高于正向匹配,遇到的歧義現(xiàn)象也較少.統(tǒng)計結(jié)果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245.但這種精度還遠(yuǎn)遠(yuǎn)不能滿足實際的需要.實際使用的分詞系統(tǒng),都是把機(jī)械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進(jìn)一步提高切分的準(zhǔn)確率.

一種方法是改進(jìn)掃描方式,稱為特征掃描或標(biāo)志切分,優(yōu)先在待分析字符串中識別和切分出一些帶有明顯特征的詞,以這些詞作為斷點,可將原字符串分為較小的串再來進(jìn)機(jī)械分詞,從而減少匹配的錯誤率.另一種方法是將分詞和詞類標(biāo)注結(jié)合起來,利用豐富的詞類信息對分詞決策提供幫助,并且在標(biāo)注過程中又反過來對分詞結(jié)果進(jìn)行檢驗、調(diào)整,從而極大地提高切分的準(zhǔn)確率.

對于機(jī)械分詞方法,可以建立一個一般的模型,在這方面有專業(yè)的學(xué)術(shù)論文,這里不做詳細(xì)論述.

2、 基于理解的分詞方法

這種分詞方法是通過讓計算機(jī)模擬人對句子的理解,達(dá)到識別詞的效果.其基本思想就是在分詞的同時進(jìn)行句法、語義分析,利用句法信息和語義信息來處理歧義現(xiàn)象.它通常包括三個部分:分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分.在總控部分的協(xié)調(diào)下,分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對分詞歧義進(jìn)行判斷,即它模擬了人對句子的理解過程.這種分詞方法需要使用大量的語言知識和信息.由于漢語語言知識的籠統(tǒng)、復(fù)雜性,難以將各種語言信息組織成機(jī)器可直接讀取的形式,因此目前基于理解的分詞系統(tǒng)還處在試驗階段.

3、 基于統(tǒng)計的分詞方法

從形式上看,詞是穩(wěn)定的字的組合,因此在上下文中,相鄰的字同時出現(xiàn)的次數(shù)越多,就越有可能構(gòu)成一個詞.因此字與字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的可信度.可以對語料中相鄰共現(xiàn)的各個字的組合的頻度進(jìn)行統(tǒng)計,計算它們的互現(xiàn)信息.定義兩個字的互現(xiàn)信息,計算兩個漢字X、Y的相鄰共現(xiàn)概率.互現(xiàn)信息體現(xiàn)了漢字之間結(jié)合關(guān)系的緊密程度.當(dāng)緊密程度高于某一個閾值時,便可認(rèn)為此字組可能構(gòu)成了一個詞.這種方法只需對語料中的字組頻度進(jìn)行統(tǒng)計,不需要切分詞典,因而又叫做無詞典分詞法或統(tǒng)計取詞方法.但這種方法也有一定的局限性,會經(jīng)常抽出一些共現(xiàn)頻度高、但并不是詞的常用字組,例如”這一”、”之一”、”有的”、”我的”、”許多的”等,并且對常用詞的識別精度差,時空開銷大.實際應(yīng)用的統(tǒng)計分詞系統(tǒng)都要使用一部基本的分詞詞典(常用詞詞典)進(jìn)行串匹配分詞,同時使用統(tǒng)計方法識別一些新的詞,即將串頻統(tǒng)計和串匹配結(jié)合起來,既發(fā)揮匹配分詞切分速度快、效率高的特點,又利用了無詞典分詞結(jié)合上下文識別生詞、自動消除歧義的優(yōu)點.

那分詞技術(shù)再網(wǎng)站優(yōu)化中有什么幫助呢?

網(wǎng)站優(yōu)化過程中是絕對離不開分詞的技術(shù)作為輔助!

就拿我們的網(wǎng)站優(yōu)化網(wǎng)(www.ce36.cn)來比較看:

(網(wǎng)站優(yōu)化網(wǎng),致力于研究搜索引擎規(guī)則,傳播網(wǎng)站優(yōu)化知識,提升企業(yè)網(wǎng)站排名,打造一個符合搜索引擎排名算法的技術(shù)交流平臺.)

通過分詞技術(shù)大概可以分為:網(wǎng)站優(yōu)化網(wǎng),網(wǎng)站優(yōu)化研究,網(wǎng)站優(yōu)化知識,網(wǎng)站優(yōu)化排名,網(wǎng)站排名,網(wǎng)站排名優(yōu)化等等.. 所以說做網(wǎng)站優(yōu)化 是離不開分詞技術(shù)的使用 ,熟練的使用分詞 ,了解搜索引擎 ,是每個網(wǎng)站優(yōu)化者必須學(xué)習(xí)的一課!