畢業設計-基于雙向匹配的中文分詞算法的研究與實現-免費閱讀

　　

【正文】 方案三：為了測試本系統的分詞詞典機制，本文提出了方案三，方案三是將本系統與基于整詞二分法的分詞系統進行了測試對比，在硬件環境和分詞詞典等都相同的情況下測試其運行速度和空間消耗。//得到最大逆向匹配的結果 //判斷是否是中文字符，如果不是中文字符，則添加 “ /” if (() != ){ result = () + 。 } for (int i = () 1。 } while(minReadLen 1){//用二分法查找與當前最大匹配長度相同的子字典 if (!(wordLen, minReadLen)){ minReadLen。//新建兩個鏈表，一個用來存儲中間的保存結果，一個用來存放最后 的結果 int[] wordLen = ()。 } } temp = (start, start + minReadLen)。//如果沒有子字典，則返回空 minReadLen = wordLen[0]。通過以上的工作，接下來實現核心算法： 石家莊經濟學院本科生畢業論文 20 （ 1） 正向最大匹配的函數名稱是 segmentChnLToR，該函數接受一個參數 String source，即要分詞的源文件，返回結果是一個分好詞的鏈表。 首先在 Eclipse內新建 java工程，命名為 WordAutoSegment,來管理整個工程項目。具體的流程是對輸入的文本進行預處理，在進行分詞前，先進行字符檢查 ,檢查是否是有效字符 ,比如是否是中文 ,英文字符等 ,包括全角和半角等，如果判斷 的字符與上一個字符是同一類字符的話則進行下一個判斷，如果是不同的字符的話則在兩者之間加入空格，例如對于“你的編號是 12345， Wele!”是 結束 選擇詞典并加載 選擇帶切分文檔 開始 打開系統 是否添加字典 文本預處理，斷句 預處理輸出結果 最大正向匹配算法 最大逆向匹配算法 雙向匹配算法 輸出分詞結果 保存分詞結果 否 詞典加載模塊 保存模塊 預處理模塊 中文分詞模塊 圖 41 中文分詞系統 石家莊經濟學院本科生畢業論文 19 經過預處理后應該變成“你的編號是 12345 ， Wele”。所以盡可能的提高分詞的速度也是我們設計需要遵循的原則之一。輸入為GB2313格式的中文，輸出為經過分詞的中文。逐字二分與整詞二分的詞典結構完全一 樣，只是查詢過程有所區別：逐字二分吸收了 TRIE索引樹的查詢優勢，即采用的是“逐字匹 配”，而不是整詞二分的“全詞匹配”，這就一定程度地提高了匹配的效率。目前最常用的詞典機制是 否 是 否 對預處理后的 String分別進行 MM 和 RMM得到切分結果 MMResult 和 RMMResult 開始 輸入待切分的句子 String 對 String 進行預處理 比較分詞結果是否相同 圖 33雙向匹配算法 比較分詞數目是否相同 選擇分詞數目較小的結果 選擇 RMM 的分詞結果 將分詞結果輸出 結束 任意選擇一種分詞結果 石家莊經濟學院本科生畢業論文 14 主要有：基于 Trie 索引樹的詞典、基于整詞二分法的詞典和逐字二分法的分詞詞典機制。 這是因為統計表明，統計結果表明，單純使用正向最大匹配的錯誤率為 1/169，單純使用逆向最大匹配的錯誤率為 1/245，顯然 RMM法在切分的準確率上比 MM法有很大提高。若成功，則該子串為詞，指針后移 MAX個漢字后繼續匹配，否則子串逐次減一進行匹配。目前基于理解的分詞方法主要有專家系統分詞法和神經網絡分詞法等。當緊密程度高于某一個閾值時，便可以認為此字組可能構成了一個詞。 逆向最大匹配法 (Reverse Maximum Matching Method)通常簡稱為 RMM法。 基于字典的分詞算法 基于字典的分詞算法又叫機械分詞算法， 這種方法按照一定策略將待分析的漢字串與一個 “ 充分大的 ” 機器詞典中的詞條進行匹配，若在詞典中找到某個字符串，則匹配成功 (識別出一個詞 )。除了最 石家莊經濟學院本科生畢業論文 6 大匹配算法，許多其它消除歧義的算法也已經被得出。我們取這個單詞，然后繼續這 個過程直至字符串中的最后一個單詞被識別出來。 （ 2） 常見消除歧義算法 [5] 不 同的研究中它們的歧義消除方法也不同。組合型歧義是這樣一種歧義： 漢字串 AB 被稱作多義組合型切分歧義，如果滿足 A、 B、 AB 同時為詞 [4]。例如 :在句子“李軍虎背熊腰的”中，“李軍虎”又算詞嗎 ?新詞中除了人名以外，還有機構名、地名、產品名、商標名、簡稱、省略語等這些人們經常使用的詞都是很難處理的問題，因此在信息搜索中，分詞系統中的新詞識別十分重要。用一個專業性的描述就是中文分詞系統的輸入是連續的字符串（ A1A2A3A4A5A6A7?? ）是由字組成的中文句子 (其中 An 是字 )，通過中文分詞處理得到的字符串是 B1B2B3B4?? ,其中 Bi 是由單個字或多個字組成的詞。第二章主要是對中文分詞進行了介紹，主要包括中文分詞的問題描述，中文分詞的難點，中文分詞的兩大基本問題，中文分詞現有的算法思想和優缺點等內容。這些都是我們將來對中文分詞的研究方向。 能夠對未知的詞匯進行合理解析 僅支持 Java 語言 。 IK IKAnalyzer 是一個開源的，基于 java 語言開發的輕量級的中文分詞工具包。 45Kb 左右的文本切詞時間是 秒，大概是 文本 /秒，支持 PHP4 和 PHP 5。這種分詞方法效率并不高，但它的提出為中文分詞技術奠定了基礎。因此對于中文分詞技術的研究，對于我國計算機的發展有著至關重要的作用。因此出現了自動化出來方法，自動化處理方法幫助人們檢索、管理信息，來解決現在社會信息豐富而知識貧乏的現狀。 石家莊經濟學院本科生畢業論文 Ⅰ 摘 要 中文分詞是信息提取、信息檢索、機器翻譯、文本分類、自動文摘、語音識別、文本語音轉換、自然語言理解等中文信息處理領域的基礎，雖然研究了很多年，但是中文分詞依然是中文信息處理的瓶頸之一。目前已經出現了很多自動化的工具諸如自動摘要、自動文件檢索等語言處理技術，在這些技術內的一個核心關鍵是主題詞，對于主題詞的提取有助于簡化此類工作，而如何找到主題詞是需要中文分詞技術的。 計算機對中文和西文的處理技術原理基本相同，但是由于中文本身的特點，我們必 須引入中文處理技術，而中文分詞技術則是其中的關鍵，是其他中文處理技術的基礎。 在接下來的近 30年的研究中，許多研究者實現了中文分詞基于詞典和基于概率統計的很多算法。 ICTCLAS 這是最早的中文開源分詞項目之一， ICTCLAS 在國內 973 專家組組織的評測中活動獲得了第一名，在第一屆國際中文處理研究機構 SigHan 組織的評測中都獲得了多項第一名。從 2021 年12 月推出 版開始， IKAnalyzer 已經推出了 3 個大版本。 MMSEG4J MMSEG4J 基于 Java 的開源中文分詞組件，提供 lucene 和 solr 接口 mmseg4j 用 ChihHao Tsai 的 MMSeg 算法實現的中文分詞器，并實現 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在 Lucene 和 Solr 中使用。 本文的主要創新點 （ 1） 對于詞典在內存中的組織，本文主要講解了現有的詞典機制，并提出了子字典的概念：將字數相同的詞語組織在一起，從而提高了詞典的匹配速度； （ 2） 本文采用雙向匹配的分詞算法，雙向匹配的分詞算法主要是將最大正向匹配和最大逆向匹配相結合的分詞方法，這對于歧義詞語的發現和解決提出了一個很好的方法； （ 3）本文支持詞典的新增，這很好的解決了未登錄詞的問題，并支持專業詞匯的載入，從而提高了分詞的精準度。第三章主要講解本文自己的分詞算法和詞典機制，第四章主要講解了本文系統設計的主要思想和步驟，對于算法的思想，詞典數據結構的設計和實現，和算法的主要步驟進行了講解。由于中文對于 詞的界限不是很清晰，如何分詞，什么樣的叫做詞，都需要一個專業的詞庫來進行區分，可是遺憾的事到目前為止，并沒有在這樣一個詞庫，因此我們進行在這里進行的工作是盡可能的尋找一個標準化的詞庫，來幫助我們界定詞的界限。目前新詞識別準確率已經成為評價一個分詞系統好壞的重要標志之一 [3]。 而在我們分詞的過程中我們會遇到以下三 種歧義的問題： 1）由自然語言的二義性產生的歧義是第一種歧義問題。一個經過表明簡單有效的方法是最大匹配算法 ， 最大匹配算法可以有多種形式。 2） 復雜最大匹配算法。在消除歧義的過程中使用了各種各樣的信息，例如，概率和統計，語法，還有詞語形態學，它們當中的大部份需要一個構建良好，擁有漢字和詞組頻率信息的字典，單詞的語法分類，以及一個語法或形態學的集合（例如，漢語知識信息處理小組 ）。根據掃描方向的不同分為正向匹配和逆向匹配 。 RMM法的 基本原理與 MM法相同，不同的是分詞的掃描方向，它是從右至左取子串進行匹配。該方法又稱為無字典分詞。由于漢語語言知識的籠統、復雜性，難以將各種語言信息組織成機器可直接讀取的形式，因此目前基于理解的分詞系統還處在試驗階段。我們在具體實現時提出了一種改進算法，經典的算法在實現的時候，最大長度詞 MAX是人工定的，這種方法由于不科學且因為個人的原因造成分詞系統的不準確，我們在這里將最大長度詞由程序自己獲取，從子字典的最大長度來得到最大匹配的長 度。 [2]同時本算法可以分別打出正向分詞和逆向分詞的結果供用戶實驗，還能夠發現出現歧義的地方，從而為將來升級系統，消除歧義打下了良好的基礎。 下面首先介紹下著幾類詞典機制， 然后再講述本系統采用的詞典機制。但由于采用的仍是整詞二分的詞典結構，使效率的提高受到很大的局限。所用訓練語料庫為來自經典文章和網絡新聞，本系統的分詞算法采用了基于詞典的分詞算法，本系統很好的將最大正 向匹配算法和最大逆向進行了結合，實現了雙向匹配的算法。 3）可維護性：任何系統必須具有較好的可維護性，中文分詞系統也是一樣，由于是基于詞典的中文分詞系統，所以詞典的選擇應該具有靈活性，在用戶想要更換詞典的時候應該具有良好的接口，從而使分詞系統更加完善，更加具有實用性 [8]。在進行預處理過程中，“你的編號是”這幾個字符同屬于中文字符，故不進行處理，而“ 1”與“是”分屬于不同的的字符，則在兩者之間由中文分詞系統自動添加上空格，從而減少了歧義的產生。 接下來我們將實現詞典庫的設計，在 WordAutoSegment項目中添加一個新類 Dictionary,用它來全面封裝詞典數據庫中的數據和相關詞典庫存儲的操作。具體代碼實現如下： private ListString segmentChnLToR(String source){ String temp = 。 while (start length){ minReadLen = wordLen[ 1]。//取得匹配成功后的字符串 (temp)。//獲得字典數據庫內單詞長度的個數，即字 石家莊經濟學院本科生畢業論文 21 典數據庫內有幾個子字典 int start = 0。 continue。 i = 0。 石家莊經濟學院本科生畢業論文 22 }else{ list1 = segmentChnLToR(())。 中文分詞系統評價標準 中文分詞很難有統一的評價標準，因 為現在還很難定義詞的界限，因此我們采用以下兩個標準來評判分詞系統的性能： 標準一： 分詞精度是指切分的正確率。