全文搜索引擎的設(shè)計與實現(xiàn)畢業(yè)論文(編輯修改稿)

　

【文章內(nèi)容簡介】 得分詞字典或者是停用詞字典。停用詞字典比較好辦，由于中文停用詞數(shù)量有限，可以從網(wǎng)上獲得停用詞列表，從而自己建一個停用詞字典；然而對于分詞字典，雖然網(wǎng)上有許多知名的漢字分詞軟件，但是很少有分詞的字典提供。在程序使用過程中，分詞字典可以放入一個集合中，這樣就可以比較方便的進行比對工作。 江漢大學(xué)本科畢業(yè)論文（設(shè)計）10分詞的結(jié)果對于搜索的精準(zhǔn)性有著至關(guān)重要的影響，好的分詞策略經(jīng)常是由若干個簡單算法拼接而成的，所以您也可以試著實現(xiàn)雙向最大減字匹配法來提高分詞的準(zhǔn)確率。而如果遇到歧義詞組，可以通過字典中附帶的詞頻來決定哪種分詞的結(jié)果更好。 倒排索引倒排索引（英語：Inverted index），也常被稱為反向索引、置入檔案或反向檔案，是一種索引方法，被用來存儲在全文搜索下某個單詞在一個文檔或者一組文檔中的存儲位置的映射。它是文檔索引系統(tǒng)中最常用的數(shù)據(jù)結(jié)構(gòu)。有兩種不同的反向索引形式：一條記錄的水平反向索引（或者反向檔案索引）包含每個引用單詞的文檔的列表。一個單詞的水平反向索引（或者完全反向索引）又包含每個單詞在一個文檔中的位置。后者的形式提供了更多的兼容性（比如短語搜索），但是需要更多的時間和空間來創(chuàng)建。下面將以圖示和實例的方式分別說明正向索引和倒排索引。 圖 26 正向索引 江漢大學(xué)本科畢業(yè)論文（設(shè)計）11圖 27 倒排索引 以英文為例，下面是要被索引的文本：it is what it iswhat is itit is a banana這樣就能得到下面的反向文件索引： a: {2} banana: {2} is: {0, 1, 2} it: {0, 1, 2} what: {0, 1}檢索的條件what, is 和 it 將對應(yīng)這個集合：。對相同的文字，得到后面這些完全反向索引，有文檔數(shù)量和當(dāng)前查詢的單詞結(jié)果組成的的成對數(shù)據(jù)。 同樣，文檔數(shù)量和當(dāng)前查詢的單詞結(jié)果都從零開始。所以，banana: {(2, 3)} 就是說 banana在第三個文檔里 ( )，而且在第三個文檔的位置是第四個單詞(地址為 3)。a: {(2, 2)}banana: {(2, 3)}is: {(0, 1), (0, 4), (1, 1), (2, 1)} 江漢大學(xué)本科畢業(yè)論文（設(shè)計）12it: {(0, 0), (0, 3), (1, 2), (2, 0)} what: {(0, 2), (1, 0)}如果執(zhí)行短語搜索what is it 將得到這個短語的全部單詞各自的結(jié)果所在文檔為文檔 0 和文檔 1。但是這個短語檢索的連續(xù)的條件僅僅在文檔 1 得到。 查詢服務(wù)查詢服務(wù)的整體結(jié)構(gòu)如下：圖 28 查詢服務(wù)的整體結(jié)構(gòu) 在網(wǎng)頁預(yù)處理后，每個元素至少包含如下幾個方面：原始網(wǎng)頁文檔URL 和標(biāo)題編號所含的重要關(guān)鍵詞的集合（以及他們在文檔中出現(xiàn)的位置信息）其他一些指標(biāo)（例如重要程度，分類代碼等）而系統(tǒng)關(guān)鍵詞總體的集合和文檔的編號一起構(gòu)成了一個倒排文件結(jié)構(gòu)，使得一旦得到一個關(guān)鍵詞輸入，系統(tǒng)能迅速給出相關(guān)文檔編號的集合輸出。 查詢方式和匹配查詢方式指的是系統(tǒng)允許用戶提交查詢的形式?？紤]到各種用戶的不同背景和不 江漢大學(xué)本科畢業(yè)論文（設(shè)計）13同的信息需求不可能有一種普適的方式。一般認(rèn)為，對于普通網(wǎng)絡(luò)用戶來說，最自然的方式就是“要什么就輸入什么”。但這是一種相當(dāng)模糊的說法。例如用戶輸入“江漢大學(xué)”，可能是他想了解江漢大學(xué)目前的招生狀況，可能需要找到江漢大學(xué)教務(wù)系統(tǒng)的網(wǎng)址，可能需要了解大家對江漢大學(xué)的評價。這是三種相當(dāng)不同的需求。在其他一些情況下，用戶可能關(guān)心的是間接的信息，例如“江漢大學(xué)錄取分?jǐn)?shù)線”，450 分應(yīng)該是他需要的，但不可能包含在這個短語中。盡管如此，用一個次或短語來間接表達信息需求，希望網(wǎng)頁中含有該詞或該短語中的詞，依然是主流的搜索引擎查詢模式。這不僅是因為他的確代表了大多數(shù)的情況，還因為它比較容易實現(xiàn)。這樣，一般來講，系統(tǒng)面對的是查詢短語。一般地，用 q0 表示用戶提交的原始查詢，例如，q0 =“網(wǎng)絡(luò)與分布式系統(tǒng)實驗室”。它首先需要被“切詞”（segment）或稱“分詞”，即把它分成一個詞的序列。如上例，則為“網(wǎng)絡(luò) 與 分布式 系統(tǒng) 實驗室”（注意，不同的分詞軟件可能得出不同的結(jié)果）。然后需要刪除那些沒有查詢意義或者幾乎在每篇文檔中都會出現(xiàn)的詞（例如“的”），在本例中即為“與”。最后形成一個用于參加匹配的查詢詞表，q = {t1, t2, …, tm}，在本例中就是 q = {網(wǎng)絡(luò)，分布式，系統(tǒng)，實驗室}。倒排文件就是用詞來作為索引的一個數(shù)據(jù)結(jié)構(gòu)，顯然，q 中的詞必須是包含在倒排文件詞表中才有意義。有了這樣的 q，它的每一個元素都對應(yīng)倒排文件中的一個倒排表（文檔編號的集合），記作 L(ti)，它們的交集即為對應(yīng)查詢的結(jié)果文檔集合，從而實現(xiàn)了查詢和文檔的匹配。上述過程的基本假設(shè)是：用戶是希望網(wǎng)頁包含所輸入查詢文字的。 結(jié)果排序就目前的技術(shù)情況看，列表是最常見的形式（但人們也在探求新的形式，如Vivisimo 引擎將結(jié)果頁面以類別的形式呈現(xiàn)）。給定一個查詢結(jié)果集合，R={r1, r2, …, rn}，所謂列表，就是按照某種評價方式，確定出 R 中元素的一個順序，讓這些元素以這種順序呈現(xiàn)出來。籠統(tǒng)地講，ri 和 q 的相關(guān)性（relevance）是形成這種順序的基本因素。但是，有效地定義相關(guān)性本身是很困難的，從原理上講它不僅和查詢詞有關(guān)，而且還和用戶的背景，以及用戶的查詢歷史有關(guān)。不同需求的用戶可能輸入同一個查詢，同一個用戶在不同的時間輸入的相同的查詢可能是針對不同的信息需求。為了形成一個合適的順序，在搜索引擎出現(xiàn)的早期人們采用了傳統(tǒng)信息檢索領(lǐng)域很成熟 江漢大學(xué)本科畢業(yè)論文（設(shè)計）14的基于詞匯出現(xiàn)頻度的方法。大致上講就是一篇文檔中包含的查詢（q）中的那些詞越多，則該文檔就應(yīng)該排在越前面；再精細一些的考慮則是若一個詞在越多的文檔中有出現(xiàn)，則該詞用于區(qū)分文檔相關(guān)性的作用就越小。這樣一種思路不僅有一定直覺上的道理，而且在倒排文件數(shù)據(jù)結(jié)構(gòu)上很容易實現(xiàn)。因為，當(dāng)通過前述關(guān)鍵詞的提取過程，形成一篇文檔的關(guān)鍵詞集合，p = {t1, t2, …, tn}的時候，很容易同時得到每一個ti 在該文檔中出現(xiàn)的次數(shù)，即詞頻，而倒排文件中每個倒排表的長度則對應(yīng)著一個詞所涉及的文檔的篇數(shù)，即文檔頻率。然而，由于網(wǎng)頁編寫的自發(fā)性、隨意性較強，僅僅針對詞的出現(xiàn)來決定文檔的順序，在 Web 上做信息檢索表現(xiàn)出明顯的缺點，需要有其他技術(shù)的補充。這方面最重要的成果就是前面提到過的 PageRank。通過在預(yù)處理階段為每篇網(wǎng)頁形成一個獨立于查詢詞（也就和網(wǎng)頁內(nèi)容無關(guān)）的重要性指標(biāo)，將它和查詢過程中形成的相關(guān)性指標(biāo)結(jié)合形成一個最終的排序，是目前搜索引擎給出查詢結(jié)果排序的主要方法。 文檔摘要搜索引擎給出的結(jié)果是一個有序的條目列表，每一個條目有三個基本的元素：標(biāo)題，網(wǎng)址和摘要。其中的摘要需要從網(wǎng)頁正文中生成。一般來講，從一篇文字中生成一個恰當(dāng)?shù)恼亲匀徽Z言理解領(lǐng)域的一個重要課題，人們已經(jīng)做了多年的工作并取得了一些成果。但相關(guān)的技術(shù)用到網(wǎng)絡(luò)搜索引擎來有兩個基本困難。一是網(wǎng)頁的寫作通常不規(guī)范，文字比較隨意，因此從語言理解的角度難以做好；二是復(fù)雜的語言理解算法耗時太多，不適應(yīng)搜索引擎要高效處理海量網(wǎng)頁信息的需求。據(jù)統(tǒng)計，即使是分詞這一項工作（文本理解的基礎(chǔ)），在高檔微機上每秒鐘也只能完成 10 篇左右網(wǎng)頁的處理。因此搜索引擎在生成摘要時要簡便許多，基本上可以歸納為兩種方式，一是靜態(tài)方式，即獨立于查詢，按照某種規(guī)則，事先在預(yù)處理階段從網(wǎng)頁內(nèi)容提取出一些文字，例如截取網(wǎng)頁正文的開頭 512 個字節(jié)（對應(yīng) 256 個漢字），或者將每一個段落的第一個句子拼起來，等等。這樣形成的摘要存放在查詢子系統(tǒng)中，一旦相關(guān)文檔被選中與查詢項匹配，就讀出返回給用戶。顯然，這種方式對查詢子系統(tǒng)來說是最輕松的，不需要做另外的處理工作。但這種方式的一個最大的缺點是摘要和查詢無關(guān)。一篇網(wǎng)頁有可能是多個不同查詢的結(jié)果。當(dāng)用戶輸入某個查詢，他一般是希望摘要中能夠突出顯示和查詢直接對應(yīng)的文字，希望摘要中出現(xiàn)和他關(guān)心的文字相關(guān)的句子。因此，有了“動態(tài)摘要”方式，即在響應(yīng)查詢的時候，根據(jù)查詢詞在文檔中的位置，提取出 江漢大學(xué)本科畢業(yè)論文（設(shè)計）15周圍的文字來，在顯示時將查詢詞標(biāo)亮。這是目前大多數(shù)搜索引擎采用的方式。為了保證查詢的效率，需要在預(yù)處理階段分詞的時候記住每個關(guān)鍵詞在文檔中出現(xiàn)的位置。 小結(jié)本章主要介紹了搜索引擎的相關(guān)理論。以 web 搜索引擎為主要介紹對象。首先，從 Web 搜索引擎原理和結(jié)構(gòu)介紹，闡述了搜索引擎三段式的工作原理，以及給出了目前主流搜索引擎實現(xiàn)的整體結(jié)構(gòu)描述。其次分別用三個章節(jié)分別介紹三段式工作流程中涉及到的各個流程的主要工作，以及工作中所采用什么樣的工作策略。 江漢大學(xué)本科畢業(yè)論文（設(shè)計）163 Nutch 相關(guān)框架研究 Lucene 研究 Lucene 概述Lucene 是一套用于全文檢索和搜尋的開放源碼程序庫，由 Apache 軟件基金會支持和提供的，高效的，基于 Java 的全文檢索庫。它并不是一個完整的應(yīng)用程序，而是一組代碼庫，并提供了方便實現(xiàn)搜索引擎的 API。Lucene 是一個高效的基于 Java 的全文檢索庫。所以在了解 Lucene 之前要了解一下全文檢索。 那么什么叫做全文檢索呢？ 生活中的數(shù)據(jù)總體分為兩種：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。 Lucene 如何對索引進行搜索 第一步：用戶輸入查詢語句。 查詢語句同我們普通的語言一樣，也是有一定語法的。 不同的查詢語句有不同的語法，如 SQL 語句就有一定的語法。 查詢語句的語法根據(jù)全文搜索引擎的實現(xiàn)而不同。最基本的有比如：AND, OR, NOT 等。 舉個例子，用戶輸入語句：lucene AND learned NOT hadoop。 說明用戶想找一個包含 lucene 和 learned 然而不包括 hadoop 的文檔。 第二步：對查詢語句進行詞法分析，語法分析，及語言處理。 由于查詢語句有語法，因而也要進行語法分析，語法分析及語言處理。 1. 詞法分析主要用來識別單詞和關(guān)鍵字。 如果在詞法分析中發(fā)現(xiàn)不合法的關(guān)鍵字，則會出現(xiàn)錯誤。2. 語法分析主要是根據(jù)查詢語句的語法規(guī)則來形成一棵語 。 如果發(fā)現(xiàn)查詢語句不滿足語法規(guī)則，則會報錯。3. 語言處理同索引過程中的語言處理幾乎相同 。 經(jīng)過第二步，得到一棵經(jīng)過語言處理的語法樹。第三步：搜索索引，得到符合語法樹的文檔。 第四步：根據(jù)得到的文檔和查詢語句的相關(guān)性，對結(jié)果進行排序。 江漢大學(xué)本科畢業(yè)論文（設(shè)計）17 Lucene 增刪改索引的 APILucene 可對 ,網(wǎng)頁,文本資料,doc,pdf 之類的文檔進行索引建立,在建立索引的時候可為以后的排序做些處理。表 41 給出了通過內(nèi)存建立文本信息索引的一個例子。.表 41 建立索引public class IndexUtil {private String[] ids = {1, 2, 3, 4, 5, 6}。private String[] s = {, , , , , }。private String[] contents = {wel to sina aa, how are you ss88817, are you ok 496008642,what are you doing, 496008642, Have a good night, ,good morning ,ss88817}。private int[] attachs = {2, 3, 1, 4, 5, 3}。private String[] names = {tom, lily, john, jack, mike, bob}。private Directory directory = null。private IndexWriterConfig iwc = null。public IndexUtil(){try {//directory = (new File(D:\\bs\\luceestdir01))。directory = new RAMDirectory()。} catch (Exception e) {()。}}public void index(){IndexWriter writer = null。try {iwc = new IndexWriterConfig(, new StandardAnalyzer())。writer = new IndexWriter(directory, iwc)。Document doc = null。for(int i=0。 i。 i++){