基于lucene的全文搜索引擎設(shè)計(jì)(編輯修改稿)

　

【文章內(nèi)容簡介】 60。索引過程如下：(1)創(chuàng)建一個(gè)IndexWriter用來寫索引文件，它有幾個(gè)參數(shù)，INDEX_DIR就是索引文件所存放的位置，Analyzer便是用來對(duì)文檔進(jìn)行詞法分析和語言處理的。(2)創(chuàng)建一個(gè)Document代表我們要索引的文檔。(3)將不同的Field加入到文檔中。我們知道，一篇文檔有多種信息，如題目，作者，修改時(shí)間，內(nèi)容等，不同類型的信息用不同的Field來表示。(4)IndexWriter調(diào)用函數(shù)addDocument將索引寫到索引文件夾中。Lucene建立了功能強(qiáng)大的索引機(jī)制為搜索服務(wù)，這是因?yàn)樵跈z索系統(tǒng)的使用中，用戶體驗(yàn)最深的還是搜索部分。如果這一部分的性能無法達(dá)到用戶要求，那么軟件就沒有太大的意義。搜索過程如下：(1)IndexReader將磁盤上的索引信息讀入到內(nèi)存，INDEX_DIR就是索引文件存放的位置。(2)創(chuàng)建IndexSearcher準(zhǔn)備進(jìn)行搜索。(3)創(chuàng)建Analyer用來對(duì)查詢語句進(jìn)行詞法分析和語言處理。(4)創(chuàng)建QueryParser用來對(duì)查詢語句進(jìn)行語法分析。(5)QueryParser調(diào)用parser進(jìn)行語法分析，形成查詢語法樹，放到Query中。(6)IndexSearcher調(diào)用search對(duì)查詢語法樹Query進(jìn)行搜索，得到查詢結(jié)果存放在TopScoreDocCollector。由于Lucene自帶的分詞器對(duì)英文的分詞效果較好，但對(duì)中文的分詞效果并不如意。為了使檢索系統(tǒng)能更好的處理中文信息，本文采用了IK Analyzer作為分詞器。IKAnalyzer是一個(gè)開源的，基于java語言開發(fā)的輕量級(jí)的中文分詞工具包。第3章 搜索引擎原理 搜索引擎體系結(jié)構(gòu)根據(jù)百度百科的定義，體系結(jié)構(gòu)包括一組部件及部件之間的聯(lián)系。對(duì)于搜索引擎而言，其體系結(jié)構(gòu)是指為搜索引擎運(yùn)行而設(shè)置的軟硬件系統(tǒng)，以及軟硬件系統(tǒng)之間相互聯(lián)系的總和。為了容納萬維網(wǎng)以爆炸式增長的數(shù)據(jù)，各大搜索引擎都是用規(guī)模浩繁的計(jì)算機(jī)集群系統(tǒng)對(duì)這些大量的數(shù)據(jù)加以存儲(chǔ)和處理。如圖31所示的Google在美國俄勒崗達(dá)拉斯附近的數(shù)據(jù)中心，有圖可以看出，整個(gè)數(shù)據(jù)中心由3個(gè)巨大的集群機(jī)房組成，其中每個(gè)機(jī)房占地面積都超過一個(gè)標(biāo)準(zhǔn)足球場(chǎng)的大小。圖31 美國俄勒崗達(dá)拉斯附近的數(shù)據(jù)中心搜索引擎按其工作方式主要可分為三種，分別是全文搜索引擎（Full Text Search Engine）、目錄索引類搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。全文搜索引擎最具代表性的如Google，國內(nèi)的有百度，搜搜等。全文搜索引擎是真正的搜索引擎，簡單的操作方式，廣泛的搜索范圍，始一出現(xiàn)就得到了廣大網(wǎng)名的認(rèn)可，并在很大程度上取代了目錄式索引類網(wǎng)站。目錄索引算是互聯(lián)網(wǎng)上出現(xiàn)的最早的索引，大名鼎鼎的Yahoo雅虎便是其中之一，國內(nèi)的搜狐、新浪、網(wǎng)易搜索也都屬于這一類。目錄索引雖然有搜索功能，但在嚴(yán)格意義上算不上是真正的搜索引擎。網(wǎng)絡(luò)信息日新月異的變更，人們總是期望挑出最新的信息，人工的組織連接分類既不能在覆蓋度上滿足用戶搜索需求，也使得互聯(lián)網(wǎng)的信息與現(xiàn)實(shí)信息之間存在一定時(shí)間差。　　元搜索引擎在接受用戶查詢請(qǐng)求時(shí)，同時(shí)在其他多個(gè)引擎上進(jìn)行搜索，并將結(jié)果返回給用戶。中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索結(jié)果排列方面，有的直接按來源引擎排列搜索結(jié)果，有的則按自定的規(guī)則將結(jié)果重新排列組合。 搜索引擎主要模塊功能介紹圖32 搜索引擎基本組成 如圖32所示，搜索器(Crawler)、索引器(Indexer)、檢索器 (Searcher)和用戶接口(Ul)等四個(gè)部分組成了一個(gè)完整的的搜索引擎程序，頁面存儲(chǔ)器 (Repository)和存儲(chǔ)桶 (Barrel)兩部分組成存儲(chǔ)設(shè)備。 搜索器 (Crawler) 搜索器的功能是在互聯(lián)網(wǎng)中漫游，及時(shí)、高效地收集數(shù)量盡可能多的有用的Web網(wǎng)頁，以及建立他們之間的超鏈接關(guān)系。它在整個(gè)搜索引擎系統(tǒng)中承擔(dān)著與互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行交互的任務(wù)。搜索器的主要功能就是漫游整個(gè)互聯(lián)網(wǎng)，以一個(gè)超鏈接為起始點(diǎn)，盡可能廣和深的遍歷網(wǎng)頁上的其它連接，存儲(chǔ)找到的新的網(wǎng)頁，和跟新已經(jīng)存在的文檔內(nèi)容。目前有搜集信息的策略: 深度優(yōu)先算法是搜索引擎發(fā)展早期廣泛采取的一種信息收集策略，這種算法的優(yōu)點(diǎn)就是能夠盡可能多的遍歷到互聯(lián)網(wǎng)上的所有信息。廣度優(yōu)先策略與深度優(yōu)先策略類似，只是前者是以網(wǎng)頁中的一個(gè)連接為起點(diǎn)，盡量多的網(wǎng)下漫游，廣度優(yōu)先則是遍歷網(wǎng)頁中的所有超鏈接再網(wǎng)下漫游。然而，互聯(lián)網(wǎng)上很多的網(wǎng)頁在很多時(shí)候都不是被大量用戶所訪問的，一味最求可訪問量并不能帶來很好的用戶體驗(yàn)。目前的商用搜索引擎中，還包括反向鏈接數(shù)策略、局部PageRank策略、網(wǎng)頁的重訪策略等。 搜索器的實(shí)現(xiàn)常常用分布式、并行計(jì)算技術(shù)，以提高信息發(fā)現(xiàn)和更新的速度。商業(yè)搜索引擎的信息發(fā)現(xiàn)可以達(dá)到每天幾百萬網(wǎng)頁。 然而我們知道，不同類型的網(wǎng)絡(luò)數(shù)據(jù)，其更新頻率有很大的差距。更新頻率很高的，跟新周期以分鐘甚至秒來計(jì)算，如：新聞網(wǎng)站，天氣情況股票指數(shù)等。跟新頻率相對(duì)比較高的，幾個(gè)小時(shí)到幾天不等周期的，例如大家的博客，空間，以及學(xué)校公共主頁等。面對(duì)差異如此大的更新頻率，對(duì)每一個(gè)網(wǎng)頁采取同樣的更新策略無疑會(huì)浪費(fèi)大量的資源，甚至不能保持搜索引擎數(shù)據(jù)與萬維網(wǎng)數(shù)據(jù)的同步。為此，搜索引擎往往采用不同的抓取更新頻率的方法，保證數(shù)據(jù)集合總體的新鮮度維持在一個(gè)較高水平。 索引器 (Indexer) 搜索器搜索到的海量數(shù)據(jù)，搜索引擎如何管理這些海量的數(shù)據(jù)？索引器的主要功能就是對(duì)海量的網(wǎng)頁內(nèi)容，從中抽取出索引項(xiàng)，用于表示文檔以及生成文檔庫的索引表，實(shí)現(xiàn)快速查找包含用戶關(guān)鍵字的網(wǎng)頁。搜索引擎的索引實(shí)際上就是一種單詞文檔數(shù)據(jù)結(jié)構(gòu)。倒排索引是搜索引擎最常用的單詞到文檔的一種實(shí)現(xiàn)方式。在搜索引擎內(nèi)部，會(huì)為每個(gè)文檔和單詞（關(guān)鍵字）賦予一個(gè)唯一的ID，在倒排表中，實(shí)際存儲(chǔ)的就是單詞編號(hào)和文檔編號(hào)。索引表也要記錄索引項(xiàng)在文檔中出現(xiàn)的位置，以便檢索器計(jì)算索引項(xiàng)之間的相鄰或接近關(guān)系 (proximity)。 如表31。表31 倒排索引結(jié)構(gòu)圖Term1Doc11 Pos1Doc11 Pos2…Doc11 PosqDoc12 Pos1…Term2Doc2 Pos1Doc21 Pos2…Doc21 PosqDoc22 Pos1……………..……TermDocN1 Pos1DocN1 PosN