基于lucene的搜索引擎的研究與實現-免費閱讀

　　

【正文】 } else { (沒有找到！ )。 start += HITS_PER_PAGE) { int end = ((), start + HITS_PER_PAGE)。開始搜索 39。QueryContent39。get39。 // 查詢條件 String line = qc。更讓我感動的是 她 在百忙之中還經常抽空關注和指導我的生活和學習。 研究展望 搜索引擎系統涉及的技術非常廣泛，具有非常豐富的內涵，現在一些主流的搜索引擎不僅能夠進行文字內容搜索，而且還能夠對 MP圖片、 Flash 等內容進行搜索，搜索引擎正在朝著 多元化的方向發展。 用戶把查詢條件通過 GET 的方法從客 戶端提交給服務端，而服務端利用 TOMCAT 的 Servlet 容器接受用戶 提交的這些條件并加以分析，然后調用 LUCENE 中的類 開始搜索。 n++。 Vector _links = ()。 import 。 ((title, title))。 /** * 新聞搜索引擎 */ import 。我是一名老師，分詞的結果是：我 是 一名 老師。 LUCENE 中的分詞器 信息檢索所要處理的主要對象就是信息，而信息大部分時候是以一種文本的方式呈現的。其后換成 false 即可 LUCENE 索引的建立過程 索引的建立過程主要分為 采集、加工、存入索引庫 而用戶的查詢過程主要是輸入文本、分析、在從索 引庫中查找的。 索引工具 IndexWriter 當我們在 構建完 Document 對象 并為其加入合適的 Field 對象 后， 就可以使用 LUCENE中的 IndexSearcher 類為其建立索引了。沒有匹配程度的控制 結 果 輸出 將相似度最高的前 100條結果輸出，并且是緩沖式的小批量讀取，系統開銷較小 一次性輸出，不存在相似度排序，結果較多時系統開銷非常大 可 定 制性 通過 API接口制定出符合檢索需要的排序規則 不可制定 結論 高負載的模糊查詢應用，速度快，資料量大，相似度高 不適合作為全文檢索系統 圖 LUCENE 索引與數據庫索引的比較 16 第三 章 基于 LUCENE 的搜索引擎設計 索引的建立 對于搜索引擎而言，索引的建立是非常重要的一步，只有建立了良好的索引庫，在用戶進行 查詢時才能高效的反饋給用戶。 下面我們列出 LUCENE 的幾個比較突出的優點 : 檢索引擎的索引文件的格式不受應用平臺的影響， LUCENE 專門制定了索引DB Web Manual Input File System Gather Data User Get User` Query Present Search Result Index Documents Search Index Index 14 文件的格式，這套索引文件格式是以八位字節為基礎的，這就能夠使建立的索引文件被不同平臺和兼容系統的應用共享。 LUCENE是一個用 JAVA 編寫的 并 帶有文本索引和文本搜索功能的應用程序。 public boolean getRemoveQuery() { return true。 } // 發現內部鏈接是調用， url表示程序發現的 URL，若返回 true則加入作業中，否則不加入 public boolean foundExternalLink(String url) { return false。 import 。 public void pletePage(HTTP page, boolean error)。接口定義了 Spider 向他的控制者發送的幾個事件。該隊列中的 URL 不能被移入其他隊列中 完成隊列 : 如果解析網頁沒有出錯， URL 將被送到這里。程序首先解析網頁的 HTML 代碼，查找該頁面內的超連接然后通過遞歸和非遞歸兩種結構來實現 Spider 程序。它可以讓用戶通過點擊圖片來遷移到新的頁面中。在解決如何解析之前，先來介紹下 HTML 中 的幾種數據。 網絡機器人 網絡機器人又稱為 Spider 程序，是一種專業的 BOT 程序。 搜索引擎的 結構 如 圖 所示。隨著網上信息 量 越來越多，單純靠人工整理網站目錄取得較高精度查詢結果的優勢逐漸退化，對 Web 上的信息進行高質量的人工分類已經 不太現實。由于主題搜索運用了人工分類以及特征提取等智能化策略，因此它比面提到的前三代的搜索引擎將更加有效和準確。 搜索引擎的發展分為四個階段 第一代搜索引擎出現于 1994 年，以集中式檢索為主要特征。這里提到的市場規模主要是指互聯網搜索，因為移動搜索由于起步較晚尚未引起人們的重視，但其發展空間不容小覷，畢 竟移動終端的普及率遠遠超過電腦。 3)搜狗新聞搜索 ]3[ ：搜狗新聞搜索提供兩種方式查看新聞：關鍵字搜索、最熱新聞瀏覽。對于不同類型的用戶群 ， 搜索相同的內容將得到不同的更適合用戶的搜索結果，這就是搜索引擎的個性化 。而索引和搜索部分借助 LUCENE全文搜索引擎庫中的 JAVA類庫進行實現。人們在享受 Inter所帶來的便利的同時，也面臨著一個如何在此浩瀚的內容中精確，快捷地找到自己所需要的信息，由此Inter搜索引擎應運而生，而對搜索引擎的研究也理所當然的成為了 Inter技術中最熱門的領域。 LUCENE是 Apache軟件基金會下的一個開源項目，完全支持 JAVA技術，適用于需要全文搜索能力的應用程序，并具有很好的跨平臺能力。 當人們打開瀏覽器時，首先連接 到搜索引擎再根據搜索引擎的查找結果連接到相關的頁面。每條新聞只能瀏覽部 分內容，不能瀏覽全部內容 。 傳統的網絡搜索經過多年的發展已經成為一個巨大的產業。與傳統的互聯網搜索市場競爭無比激烈的現狀相比，現在的移動搜索市場還只 不過才剛剛起步，畢竟 2020 年 8 月英國出現“手機搜索樂曲名”服務才算得上是移動搜索的鼻祖， 2020 年 5 月英國三家主要的移動運營商 Orange、沃達豐以及 20O2 年 推出的被稱為 AQA 的基于短信的搜索服務才為移動搜索正名，之后搜索巨頭 Google、雅虎、百度等企業才陸續推出相應業務，但由于它們主要的精力放在傳統的互聯網搜索市場上，所以整個移動搜索市場仍處于孕育之中，有著不可限量的發展空間。它們一般都保持一個大約 五 千萬網頁的索引數據庫，每天能夠響應 一 千萬次用戶檢索請求。并且如今的搜索引擎存在搜索速度慢、死鏈接太多、重復信息或不相關信息較多 。 5 第二章 相關技術研究 搜索引擎 搜索引擎的結構 搜索引擎是根據用 戶 的查詢請求，按照一定算法從索引數據 庫 中查找信息返回給用戶 的 。 第三步 ： 在索引數據庫中進行搜索排序。網絡機器人還可以通過掃描 Web 站點的主頁來得到這個站點的文件清單和層次機構。 超連接標簽：超連接定義了 WWW 通過 Inter 鏈接文檔 的功能。 BOT 包中的 HTMLPAGE 類用來從指定 URL中讀取數據并檢索出有用的信息。雖然這里只描述了一個隊列，但在實際編程中用到了四個隊列，他們每個隊列都保存著同一處理狀態的 URL。 Spider 程序 在構造 Spider 程序之前我們先了解程序的各個部分是如何共同工作的。 public boolean foundExternalLink(String url)。 import 。 (100)。 } // 用來請求一個被處理的網頁。這就 像百度和谷歌這樣的搜索引擎?？ㄍ⒕帉懙?，并且發布在 SOURCEFORGE(開源軟件的開發者進行開發管理的集中式場所，也是全球最大的開源軟件開發平臺和倉庫 )的網站上以供下載。 LUCENE 全文索引與數據庫索引的比較 LUCENE 的 API 接口的設計與數據庫系統的字段、表、記錄的設計非常類似，簡單地說，可以把 LUCENE 看成一個支持全文檢索的傳統數據庫系統但兩者又有很多不同之處。 ●是否存儲：該數據源的數據是否要完整的存儲于索引中。其實意思都是一樣的。它有 3個構造函數： Public IndexSearcher（ String path） throws IOException Public IndexSearcher（ Directory directory） throws IOException Public IndexSearcher（ IndexReader r） 這個 3個構造函數的參數類型雖然有所不同，但是它們均表示 存放索引的目錄 。例如，英文句子“ I am a teacher”，用中文則為：“我是一名老師”。并通過實例構造了一個 IspiderReportable 接口 ，用于實現對 URL 各種狀態的處理 。 public class Index { IndexWriter _writer = null。 } } 構造 HTML 解析類 ，用于處理要進行建立索引的 web 頁面 。 public HTMLParse(HTTP ) { _ = 。 String _herf = input(().trim())。 if (str != null) { try { temp = new String((ISO8859_1))。 圖 搜索結果 如 圖 所示 。 致謝 從 2020 年 9 月至今，在 貴州民族學院 4 年的學習和生活即將結束，在此我要對那些關心和幫助過我的老師和同學表示誠摯的謝意。在本論文的完成過程中，他們也在技術上給予我很多的指導和支持 !忠心感謝我的家人以及所有關心我的親友們，多年來在我的求學道路中給予我始終如一的關心、幫助、支持、信心和溫暖，在此學業完成之際，向你們表示由衷的謝意和崇高的敬意 ! 最后，感謝答辯小組對本論文的考核，忠心感謝為評閱本論文而付出艱辛 勞動的專家、教授 。 (center + form action=39。新聞搜索引擎 /font: + input type=39。 name=39。 final int HITS_PER_PAGE = 10。 if (url != null) { ((i + 1) + a href=39。 } 。 i++) { Document doc = (i)。 Hits hits = (query)。 + input type=39。 color=39。 (headtitle搜索結果 /title/head)。在此， 我謹向我的導師致以最誠摯的謝意 ! 其次，我要感謝那些在我漫長的求學道路上培養過我的各位老師，以及一起奮斗過的同學。對搜索引擎進行更加深入 地 探討和研究，也是本人今后繼續努力的方向。 下面是 本文 設計的新聞搜索引擎的查詢界面和搜索結果界面 。 } catch (Exception ex) { (ex)。 int n = 0。 21 im