基于網絡爬蟲的搜索引擎設計與實現—計算機畢業設計(更新版)

　　

【正文】 么其他用戶就會受到影響 )，難免有不能及時加入的新 WWW 地址，所以很多擁有 robot 和 spider 的 WWW 索引和檢索服務站點同時提供一項由用戶加入新 WWW地址的功能。它是 WWW 服 務器所發回各種數據的主要描述語言， 因為搜索引擎的主要搜索目標是文本，所以必須對 HTML 進行解析，提取出相應的數據。 import .*。//最大處理的 url 數 String searchString。 } public void run(){//啟動搜索線程 crawl(startUrl,maxUrl, searchString,limitHost,caseSensitive)。 // 獲取主機不允許搜索的 URL 緩存 ArrayList String disallowList =(host)。//獲取不允許訪問路徑 // 檢查是否有注釋。 //web 站點根目錄下沒有 文件 ,返回真 } } String file = ()。 // Read page into buffer. String line。 } return (url)。 // String terms = (searchString).toString()。 (a href=+url++bb+/a)。//搜索字符串 HashSet String crawledList = new HashSet String()。 } // 從開始 URL 中移出 startUrl = removeWwwFromUrl(startUrl)。 //(提示搜索過的 :+verifiedUrl)。 // for(int j=0。 return。執行完畢，出現結果： 搜索成功。 首先，我要感謝我的導師，感謝他帶給我來學習的機會，感謝他對我學術上的悉心指導，感謝他對我生活上的關懷和體貼。 He knows weˇ ll be happier if we donˇ t get too good a look at these skins,〃 another pic answered. 168。 and the embarrassment of her manner a。 Well, theyˇ re horses.〃 168。給我留下深刻印象的，是他知識的淵博、治學態度的嚴謹、誨人不倦的學者風范，是他謙遜待人、處處關心別人的長者風度，是他勤奮忘我的工作態度、精益求精的治學作風。在編程中發現這些學科相互聯系，相輔相成，在以后更加復雜的系統中肯定會涉及到更多、更復雜的學科，需要我們認真學習和掌握的東西實在是太多了。 myspider crawler = new myspider(args[0],max,args[2])。j++){ // ( (j))。 if (pageContents != null amp。 while (() 0) { if (maxUrls != 1) { if (() == maxUrls) { break。 if (maxUrls 1) { (Invalid Max URLs value.)。 } else{//存在相同字符串 int aa=(())。 //for (int i = 0。 HtmlParser parser=new HtmlParser(pageContents)。 while ((line = ()) != null) { (line)。 for (int i = 0。 if (mentIndex != 1) { disallowPath =(0, mentIndex)。 if (disallowList == null) { disallowList = new ArrayList String()。 URL verifiedUrl = null。//是否區分大小寫 boolean limitHost=false。 import 。為了提取關鍵字或者知識，必須分隔出單個的詞和句子。但由于每個 robot 都是與一定的索引和檢索技術相聯系的，所以它必須要能與其它模塊相配合工作。其漫游結果是形成一個很大的本地數 據庫，你可以通過 WWW 瀏覽器訪問與該 網絡爬蟲 相配合的檢索服務器對其結果進行查詢。 i targ。) { i++。 i += ()。 addURL(src)。 if ((a)) { analyzeAnchor(())。39。 j++) { //循環讀取解析 / switch (state) { case 0: if ((j) == 39。 //類實體 public class HtmlParser { ArrayList String fafa=new ArrayList String()。 import 。由此，可避免某個頁面被重復處理，防止陷入死循環。當移動 Spider 程序開始處理 URL 時，它們被傳送到這一隊列，但同一個 URL 不能被多次 處理，因為這樣是浪費資源。元素名稱出現在開始標記中，在 HTML 語言中標記為 元素名稱 ，對應的結束標記為 ／元素名稱 ，內容出現在開始標記和結束標記之間。 } (/body)。 (p搜索 +search+結果 :/p)。 crawler = new myspider( //Thread search=new Thread(crawler)。 myspider crawler 。 import .*。 三是可移植性， servlet 是用 java 開發的，因此它是可移植的，這種可移植性使 servlet能夠移植到新的操作系統中而不必改變代碼。 (所謂加載是指 servlet 加載進 JVM 運行 ) 是與平臺無關的。 因此本次開發使用 Jbuilder 2020. servlet 的原理 Servlet 是指運行在服務器端的 Java 小程序。 2）用戶可以自動地生成基于后端數據庫表的 EJB Java 類， Jbuilder 同時還簡化了 EJB的自動部署功能 .此外它還支持 CORBA，相應的向導程序有助于用戶全面地管理 IDL(分布應用程序所必需的接口定義語言 Interface Definition Language)和控制遠程對象。以字節方式進行編碼，使得程序不受運行平臺和環境的限制成為可能。 Java 也從當初的一種語言而逐漸形成一種產業，基于 Java 語言的 J2EE 架構已成為微軟 .NET 平臺的強大競爭對手。 Java 的語法是從 C 繼承的， Java 許多面向對象特性都受到 C++的影響。 “網絡蜘蛛”實際上是一些基于 web 的程序，利用主頁中的超文本鏈接遍歷 Web．利用能夠從互聯網上自動收集網頁的“網絡蜘蛛”程序，自動訪問互聯網，并沿著任何網頁中的所有 URL 爬到其它網頁，重復這過程，并把爬過的所有網頁收集到網頁數據庫中 。 課題開發背景 目前雖然有很多種搜索引擎，但各種搜索引擎基本上由三個組 成部分： (1)在互聯網上采集信息的網頁采集系統 ： 網頁采集系統主要使用一種工作在互聯網上的采集信息的“網絡蜘蛛” 。 Java 總是和 C++聯系在一起，而 C++則是從 C 語言派生而來的，所以 Java 語言繼承了這兩種語言的大部分特性。 自從于 1995 年被正式推出之后， Java 語言就以其獨特的優勢迅猛發展，經過短短 9 年時間，成為迄今為止最為優秀的面向對象語言。網絡環境下的編程語言最需要解決的是可移植性和安全性問題。 Jbuilder 的特點 :： 1） Jbuilder 支持最新的 Java 技術，包括 Applets、 JSP/Servlets、 JavaBean 以及 EJB(Enterprise JavaBeans)的應用。 JBuilder 環境開發程序方便，它是純的 Java 開發環境，適合企業的 J2EE 開發。 servlet 只需 Web 服務器加載一次 ,后續又用到這個 servlet，就不需要再加載。 二是穩定性， servlet 能夠維護每個請求的狀態，一旦加載了 servlet，她就駐留在內存中，對收到的請求提供服務。具體代碼設計為： package crawer。 public Timer timer。 String search=new String(bytes,GB2312)。 (p注意默認起始站點為： 10/p)。//輸出結果 } if(()==0){ (p對不起 ,沒有找到結果 /p)。一個元素的描述一般由開始標記 (Start Tag)、內容 (Content)、結束標記 (End Tag)所組成。 (2)處理隊列 (Proces— sUI )。 同一時間一個 URL 只能在一個隊列中，這也叫做 URL 的狀態，這是因 為人們常常使用狀態圖描述計算機程序，程序按照狀態圖從一個狀態變換到下一個狀態實際上，當發現 URL(內鏈接 )時，移動 Spider 會檢查該 URL 是否已經存在于完成隊列或錯誤隊列中，如果已經存在于上述兩種隊列的任何一個隊列中，那么移動 Spider 將不會對此 URL 進行任何處理。 import 。 import 。 j i。: if ((j) == 39。 String first_word = ().toLowerCase()。 if (src == null) return。 if (i 0) return null。39。 for (i2 = i。 } } 網絡爬蟲的實現 爬蟲結構分析 網絡爬蟲 沿著 WWW 文件間的鏈接在網上漫游，記錄 URL、文件的簡明概要、關鍵字或索引。如果僅僅是從遠程獲得數據，實現一個 robot 并不很難。 (3)分詞技術。 import .*。//要搜索的字符串 (英文 ) boolean caseSensitive=false。 } //檢測 URL 格式 private URL verifyUrl(String url) { // 只處理 HTTP URLs. if (!().startsWith( return null。 // 如果還沒有緩存 ,下載并緩存。 int mentIndex = ()。 //(文件 getFile()=+file)。 StringBuffer pageBuffer = new StringBuffer()。 } // 解析頁面并找出鏈接 private ArrayList String retrieveLinks(URL pageUrl, String pageContents, HashSet crawledList, boolean limitHost) { ArrayList String linkList = new ArrayList String()。 String terms =searchString。 } } else { if ((()) == 1) { return false。 LinkedHashSet String toCrawlList = new LinkedHashSet String()。 (startUrl)。//提示搜索過的 url String pageContents = downloadPage(verifiedUrl)。j()。 } int max=(args[1])。 六、結論 本系統開發過程中用到了許多學過的知識，具體說來有數據結構、 java 語言程序設計、軟件工程、優化理論等等。導師是不僅是我學業上的導師，更是生活中讓我敬佩的學者、長者。 This thing Iˇ m on barely keeps me off the ground,〃 the first picador said. 1