基于網(wǎng)絡(luò)爬蟲的搜索引擎設(shè)計與實(shí)現(xiàn)—計算機(jī)畢業(yè)設(shè)計-免費(fèi)閱讀

　　

【正文】 Fuentes,〃 the gypsy said. What he said. Am I sick? TH had settled it that Mr. Darcy would bring his sister to visit her the very day after her reaching Pemberley。 在本文的最后，我要再次感謝我的導(dǎo)師，同時也向與老師一樣辛勤育人，無私付出的各位導(dǎo)師、師長致以深深的謝意。由于本人學(xué)習(xí)軟件工程的時間不長，程序的設(shè)計方面不夠規(guī)范，有些簡單的想法卻用了很長的代碼來實(shí)現(xiàn)造成了代碼冗余 ，還有部分想法沒有實(shí)現(xiàn)。 (result:)。 (該字段存在于： +url)。 HtmlParser parser=new HtmlParser(pageContents)。 // Convert string url to URL object. URL verifiedUrl = verifyUrl(url)。 (Missing search String)。 (a href=+url++bb+/a)。 } else{ int aa=(terms)。 } // 搜索下載 Web 頁面的內(nèi)容，判斷在該頁面內(nèi)有沒有指定的搜索字符串 private boolean searchStringMatches(String url,String pageContents, String searchString, boolean caseSensitive){ String searchContents = pageContents。//返回整個網(wǎng)頁字符 } catch (Exception e) { } return null。 if ((disallow)) { return false。 } } // 緩存此主機(jī)不允許訪問的路徑。 // 讀 robot 文件，創(chuàng)建不允許訪問的路徑列表。 } return verifiedUrl。 =maxUrl。//錯誤信息 ArrayList String result=new ArrayList String()。 爬蟲的設(shè)計實(shí)現(xiàn) package crawer。它是 WWW 上數(shù)據(jù)傳輸?shù)臉?biāo)準(zhǔn)協(xié)議。 Robot 的運(yùn)行方式是這樣的：從一個或一組 URL 開始，訪問該 URL 并進(jìn)行本地索引同時記錄該 URL 所指 HTML 文件中所有新的 URL 錨鏈(anchor)；然后再以這些新的 URL 為起始點(diǎn)，繼續(xù)進(jìn)行本地索引，直到再沒有滿足條件的新URL 為止。 } } catch (StringIndexOutOfBoundsException e) {} return null。, i)。) return null。 } catch (MalformedURLException e) { ()。 } } /**分析 a分析 . */ void analyzeAnchor(String anchor) { String href = extract(anchor, href)。 (0)。39。 StringBuffer sb = new StringBuffer()。 import 。 //html 文件解析類 import 。如果在處理某一頁面時發(fā)生錯誤，它的 URL 將被加入到錯誤隊列，該 URL 到達(dá)這一隊列后將不再移人其他隊列。頁面隊列中保存的頁面的 URL 都是屬于內(nèi)鏈接。 } //Clean up resources public void destroy() { } } 網(wǎng)頁的解析實(shí)現(xiàn) 網(wǎng)頁的分析 網(wǎng)頁文檔作為 一 種半結(jié)構(gòu)化文本是一種界于自由文本和結(jié)構(gòu)化文本之間的數(shù)據(jù)，它通常沒有嚴(yán)格的格式。 for(int i=0。 //啟動定時器，在時間內(nèi)檢查是否有結(jié)果，并顯示 myresult=new ArrayList String()。 if (var0 == null) { var0 = 。 import .*。 一是 寬度或深度優(yōu)先搜索策略 ： 搜索引擎所用的第一代網(wǎng)絡(luò)爬蟲主要是基于傳統(tǒng)的圖算法 , 如寬度優(yōu)先或深度優(yōu)先算法來索引整個 Web, 一個核心的 U RL 集被用來 作為一個種子集合 , 這種算法遞歸的跟蹤超鏈接到其它頁面 , 而通常不管頁面的內(nèi)容 , 因?yàn)樽罱K的目標(biāo)是這種跟蹤能覆蓋整個 W eb. 這種策略通常用在通用搜索引擎中 ,因?yàn)橥ㄓ盟阉饕娅@得的網(wǎng)頁越多越好 , 沒有特定的要求 . 二是 寬度優(yōu)先搜索算法 (又稱廣度優(yōu)先搜索 ) 是最簡便的圖的搜索算法之一 , 這一算法也是很多重要的圖的算法的原型 .單源最短路徑算法和 P rim 最小生成樹算法都采用了和寬度優(yōu)先搜索類似的思想 .寬度優(yōu)先搜索算法是沿著樹的寬度遍歷樹的節(jié)點(diǎn) , 如果發(fā)現(xiàn)目標(biāo) , 則算法中止 . 該算法的設(shè)計和實(shí)現(xiàn)相對簡單 , 屬 于盲目搜索 . 在目前為覆蓋盡可能多的網(wǎng)頁 , 一般使用寬度優(yōu)先搜索方法 . 也有很多研究將寬度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲中 . 其基本思想是認(rèn)為與初始 U RL 在一定鏈接距離內(nèi)的網(wǎng)頁具有主題相關(guān)性的概率很大 . 另外一種方法是將寬度優(yōu)先搜索與網(wǎng)頁過濾技術(shù)結(jié)合使用 , 先用廣度優(yōu)先策略抓取網(wǎng)頁 , 再將其中無關(guān)的網(wǎng)頁過濾掉 . 這些方法的缺點(diǎn)在于 , 隨著抓取網(wǎng)頁的增多 , 大量的無關(guān)網(wǎng)頁將被下載并過濾 , 算法的效率將變低 。它提供一個中心位置來處理全部的終端請求。 Servlet 代碼的主要 作用是為了增強(qiáng) Java 服務(wù)器端的功能，它運(yùn)行在服務(wù)器端，用于接收并且處理瀏覽器客戶端發(fā)出的請求，該請求是通過配置文件 的相關(guān)配置進(jìn)行轉(zhuǎn)發(fā)。 4） Jbuilder 能用 Servlet 和 JSP 開發(fā)和調(diào)試動態(tài) Web 應(yīng)用。 Jbuilder 介紹 Java 的開發(fā)工具中，最出名的莫過于 Borland 公司的 JBuiIder 了。 作為當(dāng)前一種被廣泛使用的面向?qū)ο缶幊陶Z言， Java 具有多方面的特點(diǎn)。 Java 語言的誕生與過去約 30 年中計算機(jī)語言的不斷改進(jìn) 和發(fā)展密切相關(guān)。 而廣義則是所有能利用 協(xié)議檢索 Web 文檔的軟件都稱之為網(wǎng)絡(luò)爬蟲 .網(wǎng)絡(luò)爬蟲是一個功能很強(qiáng)的自動提取網(wǎng)頁的程序 , 它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁 , 是搜索引擎的重要組成 . 它通過請求站點(diǎn)上的 HTML 文檔訪問某一站點(diǎn) . 它遍歷 W eb 空間 , 不斷從一個站點(diǎn)移動到另一個站點(diǎn) , 自動建立索引 , 并加入到網(wǎng)頁數(shù)據(jù)庫中 . 網(wǎng)絡(luò)爬蟲進(jìn)入某個超級文本時 , 它利用 HTML語言的標(biāo)記結(jié)構(gòu)來搜索信息及獲取指向其他超級文本的 U RL 地址 , 可以完全不依賴用戶干預(yù)實(shí)現(xiàn)網(wǎng)絡(luò)上的自動“爬行”和搜索 。 本科畢業(yè)設(shè)計 題目： 基于網(wǎng)絡(luò)爬蟲的 搜索引擎 設(shè)計與實(shí)現(xiàn) 系 別： 專 業(yè)： 計算機(jī)科學(xué)與技術(shù) 班 級： 學(xué) 號： 姓 名： 同組人： 指 導(dǎo) 教 師： 教師職稱： 協(xié) 助 指 導(dǎo) 教 師： 教師職稱： 摘要 本文 從搜索引擎的應(yīng)用出發(fā)，探討了網(wǎng)絡(luò)蜘蛛在搜索引擎中的作用和地住，提出了網(wǎng)絡(luò)蜘蛛的功能和設(shè)計要求。 二、系統(tǒng)開發(fā)工具和平臺 關(guān)于 java 語言 Java 語言是由 Sun 公司于 1995 年推出的一種新的編程語言，它是一種跨平臺、適合于分布式計算環(huán)境的純面向?qū)ο笳Z言。 Java 是由 James Gosling、 Patrick Naughton、 Chris Warth、 Ed Frank 以及 Mike Sheridan 等人于 1991 年在 Sun Microsystems 公司設(shè)計出來的，開發(fā)第一個版本花了 18 個月時間。如果與其他眾多的編程語言作一下比較，會發(fā)現(xiàn)這些特點(diǎn)正是 Java 語言之所以如此風(fēng)靡的原因所在。對于一些沒有弄清楚開發(fā)工具與 JDK的區(qū)別的 Java入門者來說。 5）利用 Jbuilder 可創(chuàng)建 (沒有專有代碼和標(biāo)記 )純 Java2 應(yīng)用。也就是說 Servlet 是一個標(biāo)準(zhǔn)的 Java 類，它符合Java 類的一般規(guī)則。控制器 ActionServlet 主要負(fù)責(zé)將 HTTP 的客戶請求 信息組裝后，根據(jù)配置文件的指定描述，轉(zhuǎn)發(fā)到適當(dāng)?shù)奶幚砥?Action。 三是 深度優(yōu)先搜索所遵循的搜索策略是盡可能“深”地搜索圖 . 在深度優(yōu)先搜索中 , 對于最新發(fā)現(xiàn)的頂點(diǎn) , 如果它還有以此為起點(diǎn)而未探測到的邊 , 就沿此邊繼續(xù)漢下去 . 當(dāng)結(jié)點(diǎn) v 的所有邊都己被探尋過 , 搜索將回溯到發(fā)現(xiàn)結(jié)點(diǎn) v 有那條邊的始結(jié)點(diǎn) . 這一過程一直進(jìn)行到已發(fā)現(xiàn)從源結(jié)點(diǎn)可達(dá)的所有結(jié)點(diǎn)為止 . 如果還存在未被發(fā)現(xiàn)的結(jié)點(diǎn) , 則選擇其中一個作為源結(jié)點(diǎn)并重復(fù)以上過程 , 整個進(jìn)程反復(fù)進(jìn)行直到所有結(jié)點(diǎn)都被發(fā)現(xiàn)為止 . 深度優(yōu)先在很多情況下會導(dǎo)致爬蟲的陷入 ( t rapped) 問題 , 所以它既不是完備的 , 也不是最優(yōu)的 。 import .*。 } (CONTENT_TYPE)。 //搜索到的結(jié)果 myresult=()。i()。對于這類文本一般是通過分析文本中特有的標(biāo)志性字符進(jìn)行爬行處理，具體而言就是分析 HTML 語言中的各種標(biāo)記之間的 關(guān)系。 (1)等待隊列 (WaitURL)。一旦網(wǎng)頁移入錯誤隊列，移動 Spider 程序?qū)⒉粫賹λ鬟M(jìn)一步處理。 import 。 import 。 int i = ()。 break。 } else { ((char) (j))。 if (href == null) return。 } } } String extract(String line, String key) { try { key = ()。 i++。 if (i2 0) { return (i)。 } /** 添加 url 到 URL 列表 . */ public void addURL(String url) { //(url)。在記錄新 URL 時，可以進(jìn)行分析和判斷，從中 去掉不需要或不想要的 URL，這不但提高了本地索引的速度，也減少了索引文件在本地所占用的磁盤空間。通過它，我們可以跟 WWW 服務(wù)器進(jìn)行信息交換：從服務(wù)器獲得我們所要的各種信息，并將我們的要求發(fā)給服務(wù)器。 import .*。 //搜索到的結(jié)果 String startUrl。 =searchString。 } // 檢測 robot 是否允許訪問 給出的 URL. private boolean isRobotAllowed(URL urlToCheck) { String host = ().toLowerCase()。 String line。 (host, disallowList)。 } } return true。 } // 從 URL 中去掉 private String removeWwwFromUrl(String url) { int index = (://.)。 if (!caseSensitive) {//如果不區(qū)分大小寫 searchContents = ()。 String bb=(aa,aa+()+10)。 } } }