java面向主題的搜索引擎畢業論文(編輯修改稿)

　

【文章內容簡介】 rLog)。 (1,ManagerName)。 (2,ManagerLog)。 ResultSet rs = ()。 if (()) { ()。 } else { (登錄失敗)。 } ()。%%@ page contentType=text/html。 charset=gb2312 import=.* %語句是JSP文件的標志。().newInstance()。Stringurl=jdbc:microsoft:sqlserver://localhost:1433。DatabaseName=SEARCH。Connectionconn=(url,sa,111)三個語句是實現與數據庫的連接。面向主題資源的發現是通過添加與該主題相關聯的關鍵詞來增加主題資源的數量，以使用戶查找到的信息更全面。進行關鍵詞的添加是通過三個基本界面來實現的，管理員在關鍵詞管理界面輸入需添加的關鍵詞點擊保存關鍵詞，，關鍵詞管理的界面如下圖所示。 關鍵詞管理界面% (gbk)。 String keyword = (keyword)。 String power = (power)。 ().newInstance()。 String url=jdbc:microsoft:sqlserver://localhost:1433。DatabaseName=SEARCH。 Connection conn= (url,sa,111)。 String sql = INSERT INTO keywordstable VALUES(?,?)。 PreparedStatement pstmt = (sql)。 (1,keyword)。 (2,power)。 int flag = ()。 if (flag != 0) { //(OK)。 ()。 } else { (fail)。 } ()。%% ().newInstance()。 String url=jdbc:microsoft:sqlserver://localhost:1433。DatabaseName=SEARCH。 Connection conn= (url,sa,111)。 Statement stmt = ()。 String sql = SELECT * FROM keywordstable 。 PreparedStatement pstmt=(sql)。 ResultSet rs = ()。 while (()) {% tr td%=(id)%/td td%=(keyword)%/td td%=(power)%/td /tr% } ()。%String sql = INSERT INTO keywordstable VALUES(?,?)。PreparedStatement pstmt = (sql)。(1,keyword)。(2,power)語句實現返回管理關鍵詞界面輸入的關鍵詞信息并將其添加到數據庫中。面向主題資源的發現是通過在Eclipse中運行以下程序來實現的。import 。 import .*。import 。import 。import .*。import 。import 。public class RadarSpecialSearchEngine { public static void main (String[] args) throws ParserException { try { TravelWordTable(D:\\\\)。 } catch(Exception e) { ()。 } }public static void TravelWordTable(String filename) throws IOException { try{ String buffer 。 FileWriter resultFile = null。 PrintWriter myFile = null。 String dstfile = filename+ 。 File writefile = new File(dstfile)。 if(!()) { ()。 } resultFile=new FileWriter(writefile)。 myFile = new PrintWriter(resultFile)。 BufferedReader reader = new BufferedReader(new FileReader(filename))。 while((buffer = ())!=null) { String url = +buffer+amp。pn=0amp。ver=0amp。cl=3。 getBaiduUrls(url,GB2312,myFile)。 } if( myFile != null) ()。 if( resultFile != null) ()。 } catch (ParserException e) { ()。 } } public static void getBaiduUrls(String url , String pageEncoding,PrintWriter writer) throws ParserException { NodeList nodeList = null。 try { /* Parser parser = new Parser(url)。 (pageEncoding)。 // 設置解析編碼格式 // Baidu 檢索結果的url連接和標題nodeList = ( new AndFilter( new HasAttributeFilter(target) , new HasAttributeFilter(onclick)))。 (())。*/ NodeFilter filter = new NodeClassFilter()。 Parser parser = new Parser()。 (url)。 (pageEncoding)。 nodeList = (filter)。 } catch (ParserException e) { ()。 } if(nodeList != null amp。amp。 () 0) { // 循環遍歷每個Url節點 for(int i = 0。 i ()。 i ++) {String urlLink = ((LinkTag)(i)).extractLink()。String LinkName = ((LinkTag)(i)).getLinkText()。if( (bnu) != 0 || () != 0 )(結果 + i + 標題：+LinkName)。 ( 鏈接：+urlLink )。 (urlLink)。 } } }} 運行結果為：面向主題資源發現后將得到的待下載的URL列表導入數據庫中，并對這些下載地址進行添加和刪除的管理。待下載的URL列表是通過運行程序來發現的，在這里我們也可以人工進行添加。 待下載URL列表管理界面得到了相關主題資源的網頁地址或者網站的目錄和網址之后，用Nutch進行批量下載，下載的網頁內容用于之后的索引和用戶檢索。Nutch提供了命令行下載方式，它最初是在Linux系統下運行的，在Windows系統下運行還需要Linux仿真環境Cygwin的支持，在這些下載環境設置好之后即可以在Cygwin的Shell環境中自動執行進行網頁的下載。打開Cygwin，在其命令窗口中輸入“cd /cygdrive/d/”,進入Nutch根目錄，接著輸入“bin/nutch crawl –dir specialweb –depth 1 –topN 100 –threads 1”進行網頁的下載。下載過程使用nutch crawl命令，以“dir”引入下載，并將其下載內容存入specialweb中，depth 3表示下載的深度是3即下載三層內容，“topN 100”表示下載到前100個網頁后結束，“threads 1”表示使用一個獨立的線程下載。，調用Generator生成數據段，啟動Fetcher線程實際下載網頁，CrawlDb update把網頁內的鏈接加入待下載的的數據庫中。 進入Nutch主目錄界面 輸入命令進行下載的界面crawl started in:specialweb表明網絡蜘蛛的名稱是specialweb；rootUrlDir = ；Injector:starting表示注入下載列表；Injector: Converting injected urls to crawl db ；Generator: Selecting bestscoring urls due for ，決定下載順序。Generator:segment:specialweb/segments/20090609093124語句的意思是生成下載結果存儲的數據段；Generator: Partitioning selected urls by host, for 。 注入下載列表界面 生成數據段界面Fetcher: segment: specialweb/segments/20090609093124是下載指定網頁內容到segment中去。CrawlDb update: starting表明下載完畢后，更新下載數據庫，增加新的下載。 實際下載網頁界面LinkDb: starting表明開始進行網頁鏈接關系分析；LinkDb: URL filter: 。LinkDb: done表示鏈接分析完畢。 網頁鏈接分析界面Indexer: starting語句表示為抓取的網頁開始建立索引。 開始建立索引界面 建立索引界面Dedup: starting表示網頁去重；merging indexes to: specialweb/index表示將索引合并。 網頁去重界面面向主題的資源下載完畢之后，將檢索的目錄地址改為!filepropertiespropertyname/namevalueD:\\specialweb/valuedescription/description/property。修改Tomcat/webapps/，使其內容與D:\\conf下的文件相同。“Connector”屬性，在最后增加URIEncoding=“UTF8”，使本地的Tomcat支持中文。重新啟動Tomcat，訪問:8080/。 搜索的初始界面 搜索結果界面在SQL Server數據庫中建立ManagerInfor存儲管理員信息，用來驗證管理員登錄是否成功，建立keywordstable來存儲添加的關鍵詞信息，建立Waitforurl表存儲待下載的URL列表信息。 建立的SEARCH數據庫 建立的各個表第七章 測試 確定測試方法的原則測試產品有兩種方法，黑盒測試與白盒測試。 黑盒測試如果已經知道了產品應該具有的功能，可以通過測試來檢驗是否每個功能都能正常使用，這種方法稱為黑盒測試。黑盒測試法把程序看作一個黑盒子，完全不考慮程序的內部結構和處理過程。黑盒測試是在程序接口進行的測試，它只檢查程序功能是否能按照規格 白盒測試如果知道產品的內部工作過程，可以通過測試來檢驗產品內部動作是否按照規格說明書的規定正常進行，這種方法稱為白盒測試，也成為結構測試。 本系統選擇的測試方法面向主題的搜索引擎是針對特定領域和問題，通過網絡蜘蛛自動獲取相關信息并建立索引，為用戶提供有效信息和相關服務。本系統的功能的功能明確，因此采用黑盒測試的方法。 測試的目標測試的根本目標是盡可能很多的發現并排除軟件中潛藏的錯誤，最終把一個高質量的軟件系統交給用戶使用。；；。此外，應該認識到測試絕不能證明程序是正確的。即使經過了最嚴格的測試之后，仍然可能還有沒被發現的錯誤潛藏的在程序中。測試只能查找程序中的錯誤，不能證明程序中沒有錯誤。 測試項目 系統管理員登錄的測試在系統管理員登錄界面中輸入用戶名和密碼，當輸入的信息與數據庫中的管理員信息相符時測試是否能登錄成功，當輸入的信息與數據庫中的管理員信息不符合時測試管理員不能進入到