web音樂搜索軟件的設計與實現—計算機畢業設計論文(編輯修改稿)

　

【文章內容簡介】 String url = (String) ().next()。 // Remove URL from the to crawl list. (url)。 // 增加已處理的URL到crawledList (url)。 if(hasBeenVisit(url)){ (重復：+url+已經去掉)。 } else{ (url)。 sea=new Search(url)。 String pageContents =()。 //downloadPage(verifiedUrl)。 if (pageContents != null amp。amp。 () 0){ // 從頁面中獲取有效的鏈接 ana=new Analyzer(pageContents,url)。 ArrayList links =()。//retrieveLinks(verifiedUrl, pageContents, crawledList,limitHost) List mp3link= ()。 (links)。 for(Iterator its=()。()。){ m= (mp3)()。String sql=INSERT INTO `mappingmusic` ( `m_url` , `m_name` , `m_type`,`m_date` )VALUES (39。+()+39。, 39。+()+39。, 39。+()+39。,39。+date+39。)。 (sql)。 dispalystr+=名字:+()+\n+類型:+()+\n+地址:+()+\n。 (dispalystr)。 // (名字:+()+\n+地址:+()+\n+類型:+())。 } (url)。 (正在解析：+url)。 (300)。 } n++。 } } (已經完成采集任務共分析+n+地址)。 (共分析+n+地址)。 } 模擬瀏覽器模擬瀏覽器主要是從web服務器上獲取網頁并把網頁保存到本地緩沖區中，方便后續程序分析分類。網絡API通過提供URL類讓用戶能在源代碼層使用URL，每一個URL對象都封裝了資源的標識符和協議處理程序。獲得URL對象的途徑之一是調用URI對象的toURL()方法。但是這種選擇不一定方便，作為代替，可以調用URL構造函數來建立URL對象，也可以調用URL的方法來提取URL的組件，打開一個輸入流（input stream）從資源中讀取信息，獲得某個能方便檢索資源數據的對象的引用，比較兩個URL對象中的URL，獲得到資源的連接對象，該連接對象允許代碼了解（并寫入）更多的資源的信息。URL類有六個構造函數。其中最簡單的是URL(String url)，它有一個String類型的參數，把URL分解為自己的組件，并把這些組件存儲在一個新的URL對象中。如果某個URL沒有包含協議處理程序或該URL的協議是未知的。下面的代碼展示了網絡爬蟲調用網絡API提供的URL類從目標服務器獲取數據保存到緩沖區中的過程。模擬瀏覽器源程序如下所示： boolean messagedig() throws Exception { URL url。 HttpURLConnection 。 urlstream = null。 url = new URL()。 try { = (HttpURLConnection) ()。 (UserAgent, Mozilla/)。 ()。 urlstream = ()。 } catch (Exception e) { // TODO 自動生成 catch 塊 (錯誤的URL地址+url)。 return false。 } reader = new . BufferedReader(new (urlstream))。 String currentline=,sumstring = 。 try{ while((currentline=())!=null){ sumstring+=currentline。//保存在網絡緩沖區中 } setMessage(sumstring)。 new String((),gbk)。 } catch( e){ (錯誤的文件格式：+())。 } return true。 } 正則表達式正則表達式是一門語言。有許多正則表達式語法、選項和特殊字符。可能比想象中的要復雜。組合邏輯是下一步的事情。只要正確運用，正則表達式能夠在字符串提取和文本修改中起到很大的作用。正則表達式在本程序中的作用是分析網頁中存在的超鏈接并保存到等待隊列中，方便爬蟲遍歷網頁獲取數據，并把網頁中存在的音樂信息提取出來為爬蟲儲存數據做準備。（1）句點符號假設你在玩英文拼字游戲，想要找出三個字母的單詞，而且這些單詞必須以“t”字母開頭，以“n”字母結束。另外，假設有一本英文字典，你可以用正則表達式搜索它的全部內容。要構造出這個正則表達式，你可以使用一個通配符——句點符號“.”。這樣，完整的表達式就是“”，它匹配“tan”、“ten”、“tin”和“ton”，還匹配“tn”、“tpn”甚至“t n”，還有其他許多無意義的組合。這是因為句點符號匹配所有字符，包括空格、Tab字符甚至換行符如：① 正則表達式:② 匹配：tan,Ten,tin,ton,t n,tn,tpn,等。（2）方括號符號為了解決句點符號匹配范圍過于廣泛這一問題，你可以在方括號（“[]”）里面指定看來有意義的字符。此時，只有方括號里面指定的字符才參與匹配。也就是說，正則表達式“t[aeio]n”只匹配“tan”、“Ten”、“tin”和“ton”。但“Toon”不匹配，因為在方括號之內你只能匹配單個字符：① 正則表達式:t[aeio]n② 匹配:tan,Ten,tin,ton（3）“或”符號如果除了上面匹配的所有單詞之外，你還想要匹配“toon”，那么，你可以使用“|”操作符。“|”操作符的基本意義就是“或”運算。要匹配“toon”，使用“t(a|e|i|o|oo)n”正則表達式。這里不能使用方擴號，因為方括號只允許匹配單個字符；這里必須使用圓括號“()”。圓括號還可以用來分組，具體請參見后面介紹。① 正則表達式:t(a|e|i|o|oo)n② 匹配:tan,Ten,tin,ton,toon（4）表示匹配次數的符號 ，這些符號用來確定緊靠該符號左邊的符號出現的次數。 表示次數的符號符號次數 0次或者多次+1次或者多次?0次或者一次{n}恰好n次{n,m}從n次到m次假設要在文本文件中搜索美國的社會安全號碼。這個號碼的格式是999999999。用來匹配它的正則表達式如圖一所示。在正則表達式中，連字符（“”）有著特殊的意義，它表示一個范圍，比如從0到9。因此，匹配社會安全號碼中的連字符號時，它的前面要加上一個轉義字符“\”。正則表達源程序如下： public class CompareStr { public boolean parestring(String oristring,String tostring) //判斷是否存在指定表達式 { Pattern p=null。 //正則表達式 Matcher m=null。 //操作的字符串 boolean