軟件工程專(zhuān)業(yè)畢業(yè)論文--面向webservice的網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn)任務(wù)書(shū)開(kāi)題報(bào)告外文翻譯(編輯修改稿)

　

【文章內(nèi)容簡(jiǎn)介】 tains tab servicelistp 該頁(yè)面時(shí)服務(wù)提供商頁(yè)面 Sytln url 進(jìn)入 執(zhí)行操作 2 condition2 contentcuri else if urlcontains providers 該頁(yè)面是服務(wù)詳細(xì)信息頁(yè)面 Sytln url 進(jìn)入 執(zhí)行操作 3 condition3 contentcuri 42 網(wǎng)頁(yè)內(nèi)容提取 經(jīng)過(guò)過(guò)濾鏈后就進(jìn)入 提取鏈在提取鏈中需要根據(jù)網(wǎng)頁(yè)類(lèi)型對(duì)網(wǎng)頁(yè)進(jìn)行信息提取 網(wǎng)頁(yè)信息的代碼結(jié)構(gòu)可能很復(fù)雜那么就需要編寫(xiě)一個(gè)很復(fù)雜的正則表達(dá)式才能從代碼中提取信息例如在頁(yè)面中存在一個(gè)標(biāo)簽在開(kāi)發(fā)者編寫(xiě)代碼時(shí)會(huì)用一些空格來(lái)調(diào)整內(nèi)容的長(zhǎng)度根據(jù)內(nèi)容的不同空格的長(zhǎng)度也不同如果用正則表達(dá)式來(lái)做需要考慮很多情況所以在提取的過(guò)程中主要利用 HtmlParser 網(wǎng)頁(yè)解析工具對(duì) HTML代碼進(jìn)行解析該工具能根據(jù) HTML代碼中的標(biāo)簽屬性找到標(biāo)簽的全部?jī)?nèi)容 下面分別介紹四種頁(yè)面的內(nèi)容提取實(shí)現(xiàn)方式 服務(wù)提供商集合頁(yè)面內(nèi)容提取 分析服務(wù)提供 商集合頁(yè)面 HTML 代碼后可以得知所有的服務(wù)提供商頁(yè)面URL 都在一個(gè)屬性 Class providerlist 的 ul 標(biāo)簽中在這個(gè) ul 標(biāo)簽中每個(gè)服務(wù)提供商頁(yè)面 URL都在一個(gè) a標(biāo)簽中因?yàn)?class providerlist的 ul在這個(gè)頁(yè)面中是唯一的所以使用 HTMLParser 比較簡(jiǎn)單 程序流程如圖 42 所示 圖 42 服務(wù)提供商集合頁(yè)面內(nèi)容提取流程圖 部分代碼如下 1 首先新建一個(gè)解析類(lèi) Parser 實(shí)例 Parser parser null try parser new Parser content catch ParserException e return 2 為需要尋找的標(biāo)簽設(shè)置 FIlter 以下代碼就是要找出屬性 class providerlist 的 ul 標(biāo)簽 NodeFilter attributes_filter new AndFilter new TagNameFilter ul new HasAttributeFilter class providerlist NodeList nodelist null try nodelist parserparse attributes_filter catch ParserException e eprintStackTrace return 3 得到了 class providerlist的 ul標(biāo)簽后把這部分內(nèi)容轉(zhuǎn)換為 String并新建一個(gè) Filter 目的是為了找到 ul 標(biāo)簽下所有 a 標(biāo)簽 String content1 nodelistelementAt 0 toHtml parserreset NodeFilter nodefiter1 new TagNameFilter a try parser new Parser content1 catch ParserException e1 e1printStackTrace NodeList nodelist1 null try nodelist1 parserparse nodefiter1 catch ParserException e eprintStackTrace return 4得到了所有的 a標(biāo)簽集合這些集合都存儲(chǔ)在 nodelist1中循環(huán)遍歷集合得到每個(gè)服務(wù)提供商頁(yè)面的 URL 并把 URL 通過(guò) addLinkFromStringfor int i 0 i nodelist1size i LinkTag aNode LinkTag nodelist1elementAt i String url aNodegetLink Sytln extractor condition1 url int end urlindexOf if end 1 url urlsubstring 0 end url tab servicelistp 0 Sytln extractor 抓取了 url url addLinkFromString curi url LinkNAVLINK_HOP 通過(guò)以上步驟就可以得到服務(wù)提供商集合頁(yè)面的所有提供商頁(yè)面 URL 并把這些 URL 加入到爬蟲(chóng)待訪問(wèn)隊(duì)列中爬蟲(chóng)在后續(xù)的抓取過(guò)程中會(huì)對(duì)這些提供商頁(yè)面 URL 進(jìn)行再抓取并提取內(nèi) 容 服務(wù)提供商頁(yè)面內(nèi)容提取 服務(wù)提供商頁(yè)面的提取過(guò)程比較特殊某提供商注冊(cè)的服務(wù)比較多需要分頁(yè)顯示所以在抓取服務(wù)詳細(xì)信息頁(yè)面 URL 的同時(shí)也要抓取下一頁(yè)的 URL 并把這些URL 加入到待訪問(wèn)隊(duì)列中 Parser parser null try parser new Parser content catch ParserException e return 2 首先通過(guò)新建一個(gè) Filter 在頁(yè)面中查找屬性 class next 的 li 標(biāo)簽 NodeFilter attributes_filter new AndFilter new TagNameFilter li new HasAttributeFilter classnext NodeList nodelist null try nodelist parserparse attributes_filter catch ParserException e return 3 如果該頁(yè)面不是最后一頁(yè)提取下一頁(yè)的 URL 并加入到帶訪問(wèn)隊(duì)列中 if nodelistsize 0 Node linode nodelistelementAt 0 String str linodetoHtml addLinkFromString curi str LinkNAVLINK_HOP Sytln curitoString next str 4 接下來(lái)就是提取該頁(yè)面中服務(wù)詳細(xì)信息頁(yè)面的 URL 所以新建 一個(gè)Filter 目的是為了得到屬性 class web_service 的 li 標(biāo)簽 NodeFilter attributes_filter1 new AndFilter new TagNameFilter li new HasAttributeFilter classweb_service nodelist null parserreset try nodelist parserparse attributes_filter1 catch ParserException e return 5 得到所有 li 標(biāo)簽后就把標(biāo)簽中的 URL 提取出來(lái)并加入到待訪問(wèn)隊(duì)列中 if nodelistsize 0 return for int i 0i nodelistsize i String url nodelistelementAt i toHtml Sytln the wsdl page is url addLinkFromString curi url LinkNAVLINK_HOP 服務(wù)詳細(xì)信息頁(yè)面內(nèi)容提取 在服務(wù)詳細(xì)信息頁(yè)面中服務(wù)的詳細(xì)信息是在一個(gè) table 表格中的例如在服務(wù) QueryService 詳細(xì)信息頁(yè)面中服務(wù)的信息在標(biāo)簽 中提取內(nèi)容的流程如圖 44 所示 圖 44 服務(wù)詳細(xì)信息頁(yè)面內(nèi)容提取流程圖 提取服務(wù)信息的部分內(nèi)容的實(shí)現(xiàn)如下 服務(wù) WSDL URL 在這段源代碼 input type hidden name uri value news_vti_binsearchasmxwsdl 中提取 WSDL URL 代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf input type \hidden\ name uri content contentsubstring baseIndex beginIndex contentindexOf value \ endIndex contentindexOf \ url contentsubstring beginIndex7 endIndex 服務(wù)提供商在這段源代碼 Provider a href webservices seekdaprovidersa2gov a2gov 中提取服務(wù)提供商代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Provider content contentsubstring baseIndex beginIndex contentindexOf \ endIndex contentindexOf url contentsubstring beginIndex2 endIndex 服 務(wù) 注冊(cè) 時(shí)間 在這 段 源代 碼 Monitored since abbr title 20210516T000000Z 2021516 中提取服務(wù)注冊(cè)時(shí)間代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Monitored since content contentsubstring baseIndex beginIndex contentindexOf \ endIndex contentindexOf url contentsubstring beginIndex3 endIndex 服務(wù)可用率在這段源代碼 img style width29pxheight12px alt 98availabletitle 98availablesrc webserv_img98 percent_available nbsp 9781 since 五月 2021 中提取服務(wù)可用率代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Availability content contentsubstring baseIndex beginIndex contentindexOf percent_available\ nbsp endIndex contentindexOf since if beginIndex 1 endIndex 1 url null else url contentsubstring beginIndex27 endIndex2 同理可分析服務(wù)用戶(hù)描述服務(wù)標(biāo)簽內(nèi)容的 HTML 代碼結(jié)構(gòu)并編寫(xiě) 代碼提取內(nèi)容 頁(yè)面鏈接提取 該部分是針對(duì)沒(méi)有提供詳細(xì)服務(wù)信息的網(wǎng)站的抓取過(guò)程中對(duì)頁(yè)面中鏈接的提取的對(duì)所有的頁(yè)面來(lái)說(shuō)提取所有 a標(biāo)簽中的 url并把 url加入到處理鏈中由其它處理鏈來(lái)處理具體的過(guò)程如圖 45 所示 45 頁(yè)面鏈接提取流程圖 部分代碼如下 1 首先新建一個(gè)解析類(lèi) Parser 實(shí)例 Parser parser null try parser new Parser content catch ParserException e return 2 為需要尋找的標(biāo)簽設(shè)置 FIlter 以下代碼就是要找出所有 a 標(biāo)簽 NodeFilter attributes_filter new TagNameFilter a NodeList nodelist null