畢業論文設計：面向webservice的網絡爬蟲設計與實現(編輯修改稿)

　

【文章內容簡介】 出并分析了現階段存在的問題并展望了未來的發展前 景。 天津大學 2022屆本科生畢業設計（論文） 3 第二章 相關工作和需求分析 相關工作 隨著 Web 服務開發者數量的增加，互聯網上的 Web 服務數量以爆炸方式增長。伴隨著 Web Service 的數量的增長，越來越多的網站關注于如何吸引開發者把服務發布在他們的網站中，這些網站采用了服務開發者在該網站上注冊服務的方式來發布服務。 其中， seekda[1]網站是現有的最大的服務注冊網站，一共有 7663 個服務提供商在該網站上注冊，據統計，大約有 2 萬多個服務在該網站上進行發布。而且該網站上的服務發布信息比較齊全，提供了服務 的可用率，用戶標簽，提供商，發布服務器等信息。還有其它一些服務注冊網站，例如： 、。盡管這些網站的數量不及 seekda 的多，但這些網站上的服務對用戶來說，也是有巨大意義的。其服務信息很豐富，需要把網絡上的服務抓取和集中管理。 網絡信息抓取的主要工具是網絡爬蟲，網絡爬蟲是一種按照一定的規則，自動的抓起萬維網信息的程序或者腳本。 [2]現有的網絡爬蟲可以分為以下幾種類型[3]：通用網絡爬蟲 [12]、聚焦網絡爬蟲 [15]、增量式網絡爬蟲 [4]、 Deep Web 爬蟲 [14]。其應用也十分廣泛，如 :Google 搜索引擎的爬蟲模塊就是一個通用網絡爬蟲，Google 的爬蟲通過遍歷互聯網上的網頁，并提取網頁的信息，例如關鍵字、類型、網頁超鏈接等，然后建立網頁索引。最后在這些網頁信息上建立搜索引擎，向用戶提供統一的訪問網頁的窗口 [5]。 聚焦網絡爬蟲也稱為主題爬蟲 [13]，大量的應用于互聯網中，例如基于聚焦爬蟲的手機天氣預報系統 [6]，就是應用了聚焦網絡爬蟲，通過計算頁面與天氣主題的相關度，抓取網絡上與天氣相關的頁面信息，并把對頁面進行索引，并向用戶提供統一訪問窗 口。 Web 服務有其特定結構， Web 服務網絡爬蟲不僅僅遍歷網頁，并建立索引，而且在遍歷網頁過程中，利用網頁分析工具解析網頁 [7]，把 Web 服務相關信息抓取下來，如：注冊標簽、提供商、注冊時間、可用率、服務器等。 Heritrix[9]是一個比較靈活、可擴展性強的網絡爬蟲開源框架，目前，已經有很多應用在該框架上進行開發，例如基于 Heritrix 的面向電子商務網站的信息抓取，該應用就是在 Heritrix 網絡爬蟲開源框架的基礎上進行擴展、修改 [10]，并建立特有的抓取策略來抓取網絡上的電子商務信息 [11]。 天津大學 2022屆本科生畢業設計（論文） 4 功能說明 本系統包含以下功能： 如果網站提供了詳細的服務信息，那么功能如下： 1. 存儲服務的詳細信息 遍歷網站結構過程中，如果頁面是服務詳細信息頁面，需要對頁面進行解析，把服務的詳細信息提取出來，并存入數據庫。詳細信息包括：服務描述文檔 WSDL URL、服務提供商、服務注冊時間、服務可用率、服務運行服務器、服務標簽等。 2. 下載 WSDL 文檔 提取了 Web服務詳細信息后，根據 Web服務 WSDL文檔的 URL，下載 WSDL文檔，并把文檔內容存放到數據庫中。 如果網站只提供了 Web 服務 WSDL 文 檔的 URL，那么系統在抓取網站過程中，只提取 Web 服務 WSDL 的 URL，把該 URL 存入數據庫，并下載 Web 服務的 WSDL 文檔。 運行環境 要求程序能夠運行在如下環境中：操作系統： Windows XP；運行平臺：MyEclipse 以上； java 虛擬機： JVM 以上；數據庫： 天津大學 2022屆本科生畢業設計（論文） 5 第三章 面向 web service 的網絡爬蟲的詳細設計 總體架構 本系統采用的是廣度優先策略，利用網絡爬蟲開源框架 Heritrix 的多線程管理、鏈接調度 器模塊，擴展了 Heritrix 的處理鏈流程。 Heritrix 框架的多線程管理池可以提供 50 個線程同時進行抓取工作， Frontier調度器負責調度鏈接， Frontier 把新鏈接加入到待訪問隊列中，把未訪問鏈接傳遞給線程。本系統針對兩類網站進行了處理鏈修改及擴展。 針對提供了詳細信息的服務網站，裁掉了一些 Heritrix 原有處理鏈，只保留了過濾鏈，提取鏈，寫鏈，并對三個處理鏈功能進行重新設定。 ? 過濾鏈主要負責根據網站服務分部結構過濾掉不相關的鏈接。 ? 提取鏈主要負責解析頁面信息，提取的內容包括： ； 細信息內容； ? 寫鏈主要負責把服務信息存儲到數據庫中，下載 WSDL 文檔。 系統結構圖如下： 圖 31 抓取詳細信息情況下的系統結構 圖 天津大學 2022屆本科生畢業設計（論文） 6 針對網站只提供了服務 WSDL 文檔的 URL，本系統的設計是：處理鏈保留過濾鏈、提取鏈和寫鏈，并對過濾鏈、提取鏈和寫鏈功能進行了重新設定。 過濾鏈主要負責過濾非本網站鏈接，爬蟲抓取的范圍局限于主網站，所有其他指向網站的鏈接都會過濾。提取鏈主要負責解析網頁內容，提取服務 WSDL 文檔的 URL。寫鏈主要負責根據服務 WSDL 文檔的 URL 下載服務 WSDL 文檔。 系統結構圖如下： 圖 32 抓取沒有詳細信息服務的系統結構 圖 數據庫設計 本系統的數據庫較簡單，只有一個表 webServiceDetail，在兩種情況下，都需要存儲服務 WSDL 文檔的 URL，在第一種情況下，需要存儲服務相關信息，這些相關信息包括：服務提供商、服務注冊時間、服務可用率、服務用戶描述、服務服務器等，但是在第二種情況下，不需要存儲服務相關信息，只存儲服務WSDL 文檔的 URL。數據庫表定義如下： 天津大學 2022屆本科生畢業設計（論文） 7 表 31 webServiceDetail 表 屬性名 數據類型 非空 自增長 默認值 wsdlAddress VARCHAR(255) √ Provider VARCHAR(30) monitoredSince VARCHAR(50) server VARCHAR(50) availability VARCHAR(50) description VARCHAR(5000) descriptionByUser VARCHAR(1000) fileAddress VARCHAR(255) date datatime state VARCHAR(50) type Boolean √ 重要字段說明： wsdlAddress 字段為主鍵，因為每個服務 WSDL 文檔的 URL 是唯一的。 type 字段為 true 時，表示該服務有相關服務信息，為 false 時，表示該服務沒有相關的服務信息。 程序包設計 本系統主要包括 5 大模塊，分別是： 1. 過濾鏈模塊 2. 提取鏈模塊 3. 寫鏈模塊 4. 管理訪問鏈接模塊 5. 管理爬蟲多線程模塊 相對應的程 序包設計圖如下： 天津大學 2022屆本科生畢業設計（論文） 8 圖 33 程序包設計圖 ? 是過濾鏈模塊的程序文件包，主要負責過濾無關的網頁鏈接。 ? 是提取鏈模塊的程序文件包，主要負責對各種頁面進行信息提取。 ? 是寫鏈模塊的程序文件包，主要負責下載 WSDL 文檔。 ? 是負責管理待訪問隊列的鏈接的程序文件包，向線程傳遞鏈接。 ? 是負責管理爬蟲線程的程序文件包，線程獲取鏈接，并訪問網頁的。 流程設計 針對第一種情況，爬蟲抓取過程如圖 34 所示： 天津大學 2022屆本科生畢業設計（論文） 9 圖 34 第一種情況爬蟲抓取流程圖 1. 向爬蟲程序提供一個初始 URL，該 URL 是服務提供商集合頁面的 URL， 該 URL 被加入到待訪問隊列中。 2. 爬蟲線程管理器 TreadPool 詢問 Frontier，檢查待訪問隊列中是否存在鏈 接，如果存在， TreadPool 獲得該鏈接，并分配給一個線程。直到沒有空 閑線程都在工作或者待訪問隊列中沒有多余的鏈接為止。 天津大學 2022屆本科生畢業設計（論文） 10 3. 爬蟲線程獲得鏈接后， 首先經過過濾鏈的處理，判斷鏈接頁面的類型， 并決定如何解析該頁面。 4. 鏈接進入了提取鏈，提取鏈直到了過濾鏈對鏈接頁面類型的判斷后，對 頁面進行不同策略的分析和提取。 如果該頁面是服務提供商集合頁面，提取鏈就對該頁面進行提供商 服務集合頁面鏈接的抓取，并把這些鏈接加入到待訪問隊列中。 如果該頁面是提供商服務集合頁面，提取鏈就對該頁面進行服務詳 細信息頁面鏈接的抓取，并把這些鏈接加入到待訪問隊列中。 如果該頁面是服務詳細信息頁面，提取鏈就對該頁面進行服務詳細 信息進行抓 取。 ，就進入了寫鏈，如果是服務詳細信息頁面，在數據庫中標 記該頁面類型為 true，表示該 數據庫記錄是一個提供商服務集合頁面相 關的內容。還要把提取鏈中提取出來的服務信息存入服務詳細信息表中， 例如：服務提供商、服務注冊時間、 服務可用率、服務標簽等。 針對第二種情況，爬蟲抓取過程如圖 35 所示： 天津大學 2022屆本科生畢業設計（論文） 11 圖 35 第二種情況爬蟲抓取流程圖 1. 向爬蟲程序提供一個初始 URL，該 URL 是待抓取網站的首頁 URL，該 URL 被加入到待訪問隊列中。 2. 爬蟲線程管理器 TreadPool 詢問 Frontier，檢查待訪問隊列中是否存在鏈 接，如果存在， TreadPool 獲得該鏈接，并分配給一個線程。直到沒有空 閑線程或者待訪問隊列中沒有多余的鏈接為止。 3. 爬蟲線程獲得鏈接后，首先經過過濾鏈的處理，判斷鏈接頁面的類型， 并決定如何解析該頁面。 天津大學 2022屆本科生畢業設計（論文） 12 4. 鏈接進入了提取鏈，提取鏈知道了過濾鏈對鏈接頁面類型的判斷后，對 頁面進行不同策略的分析和提取。 如果該頁面是本網站的其他頁面，提取鏈就對該頁面進行鏈接抓取， 并把這些鏈接加入到待訪問隊列中，并跳過寫 鏈。 如果該頁面是其他網站的頁面，提取鏈就忽略該頁面。跳過寫鏈。 如果該頁面是服務 WSDL 文檔的 URL，提取鏈就把該鏈接提交給寫 鏈。 5. 如果鏈接能夠進入了寫鏈，該鏈接是服務 WSDL 文檔的鏈接，所以先下 載該 WSDL 文檔，并在數據庫中添加一條記錄，并在字段 type 中標記為 false，說明該服務是沒有詳細信息的。 天津大學 2022屆本科生畢業設計（論文） 13 第四章 面向 web service 的聚焦網絡爬蟲的技術實現 分析網站服務分布結構 針對第一種情況，首先要分析網站服 務的分布結構。 現有的服務網站中， seekda 網站的服務分布是有結構、有規律的。所以我 對 seekda 網站的具體分析如下： 用戶在 Seekda 網站上有三種方式可以查找服務： 1. 網站提供了強大的搜索功能，用戶可以在搜索頁面輸入服務名、服務標 簽、服務注冊時間等信息進行搜索。 2. 網站把同一類標簽的服務，以標簽的方式顯示在首頁，用戶可以根據標 簽來找服務，但是只是服務數量較多的標簽會顯示。 3. 網站按照提供商來進行分類，用戶可以查找每一個提供商，然后就查找 到了 每個提供商下的每個服務。 方式 1：爬蟲抓取網站所有服務是不可行的，因為爬蟲無法列舉所有可能的搜索條件。方式 2：只有服務數量比較多的標簽會顯示，對于爬蟲來說，無法得到服務數量少的標簽。方式 3：爬蟲可以得到所有的提供商，也就可以得到所有的服務。通過以上分析，得出以下結論： 針對 seekda 網站的抓取策略是先得到所有的提供商集合，然后進入每個提供商頁面，在提供商頁面，得到該提供商的所有服務。當爬蟲遍歷完所有的提供商頁面，也就抓取完所有的服務。 網站服務分部結構如圖 41 所示： 天津大學 2022屆本科生畢業設計（論文） 14 圖 41 網站 服務分布結構圖 要把網站結構應用于爬