一種p2p內容下載緩存系統設計和下載軟件開發(編輯修改稿)

　

【文章內容簡介】 本論文主張采取正確引導P2P流量的策略的方法，提出P2P內容緩存服務器的概念，利用緩存技術，將P2P內容放ISP設置的緩存器中來解決ISP出口擁擠的狀況。3 目前一些緩存技術分析和P2P內容緩存系統的可行性 Web Caching技術Web Caching技術是為了解決網絡帶寬不足、服務質量差而提出來的，它依據統計學原理，將可能進一步使用或重復使用的內容緩存在相對高速的Cache服務器中，當有相同的請求時，直接在Cache中提取，從而提高網絡響應效率。Web Caching技術在現有網絡架構的基礎之上，利用傳輸本地化的方法達到了優化使用網絡帶寬、提高網絡服務質量、增強網絡信息可用性及提高網絡靈活性的目的。Web高速緩存服務器[10]通常是網絡中的一個專用的計算機系統，它監視Web對象請求， 獲得這些對象， 然后存儲這些對象。 其工作原理如圖21所示。圖21中，①為緩存服務器接受瀏覽器請求；②③為緩存服務器從原始服務器獲得緩存中的未存儲對象(Cache Miss)；④為緩存服務器存儲獲得的對象,并將拷貝發送給瀏覽器。此后，當用戶對相同的對象(網站)提出訪問請求時，就由緩存服務器來滿足其要求，將已存儲對象(Cache Hit)的拷貝發送給瀏覽器。Web網絡緩存系統使得用戶請求不必再通過Internet路由到達原始服務器而取回所請求的對象，從而降低了可能引起的服務延遲。同時，Web高速緩存技術的應用還可以緩解Web服務器的負擔。因為大量的用戶請求不再需要原始服務器進行處理。Web高速緩存技術能夠提供一種廉價而可靠的Web服務器負載分擔方案。圖21　Web 緩存技術的基本原理Web Caching技術是一種基于客戶請求查詢的技術，可以稱作是一種“拉”的技術，它在技術上的實現主要有三個方面的好處：(1) 節省網絡帶寬，降低了ISP的運營成本，減少了擴容壓力。雖然配備Cache緩存服務器需要成本，但是其成本相對于擴容網絡的成本要小很多。(2) 減少了終端用戶的響應時間，客戶端的效率提高，也增加了用戶對ISP的滿意度。(3) 網絡客觀性加強，緩存引擎提供了訪問控制與監測策略，使管理員很容易對某些不友好的請求進行隔離；另外，緩存引擎還提供了全面的可操作的日志記錄。 CDN內容分發網絡 CDN工作原理CDN的全稱是Content Delivery Network，即內容分發網絡。其目的是通過在現有的Internet中增加一層新的網絡架構，將網站的內容發布到最接近用戶的網絡“邊緣”，使用戶可以就近取得所需的內容，解決Internet網絡擁塞狀況，提高用戶訪問網站的響應速度。從技術上全面解決由于網絡帶寬小、用戶訪問量大、網點分布不均等原因，解決用戶訪問網站的響應速度慢的根本原因。CDN的工作原理[11]：當用戶訪問已經加入CDN服務的網站時，首先通過DNS重定向技術確定最接近用戶的最佳CDN節點，同時將用戶的請求指向該節點。當用戶的請求到達指定節點時，CDN的服務器（節點上的高速緩存)負責將用戶請求的內容提供給用戶。 其用戶訪問的基本流程如下： (1) 用戶在瀏覽器中輸入要訪問的網站的域名；瀏覽器向本地DNS請求對該域名的解析；(2) 本地DNS將請求發到網站的主DNS，主DNS再將域名解析請求轉發到重定向DNS；(3) 重定向DNS根據一系列的策略確定當時最適當的CDN節點，并將解析的結果（IP地址）發給用戶；(4) 用戶向給定的CDN節點請求相應網站的內容；(5) CDN節點中的服務器負責響應用戶的請求，提供所需的內容。 CDN框架結構CDN網絡架構主要由兩大部分，分為中心和邊緣兩部分，中心指CDN網管中心和DNS重定向解析中心，負責全局負載均衡，設備系統安裝在管理中心機房，邊緣主要指異地節點，CDN分發的載體，主要由Cache和負載均衡器等組成。而根據功能特性，一個典型CDN網絡由內容緩存設備、內容交換機、內容路由器、CDN內容管理、內容分發系統五部分組成[11]，如圖22所示。各部分功能見表21。圖22 CDN網絡組成結構圖表21 CND各部分功能表內容緩存位于 POP接入點或多點 IDC中，可緩存靜態的Web內容和流媒體內容內容交換機在IDC中，可對內容緩存負載平衡及訪問控制內容路由器在POP點或IDC中，負載為用戶的請求選擇最佳的訪問站點內容分發系統內容緩存只可緩存靜態內容而對于一些要求對其所有分布站點的內容作鏡像的用戶，我們需要一個內容鏡像系統,這就是內容分發系統CDN管理系統由于CDN系統是提供給多個用戶共享，所以需要一個中心管理系統作為 CDN的集中管理。 Web Caching與CDN系統比較對于都是為了提高網絡服務質量的兩種技術——Web Caching技術和CDN內容分發網絡技術，二者之間具有一定的聯系，同時也存在不同之處，表22是對兩種技術的比較：表22 Web Caching與CDN技術比較比較選項Web Caching技術CDN技術設計目標減小客戶請求響應時間，節省網絡帶寬實現手段移動Web內容的位置實現機制客戶端到服務器抓取服務器向客戶端推送所處位置網絡邊緣，分布在網絡不同位置網絡中心和邊緣相結合系統特點快速訪問、健壯性好、透明性、可擴展性可管理性、安全可靠性技術手段代理緩存、基于組播技術的緩存高速緩存、鏡像服務器評價指標客戶訪問時延、吞吐率、命中率Web服務器負載、Web服務器負載均衡性能特性不理想（35%50%Web內容不可緩存）性能比較理想服務對象部分客戶端部分服務器受益對象所有Web服務器所有客戶端CDN中通過位于網絡不同節點處的Content Server緩存或復制源服務器的部分或全部內容，并由請求路由功能把不用的用戶請求以透明的方式引導至不同的Content Server，這樣相對于單純的Web Caching技術更有效地達到減少網絡數據流量、節約網絡帶寬、縮短用戶訪問時延等目的，從而提高了網絡服務質量。 Web Caching技術可行性報告作為早期解決網頁瀏覽速度不理想的Web Caching技術與P2P內容緩存系統具有很多相似的地方，如都是終端用戶首先提出請求，然后利用緩存機制將請求內容放到設置的緩存中，當下次用戶請求時，直接到緩存中獲取，這樣就達到節省網絡帶寬的目的。但是Web Caching在P2P內容緩存系統中是否可行呢？178。 從透明性角度考慮，Web Caching對于客戶端是透明的，這符合P2P內容緩存服務器的設計要求。178。 從實現機制考慮，Web Caching技術采用由客戶端請求后，從服務器端抓取的辦法，在這點上符合P2P內容緩存服務器的要求。178。 Web Caching獲取的內容是網頁內容，據統計用戶在瀏覽網頁時，會經常反復的訪問某些網頁，因此重復率很高，即使網頁有內容更新，更新量相對來說不是很多，這時候，Web服務器只用返回更新的內容就可以了。而P2P內容緩存服務器獲取的內容包括兩個內容：種子和內容文件，其中內容文件中大多數都是娛樂視頻資料，此時用戶一般不會重復下載，同時這些內容文件不是放在某在固定的服務器上，而是放在某個peer對等節點上，節點的個數也不固定。178。 Web Caching所處的位置是在網絡的邊緣，可以靠近客戶端，也可以接近服務器端，根據其所處的位置也有所不同。由于P2P應用的特點，每個peer節點既是客戶端，也是服務器，所以P2P內容緩存服務器最合適的位置是放在ISP出口處，這樣可以為盡可能對的peer節點服務，節約成本，同時也便于管理。178。 從實現效果來看，Web Caching技術實現起來并不是很理想，有35%50%的網頁不能緩存，這部分中主要是容量比較大的視頻圖像信息，而P2P內容緩存服務器所需要緩存的主要信息恰恰是視頻圖像信息，因此，在實現效果和與P2P內容緩存服務器設計要求不符?？尚行詧蟾娼Y論：根據以上比較可知，Web Caching技術在不能達到P2P內容緩存服務器設計的要求，其方案不可行。 CDN技術可行性報告互聯網媒體分發當前最好的解決方案是一種稱作內容傳送網絡（CDN）的內容傳送體系結構。一個良好構建的CDN可以比網站的原始服務器更快、更連貫地傳送內容，尤其是媒體內容典型的大對象，而且在本質上沒有停機時間。下面是對實現P2P內容緩存服務器設計可行性分析：178。 CDN內容分發網絡主要傳遞內容為大容量的媒體文件，這與目前主流P2P文件下載應用傳遞內容基本一致。178。 CDN系統使用的主要技術有兩個：高速緩存和鏡像服務器，P2P內容緩存服務器使用的是高速緩存服務器，這一點，符合其設計要求。178。 CDN系統在實現效果上比較理想，性能、可伸縮性和可靠性都很好，節省了網絡帶寬。因此在實現方面符合P2P內容緩存服務器的設計要求。178。 CDN內容分發網絡是部署在服務器上，而所有的客戶端都受益，這與P2P內容緩存服務器將緩存設置在ISP出口處，所有網絡接入用戶都能受益相符合。178。 CDN一般為大多數主要的媒體公司利用其解決傳遞媒體內容的，可管理性強。而P2P內容緩存服務器主要是緩存peer節點發布的內容的，內容分散，主動獲取困難，可管理性差。178。 CDN內容分發網絡需要在全球各地設置服務器，成本比較高，而P2P內容下載范圍一般沒有這么廣，不必要全球分布服務器。178。 CDN內容分發網絡提供上傳服務，而P2P內容緩存服務器，不僅僅作為緩存服務器向客戶端提供上傳服務，同時在從原始服務器獲取未緩存內容時，作為一個客戶端，向原始服務器申請下載資源?？尚行詧蟾娼Y論：CDN內容分發網絡與P2P內容緩存服務器有很多相同之處，但是在資金投入，運營模式，實現方式上二者之間仍然存在一定的差距，其技術不能達到P2P內容緩存服務器預定的效果，因此其方案不可行。 本章小結在本章中，我們分別展示了Web Caching技術和CDN內容分法網絡技術的技術原理以及這兩種技術的比較，同時結合目前P2P流量情況進行分析，研究這兩種緩存技術是否適合P2P流量的需要，得到以下結論：(1) Web Caching技術和CDN技術在實現方式、運營模式、資金投入等方面不適合P2P流量的需要，不能滿足有效控制P2P流量的作用。(2) 由于P2P技術在資源共享方面的獨特方式，P2P技術必將能夠與B/S模式共存，成為互聯網發展的重要技術，P2P流量也將越來越多，因此需要設計一種新型的適用于P2P流量的緩存系統方案。4 P2P內容緩存系統研究與設計 P2P內容緩存系統設計目標P2P技術憑借技術的優越性，在出現不久就很快得到廣泛應用，改變了傳統的信息共享方式，讓網絡接入用戶享受到快捷便利的信息資源服務。但是同時也帶來了一定的負面影響，如版權問題，帶寬資源緊缺問題等。對于ISP來說，P2P的快速大規模的使用使ISP的利益受到了很大的影響：帶寬資源被P2P應用耗用殆盡，無法滿足一些客戶帶寬的要求；嚴重沖擊了ISP的傳統業務收入。面對這種情況，ISP目前最緊要的任務就是提出一套方案來解決上述問題。由于P2P技術有獨特的技術優越性，其必將于B/S模式并存，成為互聯網發展的兩種主要技術，因此對于P2P應用采用的方法應該是正確引導的策略。針對目前情況，本文主張設計出一套P2P內容緩存系統（系統示意圖見圖31）來解決當前網絡帶寬緊缺問題。其設計目標及要求如下：(1) 通過一定的技術手段，減少ISP出口的P2P連接數量（流量）或是適當降低用戶信息的下載速度，實現P2P流量在ISP出口處的壓力，從而節省網絡帶寬。(2) 該系統是一個控制與引導P2P應用的平臺，其不但要能支持當前主流P2P應用，同時也要支持以后出現新的P2P應用。(3) 當P2P網絡結構發生變化時，能夠不改變或是改變很少的一部分仍然可以正常工作。(4) P2P內容緩存系統主要針對消耗網絡帶寬的P2P應用。(5) 此系統設計對于網絡接入用戶來說是透明的。(6) P2P內容緩沖系統部署位置：各ISP出口處。(7) 系統資金投入量不能太大。圖31 P2P內容緩存系統示意圖 P2P內容緩存系統總體設計概要目前P2P應用中，以BT為代表的文件內容共享應用是網絡帶寬的最大“殺手”，其他P2P應用占用帶寬量都比較下，而且其信息重復率很小，設置緩存服務器對其無意義，因此該P2P內容緩存服務器系統的主要對象是以BT為代表的文件內容共享應用軟件。 系統設計層次結構首先，所有的P2P應用都是屬于OSI模型的第七層——應用層的，其次，所有的P2P 應用都是一種通信過程，無論是通過TCP傳輸方式，還是UDP方式；最后，由于ISP需要將所有經過ISP路由器的P2P數據檢測出來，改變其路由，轉發到設置好的P2P內容緩存服務器中，所以，網絡層路由轉發策略也是系統中很重要的部分。系統層次結構圖32所示：應用層傳輸層網絡層P2P應用軟件TCP或UDP連接路由策略設置圖32 系統層級結構圖 系統功能模塊P2P內容緩存系統作為ISP出口處控制P2P內容下載的系統，主要有三個任務，發現P2P應用、設置策略控制P2P內容下載、緩存P2P內容，因此根據系統的功能特性將P2P內容緩存系統分為三個模塊：(1) P2P路由策略設計部分工作在OSI七層網絡模型中的第三層——網絡層，設置在ISP路由器上。根據P2P數據流的特征進行P2P流量檢測，當發現P2P數據時，根據設定的策略路由決定是轉發給P2P緩存服務器進行處理，或是從ISP出口通過。(2) P2P緩存策略設計部分這部分的作用是解析終端用戶發送的數據包，對用戶請求進行分析，并查詢P2P內容緩存服務器中有無用戶請求數據，有用戶請求的數據時，則將數據發送給請求該內容的用戶即可，否則，則需要向ISP外的服務器請求下載所需內容，下載完畢之后再將數據轉發給請求該內容的用戶。同時，設計一個主動下載P2P內容策略，預測用戶可能需要下載的P2P內容。(3) P2P內容服務器