一種p2p內(nèi)容下載緩存系統(tǒng)設(shè)計(jì)和下載軟件開(kāi)發(fā)(專(zhuān)業(yè)版)

　　

【正文】 當(dāng)需要寫(xiě)文件時(shí)，則執(zhí)行open、（lseek）、write、close；當(dāng)需要讀文件時(shí)則執(zhí)行open、（lseek）、read、close。 P2P種子下載進(jìn)程LISTENPORT 3333 P2P種子下載進(jìn)程監(jiān)聽(tīng)端口；LISTENNUM 1000 P2P種子下載進(jìn)程監(jiān)聽(tīng)連接的最大數(shù)；MAXDATA 1512 HTTP GET請(qǐng)求內(nèi)容的最大字節(jié)數(shù)；MAXMSG 5109 客戶(hù)端與服務(wù)器之間進(jìn)行交換信息的最大字節(jié)數(shù)，也即是支持最大 每片為4M字節(jié)的文件下載；MAXSEED 1024*1024 種子文件的最大字節(jié)數(shù)，可支持1M以?xún)?nèi)在種子文件；MAXPIECE 8*100*1024 內(nèi)容文件生成種子時(shí)允許最大的分片數(shù)，假設(shè)每片大小為128KB， 那么該系統(tǒng)支持100G以上的文件下載； 178。begin：4字節(jié)整數(shù)，指明片內(nèi)的字節(jié)偏移量。5) peer_id：客戶(hù)端使用的唯一性ID，20字節(jié)字符串。178。開(kāi)發(fā)語(yǔ)言選擇C語(yǔ)言，C提供了十分靈活的操作，目前在商業(yè)領(lǐng)域中被廣泛采用。其中，種子自動(dòng)搜索算法，是本系統(tǒng)中的一個(gè)關(guān)鍵，也是系統(tǒng)能夠及時(shí)響應(yīng)用戶(hù)請(qǐng)求內(nèi)容的重要保證。Tracker 對(duì)所有下載者的信息進(jìn)行維護(hù)，確保下載者之間信息的同步。(3) P2P內(nèi)容服務(wù)器設(shè)計(jì)部分由于本系統(tǒng)需要緩存大量的P2P內(nèi)容數(shù)據(jù)，所以設(shè)置此內(nèi)容緩存服務(wù)器。面對(duì)這種情況，ISP目前最緊要的任務(wù)就是提出一套方案來(lái)解決上述問(wèn)題。因此在實(shí)現(xiàn)方面符合P2P內(nèi)容緩存服務(wù)器的設(shè)計(jì)要求。 Web Caching獲取的內(nèi)容是網(wǎng)頁(yè)內(nèi)容，據(jù)統(tǒng)計(jì)用戶(hù)在瀏覽網(wǎng)頁(yè)時(shí)，會(huì)經(jīng)常反復(fù)的訪問(wèn)某些網(wǎng)頁(yè)，因此重復(fù)率很高，即使網(wǎng)頁(yè)有內(nèi)容更新，更新量相對(duì)來(lái)說(shuō)不是很多，這時(shí)候，Web服務(wù)器只用返回更新的內(nèi)容就可以了。其目的是通過(guò)在現(xiàn)有的Internet中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶(hù)的網(wǎng)絡(luò)“邊緣”，使用戶(hù)可以就近取得所需的內(nèi)容，解決Internet網(wǎng)絡(luò)擁塞狀況，提高用戶(hù)訪問(wèn)網(wǎng)站的響應(yīng)速度。因此，本論文主張采取正確引導(dǎo)P2P流量的策略的方法，提出P2P內(nèi)容緩存服務(wù)器的概念，利用緩存技術(shù)，將P2P內(nèi)容放ISP設(shè)置的緩存器中來(lái)解決ISP出口擁擠的狀況。典型的代表就是Skype。相反，如果連接到的IP數(shù)和port 數(shù)相差大到10個(gè)以上，則認(rèn)為是非P2P流量。(5) 上下行流量對(duì)稱(chēng)。 集中式網(wǎng)絡(luò)模型，中心服務(wù)器存儲(chǔ)所有節(jié)點(diǎn)的信息的目錄，而信息本身存在各個(gè)節(jié)點(diǎn)中。服務(wù)器程序負(fù)責(zé)有效地管理系統(tǒng)資源，如管理一個(gè)信息數(shù)據(jù)庫(kù)，其主要工作是當(dāng)多個(gè)客戶(hù)并發(fā)地請(qǐng)求服務(wù)器上的相同資源時(shí)，對(duì)這些資源進(jìn)行最優(yōu)化管理。同時(shí)，實(shí)現(xiàn)了網(wǎng)絡(luò)運(yùn)營(yíng)商對(duì)P2P內(nèi)容的監(jiān)管，為P2P技術(shù)推動(dòng)互聯(lián)網(wǎng)健康快速的發(fā)展起到了重要的作用。盡我所知，除文中特別加以標(biāo)注和致謝的地方外，不包含其他人或組織已經(jīng)發(fā)表或公布過(guò)的研究成果，也不包含我為獲得 及其它教育機(jī)構(gòu)的學(xué)位或?qū)W歷而使用過(guò)的材料。據(jù)統(tǒng)計(jì)，目前我國(guó)互聯(lián)網(wǎng)P2P流量已占總流量的70%左右，而以BT為主的P2P下載流量已占P2P總流量的80%，因此為了緩解BT等應(yīng)用帶來(lái)的大量帶寬的占用，ISP通過(guò)充分挖掘基礎(chǔ)網(wǎng)絡(luò)設(shè)備功能來(lái)達(dá)到最基本的效果。2 P2P技術(shù)介紹 傳統(tǒng)資源共享方式在如今的互聯(lián)網(wǎng)時(shí)代，資源共享是其非常重要的功能之一。同時(shí)，隨著Internet的發(fā)展和人們對(duì)P2P思想的理解，其他一些基于P2P的應(yīng)用也不斷出現(xiàn)[3]。由于P2P中每一個(gè)節(jié)點(diǎn)都是服務(wù)器，為其他節(jié)點(diǎn)服務(wù)，所以數(shù)據(jù)傳輸速率比傳統(tǒng)C/S模式更快。（常用P2P應(yīng)用流量特征比特串見(jiàn)表31）(3) 連接模式識(shí)別：不同的業(yè)務(wù)其建立連接的方式都有相應(yīng)特征，可通過(guò)IP 地址和端口的相應(yīng)關(guān)系識(shí)別P2P業(yè)務(wù)。作為一種新興的技術(shù)，基于該技術(shù)的應(yīng)用已成為互聯(lián)網(wǎng)上最流行的應(yīng)用之一，對(duì)整個(gè)通信產(chǎn)業(yè)和傳媒業(yè)都帶來(lái)了巨大的沖擊[8]。同時(shí)，這種方法，也不利于P2P技術(shù)的發(fā)展，互聯(lián)網(wǎng)的發(fā)展。(2) 減少了終端用戶(hù)的響應(yīng)時(shí)間，客戶(hù)端的效率提高，也增加了用戶(hù)對(duì)ISP的滿(mǎn)意度。178。 CDN系統(tǒng)使用的主要技術(shù)有兩個(gè)：高速緩存和鏡像服務(wù)器，P2P內(nèi)容緩存服務(wù)器使用的是高速緩存服務(wù)器，這一點(diǎn)，符合其設(shè)計(jì)要求。4 P2P內(nèi)容緩存系統(tǒng)研究與設(shè)計(jì) P2P內(nèi)容緩存系統(tǒng)設(shè)計(jì)目標(biāo)P2P技術(shù)憑借技術(shù)的優(yōu)越性，在出現(xiàn)不久就很快得到廣泛應(yīng)用，改變了傳統(tǒng)的信息共享方式，讓網(wǎng)絡(luò)接入用戶(hù)享受到快捷便利的信息資源服務(wù)。根據(jù)P2P數(shù)據(jù)流的特征進(jìn)行P2P流量檢測(cè)，當(dāng)發(fā)現(xiàn)P2P數(shù)據(jù)時(shí)，根據(jù)設(shè)定的策略路由決定是轉(zhuǎn)發(fā)給P2P緩存服務(wù)器進(jìn)行處理，或是從ISP出口通過(guò)。(5) 文件下載方式對(duì)于用戶(hù)請(qǐng)求的P2P內(nèi)容，當(dāng)緩存服務(wù)器中不存在時(shí)，采取何種方式去獲取內(nèi)容是系統(tǒng)種的一個(gè)重要問(wèn)題，以傳統(tǒng)的FTP方式，下載速度慢；以P2P下載方式可以到其擁有該內(nèi)容的其他節(jié)點(diǎn)上下載，速度比較快，但是占用資源較多，影響響應(yīng)速度。 自動(dòng)搜索種子模塊：根據(jù)種子的特征信息，自動(dòng)識(shí)別、搜索，找到熱門(mén)種子，進(jìn)行下載。方案二：系統(tǒng)方案相對(duì)簡(jiǎn)單，實(shí)現(xiàn)容易；支持除DHT以外的所有P2P網(wǎng)絡(luò)結(jié)構(gòu)，但是支持?jǐn)U展，經(jīng)過(guò)適當(dāng)修改后，即可支持DHT網(wǎng)絡(luò)。①為Client與內(nèi)容緩存服務(wù)器請(qǐng)求建立連接的過(guò)程；②為服務(wù)器使用新的socket與Client建立連接；③為P2P種子下載主進(jìn)程派生出一子進(jìn)程處理Client的請(qǐng)求內(nèi)容；④為子進(jìn)程查詢(xún)緩存服務(wù)器，根據(jù)Client請(qǐng)求片找到Client所需內(nèi)容；⑤為返回Client請(qǐng)求內(nèi)容過(guò)程，直到Client所需內(nèi)容下載完畢后斷開(kāi)連接，釋放資源； 程序流程圖P2P種子下載進(jìn)程程序流程圖見(jiàn)圖43；P2P內(nèi)容服務(wù)進(jìn)程程序流程圖見(jiàn)圖44。2) pstr:協(xié)議的字符串標(biāo)志（通常為BitTorrent protocol）。begin：4字節(jié)整數(shù)，指明片內(nèi)的字節(jié)偏移量。這里可以看到客戶(hù)端能夠接收的類(lèi)型有g(shù)if、bitmap、jpeg等等。最大的區(qū)別就在于exit()函數(shù)在調(diào)用exit系統(tǒng)之前要檢查文件打開(kāi)情況，把文件緩沖區(qū)中的內(nèi)容寫(xiě)回文件，而_exit()則不執(zhí)行此操作。經(jīng)仔細(xì)檢查，發(fā)現(xiàn)在打開(kāi)文件時(shí)，open函數(shù)代入了一個(gè)參數(shù)O_TRUNC，這個(gè)參數(shù)的代表：當(dāng)打開(kāi)文件存在時(shí)，并且以只讀或只寫(xiě)方式成功打開(kāi)時(shí)，首先全部刪除文件原有數(shù)據(jù)，再對(duì)文件進(jìn)行操作，因此才會(huì)發(fā)現(xiàn)原文件大小變?yōu)?。系統(tǒng)配置表見(jiàn)41，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)[14]見(jiàn)圖45。監(jiān)聽(tīng)端口是該peer的DHT節(jié)點(diǎn)的監(jiān)聽(tīng)端口，該peer應(yīng)被插入到當(dāng)?shù)芈酚杀砩希ㄈ绻鸇HT Tracker支持的話）；說(shuō)明：在連接開(kāi)始時(shí)，Peer之間的狀態(tài)為是“阻塞”和“無(wú)興趣”狀態(tài)，即：216。a) keepalive：len=0000 keepalive消息長(zhǎng)度固定，消息長(zhǎng)度后面沒(méi)有任何數(shù)據(jù)。 /* 地址族 */　　 unsigned short int sin_port。調(diào)試工具選擇GDB工具，它可以方便的設(shè)置斷點(diǎn)、單步跟蹤，能夠滿(mǎn)足全部的調(diào)試程序的需要。本方案主要由種子請(qǐng)求處理模塊、內(nèi)容請(qǐng)求處理模塊、種子自動(dòng)搜索模塊三個(gè)模塊組成，每個(gè)模塊之間相對(duì)獨(dú)立，互不干擾。由于本系統(tǒng)再邏輯上比較復(fù)雜，為了使系統(tǒng)更加簡(jiǎn)潔，功能更加明確，因此根據(jù)其功能將系統(tǒng)分為六個(gè)部分：178。另外，由于P2P內(nèi)容緩存數(shù)據(jù)庫(kù)的空間是有限的，所以本部分存在一個(gè)信息淘汰算法，淘汰一段時(shí)間內(nèi)沒(méi)有用戶(hù)請(qǐng)求下載的P2P內(nèi)容或者是該P(yáng)2P內(nèi)容發(fā)生更新的P2P內(nèi)容。其設(shè)計(jì)目標(biāo)及要求如下：(1) 通過(guò)一定的技術(shù)手段，減少I(mǎi)SP出口的P2P連接數(shù)量（流量）或是適當(dāng)降低用戶(hù)信息的下載速度，實(shí)現(xiàn)P2P流量在ISP出口處的壓力，從而節(jié)省網(wǎng)絡(luò)帶寬。178。 Web Caching所處的位置是在網(wǎng)絡(luò)的邊緣，可以靠近客戶(hù)端，也可以接近服務(wù)器端，根據(jù)其所處的位置也有所不同。當(dāng)用戶(hù)的請(qǐng)求到達(dá)指定節(jié)點(diǎn)時(shí)，CDN的服務(wù)器（節(jié)點(diǎn)上的高速緩存)負(fù)責(zé)將用戶(hù)請(qǐng)求的內(nèi)容提供給用戶(hù)。Web高速緩存服務(wù)器[10]通常是網(wǎng)絡(luò)中的一個(gè)專(zhuān)用的計(jì)算機(jī)系統(tǒng)，它監(jiān)視Web對(duì)象請(qǐng)求， 獲得這些對(duì)象， 然后存儲(chǔ)這些對(duì)象。而P2P技術(shù)的出現(xiàn)，完全改變了這種狀況，用戶(hù)長(zhǎng)時(shí)間在線與其他用戶(hù)共享信息，用戶(hù)接入帶寬長(zhǎng)時(shí)間處于飽和狀態(tài)，網(wǎng)絡(luò)流量急劇上升。(6) (TCP/UDP) IP pair 法識(shí)別：根據(jù)觀察和研究，同時(shí)采用了TCP和UDP協(xié)議的應(yīng)用絕大部分都是P2P 流量，除了特殊的幾個(gè)應(yīng)用，如：DNS，NETBIOS，IRC，游戲和多媒體業(yè)務(wù)流量，但這些應(yīng)用都有特定的端口，如135,137,139,445,53,3531 等，可以通過(guò)端口匹配識(shí)別這些流量（見(jiàn)圖1），其余的業(yè)務(wù)流量同時(shí)應(yīng)用了TCP和UDP協(xié)議的流量，即為P2P 流量。目前P2P技術(shù)的應(yīng)用很廣，涉及到很多領(lǐng)域，在空間分布上也比較廣泛。178。P，它的全稱(chēng)就是“文件傳送協(xié)議”，F(xiàn)TP協(xié)議以其穩(wěn)定、高速、簡(jiǎn)單的文件傳輸而一直保持著很大的生命力。 peertopeer。作者簽名：　　 　 　　 日　 期：　　 　 　　 學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。作者簽名： 日期： 年 月 日導(dǎo)師簽名： 日期： 年 月 日指導(dǎo)教師評(píng)閱書(shū)指導(dǎo)教師評(píng)價(jià)：一、撰寫(xiě)（設(shè)計(jì)）過(guò)程學(xué)生在論文（設(shè)計(jì)）過(guò)程中的治學(xué)態(tài)度、工作精神□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格學(xué)生掌握專(zhuān)業(yè)知識(shí)、技能的扎實(shí)程度□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格學(xué)生綜合運(yùn)用所學(xué)知識(shí)和專(zhuān)業(yè)技能分析和解決問(wèn)題的能力□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格研究方法的科學(xué)性；技術(shù)線路的可行性；設(shè)計(jì)方案的合理性□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格完成畢業(yè)論文（設(shè)計(jì)）期間的出勤情況□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格二、論文（設(shè)計(jì)）質(zhì)量論文（設(shè)計(jì)）的整體結(jié)構(gòu)是否符合撰寫(xiě)規(guī)范？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格是否完成指定的論文（設(shè)計(jì)）任務(wù)（包括裝訂及附件）？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格三、論文（設(shè)計(jì)）水平論文（設(shè)計(jì)）的理論意義或?qū)鉀Q實(shí)際問(wèn)題的指導(dǎo)意義□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文的觀念是否有新意？設(shè)計(jì)是否有創(chuàng)意？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文（設(shè)計(jì)說(shuō)明書(shū)）所體現(xiàn)的整體水平□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格建議成績(jī)：□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格（在所選等級(jí)前的□內(nèi)畫(huà)“√”）指導(dǎo)教師： （簽名） 單位： （蓋章）年 月 日評(píng)閱教師評(píng)閱書(shū)評(píng)閱教師評(píng)價(jià)：一、論文（設(shè)計(jì)）質(zhì)量論文（設(shè)計(jì)）的整體結(jié)構(gòu)是否符合撰寫(xiě)規(guī)范？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格是否完成指定的論文（設(shè)計(jì)）任務(wù)（包括裝訂及附件）？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格二、論文（設(shè)計(jì)）水平論文（設(shè)計(jì)）的理論意義或?qū)鉀Q實(shí)際問(wèn)題的指導(dǎo)意義□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文的觀念是否有新意？設(shè)計(jì)是否有創(chuàng)意？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文（設(shè)計(jì)說(shuō)明書(shū)）所體現(xiàn)的整體水平□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格建議成績(jī)：□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格（在所選等級(jí)前的□內(nèi)畫(huà)“√”）評(píng)閱教師： （簽名） 單位： （蓋章）年 月 日教研室（或答辯小組）及教學(xué)系意見(jiàn)教研室（或答辯小組）評(píng)價(jià)：一、答辯過(guò)程畢業(yè)論文（設(shè)計(jì)）的基本要點(diǎn)和見(jiàn)解的敘述情況□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格對(duì)答辯問(wèn)題的反應(yīng)、理解、表達(dá)情況□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格學(xué)生答辯過(guò)程中的精神狀態(tài)□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格二、論文（設(shè)計(jì)）質(zhì)量論文（設(shè)計(jì)）的整體結(jié)構(gòu)是否符合撰寫(xiě)規(guī)范？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格是否完成指定的論文（設(shè)計(jì)）任務(wù)（包括裝訂及附件）？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格三、論文（設(shè)計(jì)）水平論文（設(shè)計(jì)）的理論意義或?qū)鉀Q實(shí)際問(wèn)題的指導(dǎo)意義□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文的觀念是否有新意？設(shè)計(jì)是否有創(chuàng)意？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文（設(shè)計(jì)說(shuō)明書(shū)）所體現(xiàn)的整體水平□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格評(píng)定成績(jī)：□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格（在所選等級(jí)前的□內(nèi)畫(huà)“√”）教研室主任（或答辯小組組長(zhǎng)）： （簽名）年 月 日教學(xué)系意見(jiàn)：系主任： （簽名）年 月 日一種P2P內(nèi)容下載緩存系統(tǒng)設(shè)計(jì)和下載軟件開(kāi)發(fā)摘