[工學(xué)]pc集群高性能運算系統(tǒng)的機(jī)構(gòu)設(shè)計和應(yīng)用軟件的開發(fā)(編輯修改稿)

　

【文章內(nèi)容簡介】 20 SCSI都代表著一種具體的硬盤接口，各自的速度差異也較大。IDE的英文全稱為“Integrated Drive Electronics”，即“電子集成驅(qū)動器”，它的本意是指把“硬盤控制器”與“盤體”集成在一起的硬盤驅(qū)動器。SCSI的英文全稱為“Small Computer System Interface”（小型計算機(jī)系統(tǒng)接口），是同IDE（ATA）完全不同的接口，IDE接口是普通PC的標(biāo)準(zhǔn)接口，而SCSI并不是專門為硬盤設(shè)計的接口，是一種廣泛應(yīng)用于小型機(jī)上的高速數(shù)據(jù)傳輸技術(shù)。SCSI接口具有應(yīng)用范圍廣、多任務(wù)、帶寬大、CPU占用率低，以及熱插拔等優(yōu)點，但較高的價格使得它很難如IDE硬盤般普及，因此SCSI硬盤主要應(yīng)用于中、高端服務(wù)器和高檔工作站中。 光纖通道的英文拼寫是Fibre Channel，和SCIS接口一樣光纖通道最初也不是為硬盤設(shè)計開發(fā)的接口技術(shù)，是專門為網(wǎng)絡(luò)系統(tǒng)設(shè)計的，但隨著存儲系統(tǒng)對速度的需求，才逐漸應(yīng)用到硬盤系統(tǒng)中。光纖通道硬盤是為提高多硬盤存儲系統(tǒng)的速度和靈活性才開發(fā)的，它的出現(xiàn)大大提高了多硬盤系統(tǒng)的通信速度。光纖通道的主要特性有：熱插拔性、高速帶寬、遠(yuǎn)程連接、連接設(shè)備數(shù)量大等。光纖通道是為在像服務(wù)器這樣的多硬盤系統(tǒng)環(huán)境而設(shè)計，能滿足高端工作站、服務(wù)器、海量存儲子網(wǎng)絡(luò)、外設(shè)間通過集線器、交換機(jī)和點對點連接進(jìn)行雙向、串行數(shù)據(jù)通訊等系統(tǒng)對高數(shù)據(jù)傳輸率的要求。 SATA（Serial ATA）口的硬盤又叫串口硬盤，是現(xiàn)在硬盤的發(fā)展的趨勢。2001年，由Intel、APT、Dell、IBM、希捷、邁拓這幾大廠商組成的Serial ATA委員會正式確立了Serial ATA ，2002年，雖然串行ATA的相關(guān)設(shè)備還未正式上市，但Serial ATA委員會已搶先確立了Serial ATA 。Serial ATA采用串行連接方式，串行ATA總線使用嵌入式時鐘信號，具備了更強的糾錯能力，與以往相比其最大的區(qū)別在于能對傳輸指令（不僅僅是數(shù)據(jù)）進(jìn)行檢查，如果發(fā)現(xiàn)錯誤會自動矯正，這在很大程度上提高了數(shù)據(jù)傳輸?shù)目煽啃浴４薪涌谶€具有結(jié)構(gòu)簡單、支持熱插拔的優(yōu)點。其次，Serial ATA的起點更高、發(fā)展?jié)摿Ω螅琒erial ATA ，這比目前最新的并行ATA（即ATA/133）所能達(dá)到133MB/s的最高數(shù)據(jù)傳輸率還高，而在Serial ATA ，最終SATA將實現(xiàn)600MB/s的最高數(shù)據(jù)傳輸率。目前又出現(xiàn)了SAS接口的硬盤，SAS(Serial Attached SCSI)即串行連接SCSI，是新一代的SCSI技術(shù)，和現(xiàn)在流行的Serial ATA(SATA)硬盤相同，都是采用串行技術(shù)以獲得更高的傳輸速度，并通過縮短連結(jié)線改善內(nèi)部空間等。SAS是并行SCSI接口之后開發(fā)出的全新接口。此接口的設(shè)計是為了改善存儲系統(tǒng)的效能、可用性和擴(kuò)充性，并且提供與SATA硬盤的兼容性。 SAS的接口技術(shù)可以向下兼容SATA。具體來說，二者的兼容性主要體現(xiàn)在物理層和協(xié)議層的兼容。在物理層，SAS接口和SATA接口完全兼容，SATA硬盤可以直接使用在SAS的環(huán)境中，從接口標(biāo)準(zhǔn)上而言，SATA是SAS的一個子標(biāo)準(zhǔn)，因此SAS控制器可以直接操控SATA硬盤，但是SAS卻不能直接使用在SATA的環(huán)境中，因為SATA控制器并不能對SAS硬盤進(jìn)行控制；在協(xié)議層，SAS由3種類型協(xié)議組成，根據(jù)連接的不同設(shè)備使用相應(yīng)的協(xié)議進(jìn)行數(shù)據(jù)傳輸。其中串行SCSI協(xié)議(SSP)用于傳輸SCSI命令；SCSI管理協(xié)議(SMP)用于對連接設(shè)備的維護(hù)和管理；SATA通道協(xié)議(STP)用于SAS和SATA之間數(shù)據(jù)的傳輸。因此在這3種協(xié)議的配合下，SAS可以和SATA以及部分SCSI設(shè)備無縫結(jié)合。綜合考慮硬盤的性能，我們選擇了IBM 146GB 10K SAS 熱插拔HDD 硬盤。 交換機(jī)的選擇對于現(xiàn)在微機(jī)集群，當(dāng)處理器的速度達(dá)到一定數(shù)值級之后，集群的整體性能很大程度是由節(jié)點之間的網(wǎng)絡(luò)傳輸速度決定的。因此，為了構(gòu)建高性能的集群，除了節(jié)點選擇好的網(wǎng)卡外，最重要的就是交換機(jī)的選擇。首先是交換機(jī)背板帶寬，這決定了交換機(jī)的速度。其次要考慮交換機(jī)的丟包率，丟包率也叫幀丟失。網(wǎng)絡(luò)就象一條交通要路，其傳輸?shù)臄?shù)據(jù)猶如行駛的車輛。車的流量隨時變化的，也就是數(shù)據(jù)流量在不停的變化，處理器的速度也隨之不停的改變，并且呈現(xiàn)很尖銳的曲線變化。丟包恰恰出現(xiàn)在負(fù)載變化率最大的時候。這是因為處理器在處理交換機(jī)緩存中的數(shù)據(jù)時，由于瞬間的數(shù)據(jù)量變化使緩存與處理器之間造成瞬間的傳輸擁塞或中斷，隨之出現(xiàn)了丟包現(xiàn)象，數(shù)據(jù)就從處理器和緩存之間的這條“縫”中漏掉了。為了解決這個問題，高端的交換機(jī)一般采用加大緩存和使用更快的處理器，%。為此，我們選擇了Force10 E1200作為數(shù)據(jù)中心交換機(jī)，是一款全線速萬兆以太網(wǎng)交換機(jī)，它的背板帶寬可達(dá)900Gbps,可提供672個全線速以太網(wǎng)端口或56個10GB的端口。Force10 E系列交換機(jī)提供高密度千兆以太網(wǎng)端口，匯接配置了千兆以太網(wǎng)適配器的服務(wù)器，提供無阻塞、高性能的服務(wù)器群之間的通信。Force10為追求更高性能和更低總體擁有成本的下一代數(shù)據(jù)中心提供了新型解決方案，產(chǎn)品已經(jīng)在Google、Yahoo、Amazon、RentACar、ESPN、Friendster、Microsoft、百度等數(shù)據(jù)中心中使用。作為集群高性能運算系統(tǒng)，除了運算部分外，集中網(wǎng)絡(luò)存儲是集群系統(tǒng)另一個重要的部分。網(wǎng)絡(luò)存儲的容量、速度和可靠性是存儲的重要指標(biāo)，同時對于集群的整體運算性能起到至關(guān)重要的作用。集群在運算過程中需要從集中存儲上讀取數(shù)據(jù)，而且運算的中間數(shù)據(jù)和運算結(jié)果存儲到網(wǎng)絡(luò)存儲上。目前集群常用的存儲結(jié)構(gòu)多位SAN結(jié)構(gòu)。由于地震資料數(shù)據(jù)量比較大，特別是隨著野外采集精度的不斷提高，僅吉林探區(qū)每年三維的數(shù)據(jù)量就有12TB左右，特別是進(jìn)幾年疊前時間偏移和深度偏移等處理技術(shù)的應(yīng)用，不但要耗費大量的機(jī)器時間，而且需要大量存儲，這都對于存儲提出很高的要求。不但要求海量存儲，而且對磁盤的可靠性和速度提出了更高的要求。目前網(wǎng)絡(luò)存儲多維雙通到結(jié)構(gòu)，每個通道的帶寬達(dá)4GB，髙速緩存達(dá)8GB~16GB。我們選擇HDS AMS 1000存儲，該系列存儲產(chǎn)品采用最新的模塊化陣列系統(tǒng)結(jié)構(gòu)，與HDS USP產(chǎn)品同為HDS TagmaStore家族系列產(chǎn)品。其內(nèi)部采用內(nèi)外光纖通路設(shè)計、雙控制器管理、 高速緩存全部為NV－CACHE與鏡像寫設(shè)計模塊化設(shè)計以及部件級熱拔插設(shè)計能夠提供247的即時數(shù)據(jù)存取。其主要特點有：以中端價格，提供高端性能與容量。將服務(wù)器內(nèi)置的存儲遷移到可擴(kuò)展的外部存儲上，將多個存儲系統(tǒng)整合到一個存儲平臺，或構(gòu)建第一個SAN；支持iSCSI和/或光纖通道連接支持NAS連接，支持協(xié)作性的文件共享應(yīng)用將SAN、iSCSI和NAS整合到一個平臺中（同時支持任何兩種協(xié)議）；采用SATA和光纖通道磁盤，容量從幾個TB到超過300TB，跨系統(tǒng)提供應(yīng)用特有的性能、可用性和保護(hù)；具有Cache Partition Manager和RAID6等高級功能，幫助提高性能、可靠性和可用性分區(qū)和專用高速緩存可以使大數(shù)據(jù)流量的應(yīng)用獲得最佳性能。4096個邏輯單元 (LUN)為幾乎任何工作量提供卓越的性能；選擇SATA/光纖磁盤混插或單一光纖通道磁盤配置，采用最經(jīng)濟(jì)的存儲解決方案執(zhí)行任何存儲任務(wù)。整合存儲，預(yù)見增長。進(jìn)行整合和集中管理以降低成本；SATA和光纖通道混插配置可最大擴(kuò)展為300TB，光纖通道磁盤配置可擴(kuò)展為135TB。符合法規(guī)要求，保護(hù)數(shù)據(jù)，減少恢復(fù)時間。增強的SATA數(shù)據(jù)保護(hù)提供了無與倫比的數(shù)據(jù)可用性和可恢復(fù)性；RAID6既確保了高可用性，又保證了RAID組重建靈活性；HiTrack174。“回叫”服務(wù)/遠(yuǎn)程維護(hù)工具實現(xiàn)了724診斷服務(wù)，防止隱患成為故障；完全冗余的熱插拔功能可以保證應(yīng)用運行；系統(tǒng)內(nèi)卷復(fù)制或增量復(fù)制可滿足頻繁的在線備份需求，Hitachi TrueCopy? Remote Replication軟件實現(xiàn)了遠(yuǎn)程復(fù)制。擴(kuò)展現(xiàn)有的SAN或部署到分層架構(gòu)中。使用存儲管理軟件和Hitachi HiCommand174。 Suite軟件來管理和配置系統(tǒng)，通過支持iSCSI連接（AMS1000支持雙協(xié)議），將SAN延伸到更小的服務(wù)器，采用歸檔和長期防篡改數(shù)據(jù)保留解決方案，滿足監(jiān)管達(dá)標(biāo)要求，與日立企業(yè)級存儲系統(tǒng)結(jié)合，在分層存儲環(huán)境中組建完整的數(shù)據(jù)生命周期管理解決方案。17到此，集群的硬件部分選擇基本完成，圖22為集群結(jié)構(gòu)示意圖：接用戶局域網(wǎng)。用戶網(wǎng)絡(luò) KVM管理網(wǎng)絡(luò)Supervisor萬兆網(wǎng)絡(luò)交換機(jī)管理節(jié)點12I/O節(jié)點24計算節(jié)點656機(jī)柜（16）42U機(jī)柜(12)計算網(wǎng)絡(luò)42U機(jī)柜(1)…… 百兆網(wǎng)絡(luò)交換機(jī) 百兆網(wǎng)絡(luò)交換機(jī)機(jī)柜（20）機(jī)柜（222） 用戶網(wǎng)絡(luò)工作站光纖存儲交換機(jī) 管理網(wǎng)絡(luò) 計算網(wǎng)絡(luò) 圖22 HDSAMS1000 系統(tǒng)軟件的安裝首先進(jìn)行管理節(jié)點的安裝，為了保證系統(tǒng)的穩(wěn)定性和處理應(yīng)用軟件的需求，我們安裝Radhat ,對存儲節(jié)點的安裝可以和管理節(jié)點的安裝可以同時進(jìn)行，只不過在對存儲節(jié)點安裝時需要安裝HBA卡的驅(qū)動，使得存儲節(jié)點可以掛接光纖存儲。 計算節(jié)點的安裝則是通過管理節(jié)點通過網(wǎng)絡(luò)進(jìn)行安裝的。具體安裝過程是，管理節(jié)點安裝完后，將安裝鏡像拷貝到管理節(jié)點的制定目錄中，其他節(jié)點就可以通過網(wǎng)絡(luò)同時進(jìn)行安裝。安裝通常在一至兩個小時內(nèi)完成安裝。在系統(tǒng)安裝完成后，通常需要進(jìn)行一些配置。我們的大部分配置工作是在管理節(jié)點上進(jìn)行的。對于一個較大的集群來說，節(jié)點機(jī)一多，網(wǎng)絡(luò)管理的任務(wù)也相當(dāng)繁重，即一些網(wǎng)絡(luò)參數(shù)如IP地址、子網(wǎng)掩碼、網(wǎng)關(guān)等的配置。最好能有一個集中式的管理，自動進(jìn)行配置。這個問題的解決辦法就是dhcp。Dhcp是dynamic host configuration protocol的縮寫，即動態(tài)主機(jī)配置協(xié)議。Dhcp的功能是客戶機(jī)通過dhcp服務(wù)器來獲取網(wǎng)絡(luò)的配置參數(shù)。Dhcp 服務(wù)器實際上是管理網(wǎng)絡(luò)參數(shù)的一個服務(wù)器。Dhcp服務(wù)器有三種IP地址分配方法。自動分配，給客戶機(jī)分配一個固定地址；動態(tài)分配；管理員手工分配。通常我們采取自動分配的方式。Dhcp的守護(hù)進(jìn)程為dhcpd,配置文件為/etc/。我們通常配置Dhcp服務(wù)器只對允許的MAC地址做出相應(yīng)，即將每個節(jié)點的MAC地址和IP進(jìn)行綁定。下面是一個簡單的配置文件的例子：Node0:/etc cat Serveridentifier 。Deny unknownclients。Subnet netmask {Usehostdeclname on。Optiong subnetmask 。Option routers 。Group { Servername “”。 Hostname node2 {hardware ethetnet 00:05:5b:ff:cf:76。fixedaddress 。}}}Node0:/etc.微機(jī)集群實質(zhì)上是一些微機(jī)用網(wǎng)絡(luò)連接起來，所以能不能進(jìn)行并行計算首先是網(wǎng)絡(luò)功能是否正常。檢測TCP/IP、NFS、NIS、遠(yuǎn)程shell命令、遠(yuǎn)程無口令登入功能是否正常。注意超級網(wǎng)絡(luò)服務(wù)器的配置文件為/etc/。必須保證在服務(wù)器和節(jié)點機(jī)上都確保shell、login服務(wù)已經(jīng)被激活、啟動. 微機(jī)集群的性能測試 我們通常使用 Linpack測試程序?qū)哼M(jìn)行速度測試。Linux 速度測試是世界超級計算機(jī)500強排序的依據(jù)，其測試速度只對線性代數(shù)有效。Linpack測試給出的是每秒中能達(dá)到的最大浮點運算次數(shù)。得到的最大浮點運算次數(shù)的大小與Linpack測試程序具體的計算類型有關(guān)，就是計算過程中數(shù)據(jù)交換的頻繁程度有關(guān)。就是與每單位次數(shù)的浮點計算中要進(jìn)行多少大小的數(shù)據(jù)交換，即通常所說的數(shù)據(jù)密集程度有關(guān)。 集群運算系統(tǒng)的優(yōu)化集群在進(jìn)行運算的時候一方面在計算節(jié)點之間要傳輸大量的數(shù)據(jù)和信息，同時需要從集中存儲中提取大量的數(shù)據(jù)，而從集中存儲中提取數(shù)據(jù)是通過I/O節(jié)點進(jìn)行的。這樣的數(shù)據(jù)傳輸可能是一個數(shù)據(jù)包含有大量的數(shù)據(jù)塊，也可能是一個數(shù)據(jù)包只有很少數(shù)據(jù)的的小數(shù)據(jù)包。大的數(shù)據(jù)包對網(wǎng)絡(luò)帶寬有較高的要求；而小的數(shù)據(jù)包則對網(wǎng)絡(luò)的延遲有較高的要求。對于并行計算來說，這兩者都有較高的要求。通常，機(jī)器性能的好壞決定這微機(jī)集群的性能。I/O節(jié)點與存儲之間是通過光纖交換機(jī)進(jìn)行連接的，并且在I/O節(jié)點上裝了專用的HBA卡，現(xiàn)在的HBA都是雙通道的，4GB的傳輸帶寬，傳輸速率很高。而I/O節(jié)點與計算節(jié)點之間則是通過本身的網(wǎng)卡經(jīng)過以集群的核心交換機(jī)進(jìn)行傳輸?shù)模虼藶榱颂岣哂嬎愎?jié)點存儲數(shù)據(jù)的速度，我們可以通過網(wǎng)卡捆綁的技術(shù)來提高計算節(jié)點和存儲（I/O）節(jié)點之間的數(shù)據(jù)傳輸速率來解決這個問題。具體的實現(xiàn)方法，就是在I/O節(jié)點配備雙千兆網(wǎng)卡，將兩塊網(wǎng)卡進(jìn)行捆綁，通過網(wǎng)線將兩塊網(wǎng)卡都連接至交換機(jī)，這樣通常可以提高2倍的傳輸速率。計算節(jié)點也可以進(jìn)行捆綁，實現(xiàn)過程一樣，但由于計算節(jié)點數(shù)目較多，所以成本比較高。1. 網(wǎng)卡捆綁的原理網(wǎng)卡捆綁的原理簡單地說，就是數(shù)據(jù)平均分成N份，從N個通信信道上（Channel）上同時傳輸，以達(dá)到提高數(shù)據(jù)帶寬的目的。在LINUX系統(tǒng)中，網(wǎng)卡也是一種設(shè)備。網(wǎng)卡捆綁的原理與LINUX管理設(shè)備的方式有關(guān)。網(wǎng)卡捆綁的設(shè)備管理涉及到驅(qū)動程序、虛擬設(shè)備，下面進(jìn)行簡單的解釋：（1）驅(qū)動程序：操作系統(tǒng)提供設(shè)備管理功能，即只有操作系統(tǒng)需要且能控制設(shè)備。用戶進(jìn)程只能通過系統(tǒng)調(diào)用來操作設(shè)備，不能直接設(shè)備讀寫數(shù)據(jù)。由于操作系統(tǒng)需要管理各種各樣的設(shè)備，而它對用戶程序則提供與具體設(shè)備無關(guān)的系統(tǒng)調(diào)用接口，因而可以把系統(tǒng)代碼分成兩部分，即設(shè)備相關(guān)和設(shè)備無關(guān)的。設(shè)備相關(guān)部分因不同設(shè)備而