cae高性能計(jì)算平臺(tái)建設(shè)方案(編輯修改稿)

　

【文章內(nèi)容簡(jiǎn)介】 應(yīng)的應(yīng)用軟件。 最后，廠家長(zhǎng)期、穩(wěn)定的產(chǎn)品售后服務(wù)和技術(shù)支持體系也是保證一個(gè)生產(chǎn)處理系統(tǒng)正常運(yùn)行的因素。 IBM 中國公司在 1998 年就投資 1500 萬美元成立了國內(nèi)最大的技術(shù)支持中心－ IBM 中國技術(shù)支持中心（ IBM China Technical Support Center，即 TSC），為國內(nèi)的用戶、代理商及 IBM 內(nèi)部提供技術(shù)支持服務(wù)。 正是由于 IBM 在高性能計(jì)算方面長(zhǎng)期以來的不懈努力，使 IBM 在 ―大規(guī)模 ‖高性能計(jì)算方面擁有大量用戶 （安裝并已進(jìn)入實(shí)際生產(chǎn)運(yùn)行）。并且， IBM 公司與業(yè)內(nèi)多家應(yīng)用軟件提供商和服務(wù)商有大量的合作和成功案例， IBM 的高性能計(jì)算解決方案能在硬件和系統(tǒng)的層面滿足應(yīng)用的需要， IBM 中國公司在此提供建議書，其目的在于根據(jù) IBM 在并行計(jì)算項(xiàng)目方面的多年經(jīng)驗(yàn)，為用戶提供一個(gè)技術(shù)上的參考意見，并通過 IBM 的服務(wù)支持，協(xié)助用戶以最高的性價(jià)比獲得穩(wěn)定、可靠的運(yùn)行。 第 4 章 CAE 高性能計(jì)算系統(tǒng)設(shè)計(jì)原則 應(yīng)用通用性原則 如上所述，不同 CAE 軟件對(duì)計(jì)算機(jī)系統(tǒng)的需求差異很大，例如 NASTRAN應(yīng)用對(duì)內(nèi)存和 I/O 的要求很高；而 CFD 類的應(yīng)用對(duì) CPU 速度及網(wǎng)絡(luò)連接有較高的要求。為此，該計(jì)算機(jī)系統(tǒng)必須是一個(gè)平衡的系統(tǒng)，在 CPU 速度、內(nèi)存容量與帶寬、存儲(chǔ)容量與帶寬及網(wǎng)絡(luò)連接等各個(gè)方面都不應(yīng)該存在性能瓶頸。 半導(dǎo)體技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，使得不停地有新技術(shù)出現(xiàn)以提高某一方面的能力，因此綜合優(yōu)化利用所有在某一時(shí)刻最新最先進(jìn)最成熟的技術(shù)才能建立一個(gè)全方面均衡的系統(tǒng)，任何一個(gè)主要部件的先進(jìn)不代表整個(gè)系統(tǒng)的先進(jìn)，任何一個(gè)主要部件的落后也會(huì)導(dǎo)致整個(gè)系統(tǒng)的落后。 但毋庸置疑，一個(gè)全面實(shí)現(xiàn)均衡設(shè)計(jì)的先進(jìn)系統(tǒng)必然是一個(gè)成本較高的系統(tǒng)，最先采用新技術(shù) 通常都會(huì)帶來一些額外的代價(jià)。因此設(shè)計(jì)一個(gè)有具有不同特點(diǎn)的多個(gè)子系統(tǒng)構(gòu)成的高性能計(jì)算系統(tǒng)也是一個(gè)對(duì) CAE 應(yīng)用非常適合的做法。但這類系統(tǒng)應(yīng)該具有一個(gè)較好的管理機(jī)制，能夠?qū)⒉煌攸c(diǎn)的作業(yè)分發(fā)到最適合的子系統(tǒng)上進(jìn)行運(yùn)算，以獲得總體上均衡的效果。 系統(tǒng)高擴(kuò)展性原則 CAE 高性能計(jì)算系統(tǒng)在提升作業(yè)吞吐能力（支持多用戶、多作業(yè)）的同時(shí)，還有一個(gè)重要的目標(biāo)是用來支持中、小規(guī)模計(jì)算機(jī)系統(tǒng)無法解決的特殊業(yè)務(wù)問題。為此，該計(jì)算機(jī)系統(tǒng)不應(yīng)該是眾多低端服務(wù)器的簡(jiǎn)單堆疊。用來構(gòu)建該計(jì)算機(jī)系統(tǒng)的計(jì)算服務(wù)器必須具有強(qiáng)大的處理能力，并配合以高性能的網(wǎng)絡(luò)連接。 下表列出了 Power575 服務(wù)器與 Intel 最新的發(fā)布的、采用兩路 Nehalem 芯片（ 8 核）的服務(wù)器的一些指標(biāo)對(duì)比，從中可以看出 Power575 服務(wù)器出了具有強(qiáng)大的計(jì)算性能優(yōu)勢(shì)外，更是一臺(tái)性能平衡的系統(tǒng)，在內(nèi)存及 I/O 等各方面均有優(yōu)異的性能。 IBM Power 575 服 務(wù) 器 2way Nehalem 服 務(wù) 器 性能比 理論峰值速度 (GFlops) 601 倍 緩存容量 (MB) 640 18 倍 內(nèi)存帶寬 (GB/s) 273 32 倍 I/O 帶寬 (GB/s) 94 倍 系統(tǒng)高可用性原則 建設(shè)大規(guī)模的高性能計(jì)算機(jī)系統(tǒng)將面臨眾多的技術(shù)難題，其中系統(tǒng)的穩(wěn)定性、安全性及易管理性是該計(jì)算機(jī)系統(tǒng)應(yīng)具有的基本特征。最終用戶不應(yīng)該在系統(tǒng)管理和維護(hù)上投入過多的人力與物力，而是將精力集中于相應(yīng)的科研工作。 為此，我們推薦采用更穩(wěn)定的 Power 服務(wù)器和可靠性很高的刀片系統(tǒng)作為計(jì)算節(jié)點(diǎn)，輔之以成熟的軟件系統(tǒng)和關(guān)鍵部件的冗余化設(shè)計(jì)，從而建立高可用的高性能計(jì)算系統(tǒng)。 處理器 性能最大化原則 在 CAE 用戶所處的應(yīng)用領(lǐng)域存在一個(gè)現(xiàn)象，即作業(yè)的運(yùn)行時(shí)間很難通過增加所使用的處理器數(shù)量來減少。下面分別列出了 ANSYS 和 ABAQUS 在典型高性能計(jì)算機(jī)上不同個(gè)數(shù)處理器上運(yùn)行標(biāo)準(zhǔn)測(cè)試所花費(fèi)的時(shí)間。 加速比 1 CPU 2 CPU 4 CPU ABAQUS, 7 Standard Benchmarks 1 ANSYS, 12 Standard Benchmarks 1 ABAQUS 是典型的非線性有限元分析程序，從上表可以看出，即使使用 4個(gè) CPU，也無法將計(jì)算時(shí)間縮短至只使用一個(gè) CPU 時(shí)的 50%。而 ANSYS 多處理器并行的效率更差。 分析以上數(shù)據(jù)我們可以得出結(jié)論，若要提高工作效率，縮短作業(yè)的運(yùn)行時(shí)間或者在一定的時(shí)間內(nèi)運(yùn)行更多的作業(yè)或更復(fù)雜的作業(yè)，只有提高單處理器的性能才能實(shí)現(xiàn)。也就是說，由 8 個(gè)相對(duì)性能為一的處理器構(gòu)造的高性能計(jì)算系統(tǒng)不如使用由 4 個(gè)相對(duì)性能為 2 的處理器組成的高性能計(jì)算系統(tǒng)的使用效果好，理想狀態(tài)下對(duì)兩個(gè) 4 CPU 的作業(yè)它們的性能是一樣的，而對(duì)于一個(gè)作業(yè)來講后者只需前者一半的時(shí)間就可完成作業(yè)。 對(duì)于這類應(yīng)用，高性能的 Power 處理器是比較理想的選擇，選擇性能盡可能高的 Power 處理器還有另一個(gè)好處，就是在得到同樣的運(yùn)行效率的前提下，在應(yīng)用軟件許可證上的花費(fèi)更少。 高性價(jià)比原則 只遵循上面的原則會(huì)造成系統(tǒng)購置成本不受限制地增加，所以需要在高性價(jià)比原則給以制約。對(duì)于顯式有限元分析以及流體和碰撞等應(yīng)用，選擇性能價(jià)格比更高的刀片式服務(wù)器，無疑是非常理想的選擇。 同時(shí)高性價(jià)比原則也不能僅理解成硬件系統(tǒng)的性價(jià)比，而應(yīng)該將所需軟件的費(fèi)用一并納入考慮內(nèi)容；也不應(yīng)只是考慮系統(tǒng)在采購時(shí)的性價(jià)比，而應(yīng)考慮系統(tǒng)故障造成的時(shí)間損失和信譽(yù)損失、維修備件成本、維修人員成本、能源費(fèi)用等。 第 5 章 CAE 高性能計(jì)算平臺(tái)方案 關(guān)于 XX 汽車 CAE 項(xiàng)目投資的幾點(diǎn)建議 ?? 根據(jù)測(cè)試結(jié)果及我們以往在汽車行業(yè)的經(jīng)驗(yàn)，理想的計(jì)算環(huán)境應(yīng)該是 SMP 小機(jī)+Linux cluster 的混合架構(gòu)； ?? 項(xiàng)目投資應(yīng)有計(jì)劃、分步驟地有序進(jìn)行，一期可先上 cluster 保證碰撞和顯式計(jì)算并規(guī)劃好未來擴(kuò)展的計(jì)劃； ?? 保證 ABAQUS、 NASTRAN 等隱式計(jì)算可以在 cluster 架構(gòu)下過渡性地運(yùn)行，明年二期可以平滑地遷移到計(jì)劃的 SMP 小型機(jī)上，不建議采用 X86 SMP 服務(wù)器 ?? 存儲(chǔ)需要考慮并行文件系統(tǒng)，可以考慮一期用兩個(gè) I/O 節(jié)點(diǎn)保證 I/O 吞吐量并兼顧可靠性，后期可平滑擴(kuò)展； ?? 考慮到碰撞等應(yīng)用對(duì)時(shí)間延遲的敏感性，建議采用 InfiniBand 等高速網(wǎng)絡(luò)連接，并制訂后期擴(kuò)展計(jì)劃 ?? 作業(yè)調(diào)度方面，一期可考慮開源軟件，后期可選擇 LSF,PBS Pro， LoadLeveler 等商業(yè)版作業(yè)調(diào)度系統(tǒng)。 總體方案描述 根據(jù)客戶需求 ,一期采用刀片集群方案，二期擴(kuò)展 SMP 小型機(jī)，具體方案描述如下： 使用一套刀片中心， 8 片刀片，內(nèi)置萬兆交換機(jī)為各刀片之間提供 10Gb/s 帶寬。隨著用戶需求的增長(zhǎng)，該系統(tǒng)可同過增加刀片中心靈活的擴(kuò)展。基本配置如下： 1） 計(jì)算節(jié)點(diǎn) : 8 片 HS22 CPU： 2 顆 Xeon X5670 CPU (Intel Xeon 六 核處理器 , , 12M L3緩存 , 總線 ) RAM： 24GB HDD： 2 x 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個(gè)千兆以太網(wǎng)卡 萬兆的子卡 三年免費(fèi)維護(hù) 2）用于安裝計(jì)算節(jié)點(diǎn)的 BladeCenter H Chassis 1 個(gè) 管理模塊 1 個(gè) 兩組（ 4 個(gè)） 2900W 電源模塊 內(nèi)置千兆以太網(wǎng)交換機(jī) BNT 萬兆交換機(jī) 三年免費(fèi)維護(hù) 3）管理節(jié)點(diǎn) ： 1 臺(tái) IBM x3650 M3 CPU： 2 顆 Xeon E5630 CPU(四核至強(qiáng)處理器 12MB三級(jí)緩存，最高支持 1066MHz 內(nèi)存頻率， GT/s QPI，支持超線程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 塊 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個(gè)千兆以太網(wǎng)卡 1 個(gè)雙口獨(dú)立千兆以太網(wǎng)卡 三年免費(fèi)維護(hù) 4） I/O 節(jié)點(diǎn) ： 2 臺(tái) IBM x3650 M3 CPU： 2 顆 Xeon E5630 CPU(四核至強(qiáng)處理器 12MB三級(jí)緩存，最高支持 1066MHz 內(nèi)存頻率， GT/s QPI，支持超線程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 塊 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個(gè)千兆以太網(wǎng)卡 1 個(gè)雙口 光纖通道 卡 萬兆 以太網(wǎng) 卡 遠(yuǎn)程控制卡 三年免費(fèi)維護(hù) 5）存儲(chǔ)設(shè)備 IBM DS5300 高性能磁盤陣列 雙控制單元 12 塊 300GB， FC 磁盤 6）機(jī)柜套件 1 個(gè) 42U， 19 英寸標(biāo)準(zhǔn)機(jī)柜 1 套 15 英寸液晶顯示套件 1 套 NetBAY Console Switch (KVM)，含鍵盤，鼠標(biāo) 4 個(gè) PDU 含配套電源線 7）軟件部分 1．操作系統(tǒng) ： Linux 2．集群管理系統(tǒng) ： IBM xCAT 本系統(tǒng)集群管理軟件采用 xCAT 完成集群管理功能，本方案建議選擇主管理節(jié)點(diǎn)作為 xCAT的管理服務(wù)器，安裝 xCAT 服務(wù)器端軟件。 xCAT 服務(wù)器端軟件通過 AMM 網(wǎng)絡(luò)與刀片中心的管理模塊通訊，得到刀片的狀態(tài)信息，例如為部署刀片操作系統(tǒng)需要的網(wǎng)卡 MAC 地址。通過軟件分發(fā)網(wǎng)絡(luò)，與存儲(chǔ)節(jié)點(diǎn)和登陸節(jié)點(diǎn)通訊，進(jìn)行硬件管理。 xCAT 管理操作，通過軟件分發(fā)網(wǎng)絡(luò)，與計(jì)算節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)，登陸節(jié)點(diǎn)通訊。 xCAT 工作邏輯如下圖所示： xCAT 能夠通過單點(diǎn)控制來管理基于 Intel 的 Linux 系統(tǒng)群集。這樣便簡(jiǎn)化了群集的管理，使其能夠很方便地?cái)U(kuò)展，有助于提高系統(tǒng)管理員的效率。同時(shí)，該軟件還充分利用了 IBM 在硬件上的先進(jìn)技術(shù)，如集成的系統(tǒng)管理處理器（ Service Processor），使管理軟件能夠以遠(yuǎn)程方式管理每一個(gè)系統(tǒng)節(jié)點(diǎn)，從而方便系統(tǒng)的管理。 xCAT 包括一種能夠監(jiān)控軟硬件事件的基礎(chǔ)設(shè)施，在適當(dāng)?shù)臅r(shí)候可以觸發(fā)自動(dòng)恢復(fù)操作。CSM 的這種較高可靠性基礎(chǔ)設(shè)施和事件監(jiān)控功能，有助于快速檢查和解決問題，從而增強(qiáng)了群集的可用性。 具體來講， IBM 的集群系統(tǒng)管理軟件可以實(shí)現(xiàn)如下的功能： ?? 實(shí)現(xiàn)系統(tǒng)的并行安裝和配置； ?? 管理和同步節(jié)點(diǎn)的配置文件； ?? 提供系統(tǒng)遠(yuǎn)程運(yùn)行命令操作，允許以命令或腳本方式運(yùn)行在集群中的所有節(jié)點(diǎn)上 ?? 支持用戶帳戶統(tǒng)一管理； ?? 提供遠(yuǎn)程硬件控制，如：節(jié)點(diǎn)的遠(yuǎn)程開機(jī)、關(guān)機(jī)和重新啟動(dòng)； ?? 動(dòng)態(tài)監(jiān)視系統(tǒng)資源使用情況； 3．編譯器： GNU 編譯器： C/C++編譯器， Fortran77/90/95/編譯器 4．并行環(huán)境軟件： IBM Tivoli Workload Scheduler Loadleveler, MPI－ CH, Maui/OpenPBS Tivoli Workload Scheduler Loadleveler——是一種動(dòng)態(tài)任務(wù)計(jì)劃和負(fù)載平衡軟件，可在集群的內(nèi)部支持?jǐn)?shù)以千計(jì)的各種任務(wù)； 5．文件系統(tǒng)： IBM GPFS （通用并行文件系統(tǒng)） GPFS——是一種高性能共享磁盤文件系統(tǒng)，可提供對(duì)集群中所有節(jié)點(diǎn)的快速數(shù)據(jù)訪問。單節(jié)點(diǎn)最高帶寬 15GB/s， I/O 平衡調(diào)度改善吞吐性能，已安裝的美國 ASCI Purple 實(shí)測(cè)達(dá)到102GB/s； 6．系統(tǒng)監(jiān)控管理軟件： IBM Systems Director 8）技術(shù)集成 IBM 完成硬件系統(tǒng)平臺(tái)，操作系統(tǒng)，系統(tǒng)平臺(tái)軟件的安裝調(diào)試以及與 LSDYNA,radioss, NASTRAN 等專業(yè)軟件商聯(lián)合安裝與調(diào)試，確保用戶的應(yīng)用軟件的正常運(yùn)轉(zhuǎn)。 9）日常維護(hù) 使用 IBM 提供的高級(jí)群集管理軟件 xCAT，能夠通過單點(diǎn)控制來管理基于 AIX/Linux 系統(tǒng)群集。這樣便簡(jiǎn)化了群集的管理，使其能夠很方便地?cái)U(kuò)展，有助于提高系統(tǒng)管理員的效率。同時(shí)，該軟件還充分利用了 IBM 在硬件上的先進(jìn)技術(shù)，如集成的系統(tǒng)管理處理器（ Service Processor），使管理軟件能夠以遠(yuǎn)程方式管理每一個(gè)系統(tǒng)節(jié)點(diǎn)，從 而方便系統(tǒng)的管理。通過現(xiàn)場(chǎng)培訓(xùn)用戶可以簡(jiǎn)便的完成系統(tǒng)管理工作。 二期擴(kuò)展方案 根據(jù)現(xiàn)有的架構(gòu)，二期可以方便地增加刀片加入現(xiàn)有集群，并通過 xCAT 管理新增加的小型機(jī)；同時(shí)， GPFS 并行文件系統(tǒng)在線擴(kuò)展文件系統(tǒng)和添加 I/O 節(jié)點(diǎn)，并支持分級(jí)存儲(chǔ)。 方案具有非常好的擴(kuò)展性。 第 6 章 相關(guān)產(chǎn)品技術(shù)介紹 IBM BladeCenter 要點(diǎn)： ?? 提供業(yè)界最全面的兼容機(jī)箱、刀片服務(wù)器、存儲(chǔ)器和聯(lián)網(wǎng)產(chǎn)品的選擇性。 ?? 通過多層冗余提供極為牢靠的可用性。 ?? 端到端的可靠性和最佳業(yè)務(wù)實(shí)踐承諾。 ?? 通過創(chuàng)新的冷卻技術(shù)提供卓越的電源效率。 ?? 基于開放技術(shù)提供卓越的 I/O 性能和交換功能。 ?? 高效整合 ： IBM BladeCenter H 將服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、 I/O 與應(yīng)用程序緊密地集成在一起，客戶可以使用通用構(gòu)建模塊構(gòu)建強(qiáng)大而靈活的 IT 基礎(chǔ)架構(gòu)。業(yè)務(wù)增長(zhǎng)時(shí)，只要插入新的刀片即可，非常簡(jiǎn)單。模塊化設(shè)計(jì)能節(jié)約大量的電纜成本，而且在很大程度上減少了由于