高級體系結構ppt課件(編輯修改稿)

　

【文章內容簡介】 d Engineering ?峰值速度和實測速度分別為每秒 億次和 ? CPU/GPU混合異構系統 ?6144個通用處理器；5120個加速處理器 內存總容量 98TB ?通信帶寬 40Gbps共享磁盤總容量為 1PB 。 ?共享磁盤總容量為1PB ?Top500中第五位 美國克雷公司“美洲虎”（ Jaguar）第一， 千萬億次，中國“星云”第二 ?天河一號 40 Advanced Computer Architecture The School of Information Science and Engineering 41 Advanced Computer Architecture The School of Information Science and Engineering 高性能計算與高性能計算機 ? 高性能計算的意義 – 高性能計算的內在含義 – 高性能計算的應用需求 – 高性能計算的戰略地位 ? 高性能計算發展與現狀 – 高性能計算機的發展 – 高性能計算的現狀 ? 高性能計算面臨的主要問題 – 功耗 – 存儲 (memory wall) – 編程 (programming wall) ? 高性能計算的未來 – Petaflops超級計算機展望 – 若干新技術 – 中國高性能計算的機遇和挑戰 42 Advanced Computer Architecture The School of Information Science and Engineering 高性能計算機 ?高性能計算機 由多個計算單元組成，運算速度快、存儲容量大、可靠性高的計算機系統。 也稱為：巨型計算機、超級計算機 ?并行計算機 由多個處理單元組成的計算機系統，這些處理單元相互通訊和協助，能夠高速、高效地求解大型復雜問題。 43 Advanced Computer Architecture The School of Information Science and Engineering 其發展歷程可以簡單的分為兩個時代 ? 專用時代 包括向量機， MPP系統， SGI NUMA 系統， SUN大型 SMP系統，也包括我國的神威，銀河，曙光 1000等。 之所以稱為 “ 專用 ” ，并不是說它們只能運行某種應用，是指它們的組成部件是專門設計的，它們的 CPU板，內存板， I/O板，操作系統，甚至 I/O系統，都是不能在其它系統中使用的。由于技術上桌面系統與高端系統的巨大差異，和用戶群窄小。 ? 普及時代 高性能計算機價格下降，應用門檻降低，應用開始普及。兩個技術趨勢起到重要作用。 商品化趨勢 使得大量生產的商品部件接近了高性能計算機專有部件 標準化趨勢 使得這些部件之間能夠集成一個系統中，其中 X86處理器、以太網、內存部件、 Linux都起到決定性作用。 集群系統 是高性能計算機的一種，它的技術基礎和工業基礎都是商品化和標準化。 44 Advanced Computer Architecture The School of Information Science and Engineering 高性能計算機系統結構 ? 并行向量機 ? SMP ? DSM（ NUMA） ? MPP，節點可以是單處理器的節點，也可以是SMP， DSM ? Cluster ? Constellation 45 Advanced Computer Architecture The School of Information Science and Engineering 并行計算機系統類型 ? Flynn分類： ?SISD, SIMD, MIMD, MISD ? 結構模型： ?PVP, SMP, MPP, DSM, COW ? 訪存模型： ?UMA, NUMA, COMA, CCNUMA, NORMA 46 Advanced Computer Architecture The School of Information Science and Engineering 并行計算機分類 Flynn分類 Flynn(1972)提出指令流、數據流和多倍性概念，把不同的計算機分為四大類： – SISD（ SingleInstruction SingleData） – SIMD（ SingleInstruction MultiData） – MISD（ MultiInstruction SingleData） – MIMD（ MultiInstruction MultiData） 現代高性能計算機都屬于 MIMD。 MIMD從結構上和訪存方式上，又可以分為： – 結構模型： PVP, SMP, MPP, DSM, COW – 訪存模型： UMA, NUMA, COMA, CCNUMA, NORMA 47 Advanced Computer Architecture The School of Information Science and Engineering 結構模型 48 Advanced Computer Architecture The School of Information Science and Engineering 對稱多處理機系統 (SMP) ? SMP – 對稱式共享存儲 :任意處理器可直接訪問任意內存地址 ,且訪問延遲、帶寬、機率都是等價的 。 系統是對稱的； – 微處理器 : 一般少于 64個 。 – 處理器不能太多 , 總線和交叉開關的一旦作成難于擴展； – 例子 : IBM R50, SGI Power Challenge, SUN Enterprise, 曙光一號 。 49 Advanced Computer Architecture The School of Information Science and Engineering 分布式共享存儲系統 (DSM) ? DSM – 分布共享存儲 : 內存模塊物理上局部于各個處理器內部 ,但邏輯上 (用戶 )是共享存儲的 。 這種結構也稱為基于 Cache目錄的非一致內存訪問 (CCNUMA)結構 。局部與遠程內存訪問的延遲和帶寬不一致 ,310倍 ?高性能并行程序設計注意 。 – 與 SMP的主要區別： DSM在物理上有分布在各個節點的局部內存從而形成一個共享的存儲器； – 微處理器 : 16128個 ,幾百到千億次 。 – 代表 : SGI Origin 2022, Cray T3D。 50 Advanced Computer Architecture The School of Information Science and Engineering 大規模并行計算機系統 (MPP) ? MPP – 物理和邏輯上均是分布內存 – 能擴展至成百上千個處理器 (微處理器或向量處理器 ) – 采用高通信帶寬和低延遲的互聯網絡 (專門設計和定制的 ) – 一種異步的 MIMD機器；程序系由多個進程組成，每個都有其私有地址空間，進程間采用傳遞消息相互作用； – 代表 :CRAY T3E(2048), ASCI Red(3072), IBM SP2, 曙光1000 51 Advanced Computer Architecture The School of Information Science and Engineering 集群系統 (Cluster) ? Cluster – 每個節點都是一個完整的計算機 – 各個節點通過高性能網絡相互連接 – 網絡接口和 I/O總線松耦合連接 – 每個節點有完整的操作系統 – 曙光 202 3000、 4000, ASCI Blue Mountain 52 Advanced Computer Architecture The School of Information Science and Engineering 訪存模型 UMA: NORMA: NUMA: 多處理機（單地址空間共享存儲器） UMA: Uniform Memory Access NUMA: Nonuniform Memory Access 多計算機（多地址空間非共享存儲器） NORMA: NoRemote Memory Access 53 Advanced Computer Architecture The School of Information Science and Engineering 結構模型－－訪存模型 UMA: NUMA: NORMA: 54 Advanced Computer Architecture The School of Information Science and Engineering 多處理機 amp。amp。 多計算機 UMA: NUMA: NORMA: 多處理機 (共享存儲 ) 多計算機 (分布式存儲 ) 55 Advanced Computer Architecture The School of Information Science and Engineering 高性能計算機的發展 60 70 80 90 00 10 巨型機萌芽 CDC6600 向量機鼎盛 CRAY1，SX3 MPP發展Cray T3E，Option Red 機群發展NOW, IBM SP2, ASCI Q 定制機器 ES BlueGene 56 Advanced Computer Architecture The School of Information Science and Engineering 高性能計算機的發展 ?巨型機萌芽階段（ 19641975） ?1964年誕生的 CDC6600被公認為世界上第一臺巨型計算機，運算速度為 1Mflops。 ?70年代初研制成功 STAR100向量機，這是世界上最早的向量機。 ?隨后于 1974年，誕生了世界上最早的 SIMD陣列計算機 ILLIACIV并行機。 ?向量機鼎盛階段（ 19761990） 向量機處理對提高計算機運算速度十分有利，有利于流水線的充分利用，有利于多功能部件的充分利用，但由于時鐘周期已接近物理極限，向量計算機的進一步發展已經不太可能。 ? 1976年， CRAY1向量機，峰值速度為 ? 1985年， CRAY2， 1G flops 1990年 , SX3,22G flops ?1991年， CrayYMPC90,16Gflops 57 Advanced Computer Architecture The School of Information Science and Engineering 高性能計算機的發展 ?MPP蓬勃發展階段（ 19901995） 傳統向量機逐漸萎縮，大規模并行處理 MPP機蓬勃發展的時代。各種新技術層出不窮，大公司也紛紛介入。 1989年， BBN公司的 TC2022 1992年， Intel公司的 Paragon， TMC公司的 CM5 1993年， Cray公司的 T3D 1994年， IBM公司的 SP2 1996年， Cray公司的 T3E， Hitachi公司的 SR2201 SGI公司的 Origin2022， 1996 Intel公司的 ASCE RED 運算速度超過了萬億次 /秒。 截至 2022年 6月，世界上已有14萬億次機，超過 3000億次機 62臺。排名世界前 10名的均為MPP， MPP已成為高性能計算機的主流產品。 ?各種體系結構并存階段（ 1995年） 機群發展 NOW, IBM SP2, ASCI Q 定制機器 ES BlueGene 58 Advanced Computer Architecture The School of Information Science and Engineering 硬、軟件技術相對成熟、應用廣泛、市場占有率高。很難達到 3T performance來解決 Grand Challenge 問題。 下面圖表說明了這一類機器的發展過程。 59 Advanced Computer Architecture The School of Information Science and Engineering GFlops 100 10 1976 1979 1982 1985 1988 1991 1994 Year Cray1/1 Cray XMP/2 Cray 2/4 Cray YMP/8 Cray J916/16