NVIDIA全新Ampere數據中心GPU全投產
發(fā)布時間：2020-06-04 08:51:17
北京時間5月14日消息，NVIDIA宣布首款基于NVIDIA Ampere架構的GPU——NVIDIA A100已全面投產并已向全球客戶交付。
全新NVIDIA A100 GPU將AI訓練和推理性能提高20倍
A100采用了NVIDIA Ampere架構的突破性設計，該設計為NVIDIA第八代GPU提供了迄今為止最大的性能飛躍，集AI訓練和推理于一身，并且其性能相比于前代產品提升了高達20倍。 作為一款通用型工作負載加速器，A100還被設計用于數據分析、科學計算和云圖形。
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“云計算和AI的強大趨勢正在推動數據中心設計的結構性轉變，過去的純CPU服務器正在被高效的加速計算基礎架構所取代。NVIDIA A100 GPU作為一個端到端的機器學習加速器，其實現了從數據分析到訓練再到推理20倍的AI性能飛躍。這是有史以來首次，可以在一個平臺上實現對橫向擴展以及縱向擴展的負載的加速。NVIDIA A100將在提高吞吐量的同時，降低數據中心的成本?！?
A100所采用的全新彈性計算技術能夠為每項工作分配適量的計算能力。多實例GPU技術可將每個A100 GPU分割為多達七個獨立實例來執(zhí)行推理任務，而第三代NVIDIA NVLink互聯技術能夠將多個A100 GPU合并成一個巨大的GPU來執(zhí)行更大規(guī)模的訓練任務。
眾多全球領先的云服務供應商和系統(tǒng)構建商計劃將A100 GPU集成到其產品中，其中包括：阿里云、AWS、Atos、百度智能云、思科、Dell Technologies、富士通、技嘉科技、Google Cloud、新華三、HPE、浪潮、聯想、Microsoft Azure、甲骨文、Quanta/QCT、Supermicro和騰訊云。
在全球范圍內被迅速采用
Microsoft是首批采用NVIDIA A100 GPU的用戶之一，計劃充分利用其性能和可擴展性。
Microsoft公司副總裁Mikhail Parakhin表示：“Microsoft大規(guī)模應用前代NVIDIA GPU訓練了全球最大的語言模型——Turing Natural Language Generation。Azure將使用NVIDIA 新一代A100 GPU訓練更大型的AI模型，以推動語言、語音、視覺和多模態(tài)技術領域的最新發(fā)展。”
DoorDash是一個按需提供的食品平臺，在大流行期間作為餐館的生命線，它指出了擁有靈活的人工智能基礎設施的重要性。
DoorDash的機器學習工程師Gary Ren表示：“現代復雜AI訓練和推理工作負載需要處理大量的數據，像NVIDIA A100 GPU這樣最先進的技術，可以幫助縮短模型訓練時間，加快機器學習開發(fā)進程。此外，采用基于云的GPU集群還能夠為我們提供更高的靈活性，可以根據需要擴容或縮容，將有助于提高效率、簡化操作并節(jié)約成本。”
其他早期采用者還包括多所國家實驗室以及一些全球頂尖高等教育和研究機構，它們都在使用A100支持其新一代超級計算機。以下是部分早期采用者：
· 印第安納大學（Indiana University），在美國，其Big Red 200超級計算機基于HPE的Cray Shasta系統(tǒng)。該超級計算機將支持科學研究和醫(yī)學研究以及AI、機器學習和數據分析領域的前沿研究。
· 利希超算中心（Jülich Supercomputing Centre），在德國，其JUWELS增速系統(tǒng)由Atos建造，專為極端計算能力和AI任務而設計。
· 卡爾斯魯厄理工學院（Karlsruhe Institute of Technology），在德國，正在與聯想一起建造其HoreKa超級計算機。該超級計算機將能夠在材料科學、地球系統(tǒng)科學、能源和動力工程研究以及粒子和天體物理學領域開展更大規(guī)模的多尺度模擬。
· 馬克斯普朗克計算和數據中心（Max Planck Computing and Data Facility），在德國，其借助于聯想為其建造的新一代超級計算機Raven，為馬克斯普朗克研究所（Max Planck Institutes）的高性能計算應用的開發(fā)、優(yōu)化、分析和可視化提供了先進的支持。
· 美國能源部國家能源研究科學計算中心(U.S. Department of Energy’s National Energy Research Scientific Computing Center)，位于美國勞倫斯伯克利國家實驗室（Lawrence Berkeley National Laboratory），其正在基于HPE的Cray Shasta系統(tǒng)建造新一代超級計算機Perlmutter。該超級計算機將被用于支持超大規(guī)?？茖W研究、開發(fā)新能源、提高能效以及探索新材料。
A100的五大突破
NVIDIA A100 GPU的突破性技術設計來源于五大關鍵性創(chuàng)新：
· NVIDIA Ampere架構——A100的核心是NVIDIA Ampere GPU架構，該架構包含超過540億個晶體管，這使其成為全球最大的7納米處理器。
· 具有TF32的第三代Tensor Core核心——NVIDIA廣泛采用的Tensor Core核心現在已變得更加靈活、快速且易于使用。其功能經過擴展后加入了專為AI開發(fā)的全新TF32，它能在無需更改任何代碼的情況下，使FP32精度下的AI性能提高多達20倍。此外，Tensor Core核心現在支持FP64精度，相比于前代，其為HPC應用所提供的計算力比之前提高了多達2.5倍。
· 多實例GPU——MIG，一種全新技術功能，可將單個A100 GPU分割為多達七個獨立的GPU，為不同規(guī)模的工作提供不同的計算力，以此實現最佳利用率和投資回報率的最大化。
· 第三代NVIDIA NVLink——使GPU之間的高速聯接增加至原來的兩倍，實現服務器的高效性能擴展。
· 結構化稀疏——這種全新效率技術利用AI數學固有的稀疏性，使性能提升了一倍。
憑借這些新功能，NVIDIA A100成為了AI訓練和推理以及科學模擬、對話式AI、推薦系統(tǒng)、基因組學、高性能數據分析、地震建模和金融預測等各種高要求工作負載的理想選擇。
新系統(tǒng)已搭載NVIDIA A100，很快將登陸云端
于今日同時發(fā)布的還有NVIDIA DGX? A100 系統(tǒng)，其內置8個由NVIDIA NVLink互聯的NVIDIA A100 GPU。NVIDIA和官方合作伙伴現已開始供應該系統(tǒng)。
阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure 、甲骨文和騰訊云正在計劃提供基于A100的服務。
此外，眾多全球領先的系統(tǒng)制造商也將提供各種基于A100的服務器，包括Atos、思科、Dell Technologies、富士通、技嘉科技、新華三、HPE、浪潮、聯想、Quanta/QCT和Supermicro。
為幫助合作伙伴加快服務器的開發(fā)，NVIDIA開發(fā)了HGX A100服務器構建模塊，該模塊采用了多GPU配置的集成基板形式。
HGX A100 4-GPU通過NVLink實現GPU之間的完整互聯， 8-GPU配置的HGX A100通過NVIDIA NVSwitch?實現GPU之間的全帶寬通信。采用全新MIG 技術的HGX A100能夠被分割為56個小型GPU，每個GPU的速度都比NVIDIA T4更快；或者也可以將其用作一臺擁有10petaflops AI性能的巨型8-GPU服務器。
A100軟件優(yōu)化
NVIDIA還發(fā)布了多個軟件堆棧更新，使應用程序開發(fā)者能夠充分發(fā)揮A100 GPU創(chuàng)新技術的性能。這些更新包括了50多個新版本CUDA-X庫，可用于加速圖形、模擬和AI；CUDA 11；多模態(tài)對話式AI服務框架NVIDIA Jarvis；深度推薦應用框架 NVIDIA Merlin；以及NVIDIA HPC SDK，其中包括能夠幫助HPC開發(fā)者調試和優(yōu)化A100代碼的編譯器、庫和工具。