NVIDIA Volta架構，一個(gè)在幾年前便已經被曝光(guāng)的(de)次世代架構，于上周的(de)GTC 2017大(dà)會上正式與大(dà)家見面。正如老黃(huáng)去年所說的(de)，NVIDIA未來(lái)會大(dà)幅提高(gāo)産品的(de)叠代速度以推動GPU界的(de)發展，Volta架構的(de)發布時(shí)間正好距Pascal架構的(de)發布過了(le)一年。在這(zhè)短短的(de)一年時(shí)間裏，老黃(huáng)将整個(gè)Pascal家族悉數抖落，以大(dà)家最熟悉的(de)GeForce系列遊戲卡爲例，從GT 1030到GTX 1080 Ti可(kě)謂是高(gāo)中低檔應有盡有，比Maxwell 2家族的(de)集體亮相整整快(kuài)了(le)約一年。下(xià)面就随嵌入式小編一起來(lái)了(le)解一下(xià)相關内容吧。

NVIDIA Volta架構面世 英偉達産品叠代爲啥這(zhè)麽快(kuài)！

爲什(shén)麽NVIDIA能夠做(zuò)到短短一年便推出新架構産品?因爲與AMD的(de)拖延相比，NVIDIA嚴格按照(zhào)自家的(de)産品路線圖發布産品，雖然受限于HBM顯存的(de)産能，NVIDIA在Maxwell和(hé)Volta之間加了(le)一個(gè)Pascal作爲過渡，但Pascal的(de)表現卻不敷衍，完全稱得(de)上是GPU史上的(de)一個(gè)裏程碑，因爲NVIDIA的(de)Pascal顯卡讓GPU的(de)頻(pín)率首次突破2GHz大(dà)關，在超頻(pín)大(dà)師的(de)手中甚至可(kě)以超過3GHz，追上了(le)CPU的(de)主頻(pín)，這(zhè)在以前是完全不敢想象的(de)。

NVIDIA Volta架構面世 英偉達産品叠代爲啥這(zhè)麽快(kuài)！

 

采用(yòng)Volta架構的(de)首款産品是NVIDIA Xavier SOC

現在GPU講究的(de)是能耗比，不再像以前一樣單純追求絕對(duì)性能，而采用(yòng)了(le)TSMC全新12nm的(de)Volta讓我們看到了(le)能耗比的(de)新高(gāo)度：首發産品Tesla V100同P100相比，在TDP同爲300W的(de)情況下(xià)，單精度浮點運算(suàn)性能提升了(le)41.5%，實際HPC應用(yòng)性能提升了(le)40-70%，憑借架構中新引入的(de)Tensor單元，在深度學習(xí)方面的(de)性能甚至可(kě)以達到後者的(de)12倍!

NVIDIA Volta架構面世 英偉達産品叠代爲啥這(zhè)麽快(kuài)！

 

NVIDIA Tesla V100

我們上周在第一時(shí)間報道了(le)有關Tesla V100的(de)相關消息，但大(dà)家能看到的(de)隻是諸如815平方毫米的(de)核心面積、210億個(gè)晶體管、5120個(gè)CUDA核心、15TFLOPS單精度性能這(zhè)樣的(de)專業數據，但我相信大(dà)家都很好奇Volta同Pascal相比究竟有了(le)哪些設計方面的(de)提升和(hé)改變，接下(xià)來(lái)吉吉我就用(yòng)相對(duì)通(tōng)俗易懂(dǒng)的(de)語言來(lái)給大(dà)家細細道來(lái)，讓大(dà)家看看老黃(huáng)的(de)“新核彈”究竟是怎樣一個(gè)構造。

外觀：PCI-E版身材迷你

同采用(yòng)Pascal架構的(de)Tesla P100一樣，Volta P100也(yě)有2種版本，一種是用(yòng)在DGX-1上的(de)NVLink版，還(hái)有一種是标準的(de)PCI-E版，兩種版本的(de)規格是一模一樣的(de)。首先我們看一下(xià)NVLink版的(de)V100和(hé)P100對(duì)比：

 

上圖爲Tesla V100，下(xià)圖爲Tesla P100

由于V100和(hé)P100的(de)TDP均爲300W，并且都是使用(yòng)了(le)16GB的(de)HBM2顯存，所以NVLink版的(de)PCB的(de)設計幾乎是一模一樣的(de)，僅僅是料件型号和(hé)排布上有些微區(qū)别。另外，需要強調的(de)是，V100使用(yòng)的(de)是全新的(de)NVLink 2接口，比NVLink多(duō)了(le)2組通(tōng)道，雙向總帶寬達300GB/s，比NVLink提升了(le)87.5%。接下(xià)來(lái)我們看一下(xià)PCI-E版的(de)對(duì)比：

 

 

上圖爲Tesla V100，下(xià)圖爲Tesla P100

PCI-E版的(de)Tesla V100同P100相比，體積可(kě)謂是大(dà)大(dà)縮小，不僅從雙槽厚度變成了(le)單槽，PCB也(yě)從标準長(cháng)度縮到了(le)巴掌大(dà)小，比NVLink版的(de)大(dà)不了(le)多(duō)少。真是不知道老黃(huáng)是如何做(zuò)到用(yòng)這(zhè)麽“寒酸”的(de)被動散熱(rè)壓制住TDP高(gāo)達300W的(de)“性能巨獸”的(de)，隻能期待NVIDIA後續的(de)詳細介紹了(le)。

如果不出意外，NVIDIA未來(lái)還(hái)會推出基于GV100核心的(de)Quadro顯卡，到時(shí)候不知道在外觀上是否會采用(yòng)Quadro GP100的(de)渦輪式散熱(rè)器，當然據吉吉我推測，可(kě)能性是很大(dà)的(de)。

規格：晶體管數量史上之最

Volta架構的(de)首款産品Tesla V100采用(yòng)12nm FFN工藝，核心代号GV100，核心面積爲驚人(rén)的(de)815平方毫米，共包含211億個(gè)晶體管。GV100核心共有5120個(gè)CUDA處理(lǐ)器，運算(suàn)單元數量爲80個(gè)，核心頻(pín)率爲1455MHz，搭載4096-bit 16GB HBM2顯存，單精度浮點性能高(gāo)達驚人(rén)的(de)15 TFLOPS，雙精度浮點7.5 TFLOPS，顯存帶寬900GB/s。

 

NVIDIA曆代大(dà)核心計算(suàn)卡參數對(duì)比

Tesla V100首次使用(yòng)了(le)TSMC的(de)12nm FFN工藝，該工藝其實是TSMC自家16nm FFC工藝的(de)改進版，性能是後者的(de)1.1倍，功耗隻有後者的(de)70%，核心面積則可(kě)以縮小20%。憑借更爲先進的(de)工藝，Tesla V100的(de)計算(suàn)單元數量增加了(le)43%，但核心面積卻隻增加了(le)33%。

 

身材堪比Nano的(de)Tesla V100

計算(suàn)單元增加了(le)43%，但理(lǐ)論單精度性能隻增加了(le)42%，這(zhè)說明(míng)同Pascal相比，Volta的(de)性能提升靠的(de)就是計算(suàn)單元的(de)增加，而不像從Maxwell進化(huà)到Pascal那樣因工藝提升頻(pín)率激增而帶來(lái)的(de)性能質的(de)飛(fēi)躍。說到頻(pín)率，從上表可(kě)以看出V100的(de)頻(pín)率照(zhào)比P100略有下(xià)降，其可(kě)能的(de)原因有兩個(gè)，一是由于規模大(dà)幅增加，爲了(le)控制功耗而輕微降頻(pín);二是12nm FFN工藝在性能上照(zhào)比成熟的(de)16nm FinFET Plus工藝略有差距，所以頻(pín)率達不到這(zhè)麽高(gāo)的(de)數值。

 

核心面積高(gāo)達815平方毫米

此外，Tesla V100的(de)二級緩存及寄存器大(dà)小也(yě)有所增加，L2緩存由Tesla P100的(de)4MB增加到了(le)6MB，每組SM單元的(de)寄存器文件大(dà)小總數從14MB增加到了(le)20MB。顯存方面，使用(yòng)的(de)HBM2的(de)位寬及容量都沒變化(huà)，還(hái)是16GB 4096-bit，不過頻(pín)率有所提升，帶寬從前代的(de)720GB/s提升到了(le)900GB/s，更接近HBM 2顯存1024GB/s的(de)理(lǐ)論值。

架構：爲AI設計的(de)Tensor單元

從架構整體設計上看，Volta核心同Pascal和(hé)Maxwell一樣，采用(yòng)了(le)6組GPC的(de)設計，隻不過是每組GPC内的(de)SM單元呈遞進式增長(cháng)：Maxwell每組GPC的(de)内部有8組SM單元，Pascal增加到10組，而最新的(de)Volta則是增加到14組。有一點需要說明(míng)，由于單雙精度比的(de)不同，GP100核心每組SM單元内的(de)CUDA核心數量與GP102是不同的(de)，前者爲64個(gè)，後者爲128個(gè)，所以我們隻看GP100。

 

GV100核心架構圖

GV100同GP100每組SM單元内的(de)CUDA數量一樣，均爲64個(gè)，而CUDA處理(lǐ)器的(de)總數理(lǐ)應爲64*14*6=5376個(gè)，但GV100核心的(de)CUDA處理(lǐ)器數量爲5120個(gè)，少了(le)的(de)256個(gè)正是因爲NVIDIA關閉了(le)4組SM單元，這(zhè)一做(zuò)法同GP100如出一轍。

 

GP100核心架構圖

前面說到的(de)64是FP32單精度運算(suàn)單元數量，在單雙精度單元數量比上，GV100同GP100一樣爲2:1，也(yě)就是說每組SM單元中有32個(gè)FP64雙精度單元，理(lǐ)論值應爲32*14*6=2688個(gè)，但由于關閉了(le)4組SM單元，所以總數爲2560個(gè)。

 

Tensor單元工作流程圖

由于NVIDIA現在已經轉型爲一家AI公司，因此其GPU産品也(yě)開始著(zhe)力于AI、DP等領域的(de)優化(huà)發掘，在Pascal中NVIDIA開始強調FP16半精度，因爲深度學習(xí)對(duì)精度的(de)要求并不高(gāo)，甚至FP8就夠了(le)，其更需要的(de)是更強大(dà)的(de)運算(suàn)性能。在Volta中，NVIDIA帶來(lái)了(le)革命性的(de)Tensor運算(suàn)單元，該單元是繼FP16和(hé)FP8後爲AI設計的(de)全新利器。其能夠提供高(gāo)達120 TFLOPS的(de)超強運算(suàn)性能，而且效率高(gāo)且非常省電。

 

V100中SM單元設計

在GV100核心中，每組SM單元中包含8個(gè)Tensor單元，其能夠提供高(gāo)達120 TFLOPS的(de)超強運算(suàn)性能。相比于在P100的(de)FP32單元上，Tesla V100的(de)深度學習(xí)訓練能力是前者的(de)12倍，而相比于在P100的(de)FP16單元的(de)深度學習(xí)推理(lǐ)能力上，V100是前者的(de)6倍。

性能：DP方面能力提升迅猛

由于Volta同Pascal相比架構僅僅是小幅改動，因此V100的(de)理(lǐ)論性能提升同P100相比僅僅是規格增加而帶來(lái)的(de)，但實際運行方面，其提升還(hái)是相對(duì)可(kě)觀的(de)，尤其是人(rén)工智能和(hé)深度學習(xí)能力。首先我們來(lái)看一下(xià)在HPC運算(suàn)方面的(de)性能提升：

 

Volta HPC應用(yòng)性能提升

官方給出了(le)V100與P100在6款HPC應用(yòng)中的(de)性能對(duì)比，其中最低增長(cháng)了(le)42%左右，最高(gāo)增長(cháng)了(le)76%左右，平均提升幅度約爲50%，可(kě)見提升還(hái)是比較明(míng)顯的(de)，但我們也(yě)能看出，由于V100的(de)頻(pín)率與P100基本相當，所以實際性能并沒有從M40到P100那種翻天覆地的(de)提升。接下(xià)來(lái)我們看看Tensor單元的(de)引入會對(duì)V100的(de)深度學習(xí)性能帶來(lái)怎樣的(de)影(yǐng)響：

 

ResNet-50深度神經網絡訓練任務中的(de)速度對(duì)比

從圖中可(kě)以看出，Tesla V100使用(yòng)Tensor單元在ResNet-50深度神經網絡訓練任務中的(de)速度是Tesla P100使用(yòng)FP32單元進行運算(suàn)的(de)2.4倍;如果每張圖像的(de)目标延遲是7ms，那麽Tesla V100使用(yòng)Tensor核心在ResNet-50深度神經網絡進行推理(lǐ)的(de)速度是使用(yòng)FP16單元的(de)P100的(de)3.7倍(參與測試的(de)V100爲原型卡)。

 

Tesla V100 Tensor單元和(hé)CUDA 9對(duì)GEMM運算(suàn)的(de)性能提升

矩陣-矩陣乘法運算(suàn)(BLAS GEMM)是神經網絡訓練和(hé)推理(lǐ)的(de)核心，被用(yòng)來(lái)獲得(de)輸入數據和(hé)權重的(de)大(dà)型矩陣的(de)乘積。從上圖我們可(kě)以看出，相比于基于Pascal的(de)GP100，Tesla V100中的(de)Tensor單元把這(zhè)些運算(suàn)的(de)性能最高(gāo)提升了(le)8倍多(duō)。

 

不同平台深度學習(xí)訓練時(shí)間對(duì)比

還(hái)是得(de)益于Tensor單元強大(dà)的(de)實力，8路V100的(de)深度學習(xí)訓練時(shí)間僅爲8路P100的(de)三分(fēn)之一左右，而雙路E5 2699V4的(de)耗時(shí)是8路V100的(de)56倍，這(zhè)種差距是非常懸殊的(de)。

以上就是Volta架構分(fēn)析的(de)全部内容，其主要特性無非爲三點：1、史上最大(dà)規模的(de)GPU;2、首款采用(yòng)12nm工藝的(de)GPU;3、全新加入的(de)Tensor單元讓GV100的(de)DP性能達到了(le)史無前例的(de)新高(gāo)。在GTC 2017大(dà)會上，老黃(huáng)表示NVIDIA在研發Tesla V100的(de)過程中投入了(le)30億美(měi)元的(de)巨資，這(zhè)是迄今爲止NVIDIA投資的(de)最大(dà)的(de)單個(gè)項目，比Pascal還(hái)多(duō)花了(le)10億刀(dāo)。這(zhè)30億刀(dāo)讓NVIDIA整整領先了(le)AMD一代，AMD這(zhè)邊甭說Navi，就連Vega也(yě)遲遲不見蹤影(yǐng)，正是如此，NVIDIA在下(xià)半年還(hái)不準備放出消費級的(de)Volta，就讓我們期待明(míng)年初的(de)消費級Volta吧，4K被徹底征服不是夢。

以上是關于嵌入式中-NVIDIA Volta架構面世 英偉達産品叠代爲啥這(zhè)麽快(kuài)！的(de)相關介紹，如果想要了(le)解更多(duō)相關信息，請多(duō)多(duō)關注eeworld，eeworld電子工程将給大(dà)家提供更全、更詳細、更新的(de)資訊信息。