達摩院成功研發全球*“存儲計算集成AI芯片”。性能是 10 倍，能效比是 300 倍

芯智訊|Core Zhixun|

2022-03-10 13:32:53 8

12月3日消息，芯智訊消息，阿里巴巴法學院計算機技術實驗室成功研發出全球*基于DRAM的3D膠合棧計算存儲一體化AI芯片。該芯片可突破馮諾依曼架構的性能瓶頸，滿足人工智能等場景對高帶寬、大容量內存、*算力的需求。在部分AI場景下，芯片性能提升10倍以上，能效比提升高達300倍。

dbaeed9ea41e2318fef555e781c56edd

達摩院存算一體芯片（芯智訊拍攝）

為何研發存算一體芯片？

從計算機誕生起，計算機系統就是在馮·諾依曼架構下運行。在馮·諾伊曼架構中，計算與內存是分離的，計算單元從內存中讀取數據，計算完成后再存回內存。特別是隨著人工智能等對性能要求極高的場景爆發，傳統的馮·諾依曼架構的短板開始凸顯，例如功耗墻、性能墻、內存墻的問題。

造成這一問題的原因主要有兩點：

一是數據搬運帶來了巨大的能量消耗。數據顯示，在傳統架構下，數據從內存單元傳輸到計算單元需要的功耗是計算本身的約200倍，因此真正用于計算的能耗和時間其實占比很低。

二是內存性能的發展遠遠滯后于處理器的發展。目前，處理器的算力以每兩年3.1倍的速度增長（AI對于算力的需求每兩年提升750倍），能夠處理器的數據量也快速增長，但是內存的性能每兩年只有1.4倍的提升。

也就是說，即使處理器每秒能夠處理3.1倍的數據量，但是由于處理器從內存中存取數據都是經過同一條內存總線訪問，而這個內存總線如果最多只能通過1.4倍的數據量，這也意味著處理器也只能處理1.4倍的數據量。內存性能限制了處理器性能的提升。

目前內存性能的提升速度嚴重滯后于處理器性能提升的速度，這就好比一個漏斗，寬的一端是處理器，而狹窄的一端則是存儲器，后者的性能極大地影響了數據傳輸的速度，這也被認為是傳統計算機的阿克琉斯之踵。這一點在AI/HPC計算領域尤為明顯。

1accee53c5c92b48c8357e11c9afa5c2

如果要突破內存墻的瓶頸，就需要一個很好的從系統到芯片的硬件解決方案。而存算一體芯片則是目前解決該問題的最佳途徑。

4ffd3a7dd8627b8f42b28aa89406f867

存算一體芯片的架構類似于人腦，將數據存儲單元和計算單元融合為一體，大幅減少數據搬運，從而極大提高計算并行度和能效。這一技術早在90年代就被提出，但受限于技術的復雜度、高昂的設計成本，以及缺少應用場景，過去幾十年業界對存算一體芯片的研究進展緩慢。隨著AI場景的爆發，業界迫切需要該技術來解決算力瓶頸，達摩院希望通過自研創新技術解決業界難題。

如何實現“存算一體”？

目前實現“存算一體”主要有三種技術路線：

1. 近存儲計算（Processing Near Memory）：計算操作由位于存儲芯片外部的獨立計算芯片完成。

2. 內存儲計算（Processing In Memory）：計算操作由位于存儲芯片內部的獨立計算單元完成，存儲單元和計算單元相互獨立存在。

3. 內存執行計算（Processing With Memory）：存儲芯片內部的存儲單元完成計算操作，存儲單元和計算單元完全融合，沒有一個獨立的計算單元。

其中，近存計算通過將計算資源和存儲資源距離拉近，實現對能效和性能的大幅度提升，被認為是現階段能解決內存墻問題的最佳途徑。達摩院本次也是沿著這一方向進行突破。

c0da65f7ef088f4e90c840ec8723be94

達摩院有哪些技術創新？

目前HBM是將內存和計算結合在一起的主要方案之一，但該技術受限于單位容量帶寬不足和功耗高的缺點，無法有效解決內存墻問題。

而混合鍵合(Hybrid Bonding)的3D堆疊技術擁有高帶寬、低成本的特點，被認為是低功耗、近存計算的*載體之一。

3da60c89cb3f2579547b1f02e45f00a5

此次，達摩院研發的芯片*采用混合鍵合(Hybrid Bonding)的3D堆疊技術——將邏輯計算芯片和DRAM存儲芯片face-to-face地用特定金屬材質和工藝進行互聯，實現了炒高片上內存帶寬，炒高密度片間互聯。

最終的測試芯片顯示，這種存算技術和架構的優勢明顯，能通過拉近存儲單元與計算單元的距離增加帶寬，降低數據搬運的代價，緩解由于數據搬運產生的瓶頸，而且與數據中心的推薦系統、圖神經網絡、大規模NN訓練，對于帶寬/內存的需求*匹配。

據芯智訊此前在云棲大會“前沿計算技術突破論壇”上的了解的信息顯示，該存算一體芯片的片上內存帶寬可高達37.5GB/s/mm²，相比傳統芯片，可提供

20倍以上片上內存容量和100倍以上內存能效比提升。在典型的實際應用中，可實現10倍以上的性能提升和300倍的能效提升。

在設計方面，該芯片內存單元采用異質集成嵌入式DRAM，擁有超大內存容量和超大帶寬優勢；計算芯片方面，達摩院研發設計了流式的定制化加速器架構，對推薦系統進行“端到端”加速，包括匹配、粗排序、神經網絡計算、細排序等任務。這種近存架構也有效解決了帶寬受限的問題，最終內存、算法以及計算模塊*融合，大幅提升帶寬的同時還實現了超低功耗，展示了近存計算在數據中心場景的潛力。

得益于技術的創新性，該芯片的研究成果已被ISSCC 2022收錄。目前，達摩院在存算一體架構方向上擁有大量*成果，在ISCA、MICRO、HPCA等*計算機體系結構會議上發表多篇論文。

895714419fcfbb4e2f0a4731afa77293

存算一體芯片在海量數據計算場景中擁有天然的優勢，在終端、邊緣端以及云端都有廣闊的應用前景。例如VR/AR、無人駕駛、天文數據計算、遙感影像數據分析等場景中，存算一體芯片都可以發揮高帶寬、低功耗的優勢。從長遠來看，存算一體技術還將成為類腦計算的關鍵技術。

針對這一技術未來有何研發和應用規劃？

目前，全行業對集成存儲-計算機芯片技術的研究還處于探索階段，在工藝成熟度、典型應用和應用等方面尚不成熟。 '生態系統。法學院希望逐步攻克技術難題。內存芯片通過縮短存儲單元與計算單元之間的距離，增加帶寬，降低了數據處理的成本，緩解了數據處理帶來的瓶頸。未來，法學院將在存儲方面征服更多的計算機技術。在應用方面，未來我們將與阿里巴巴內部運營緊密合作，逐步適配和優化內部AI應用場景。

免責聲明：本文轉載自“芯智訊”，本文僅代表作者個人觀點，不代表薩科微及行業觀點，只為轉載與分享，支持保護知識產權，轉載請注明原出處及作者，如有侵權請聯系我們刪除。

公司電話：+86-0755-83044319
傳真/FAX：+86-0755-83975897
郵箱：1615456225@qq.com
QQ：3518641314 李經理

QQ：202974035 陳經理

地址：深圳市龍華新區民治大道1079號展滔科技大廈C座809室