邊緣計(jì)算性能的提升給存儲(chǔ)器的設(shè)計(jì),類型的選擇和配置都帶來(lái)挑戰(zhàn),這也導(dǎo)致在不同的應(yīng)用市場(chǎng)中需要進(jìn)行更復(fù)雜的權(quán)衡。
芯片架構(gòu)正在與新市場(chǎng)一起發(fā)展,但數(shù)據(jù)在芯片、設(shè)備之間以及系統(tǒng)之間如何移動(dòng)并不總是很清楚。汽車和 AI 應(yīng)用的數(shù)據(jù)正變得越來(lái)越多和復(fù)雜,但芯片架構(gòu)在處理時(shí)有時(shí)不清楚如何優(yōu)先處理數(shù)據(jù)。這讓芯片設(shè)計(jì)人員面臨抉擇,是選擇共用內(nèi)存降低成本,還是增加不同類型內(nèi)存提高性能和降低功耗。
所有這些都是以安全為前提,并且不同的市場(chǎng)設(shè)計(jì)的要求也不一樣。比如,汽車中的各種類型的圖像傳感器(如激光雷達(dá)和攝像頭)的大量數(shù)據(jù)需要在本地處理。AI 芯片則希望性能能夠提升 100 倍。
解決內(nèi)存問(wèn)題有一些方法,其中一種是片上存儲(chǔ)器,也就是將存儲(chǔ)器分散地集成在運(yùn)算單元旁,最大程度減少數(shù)據(jù)搬移,這種方法的目標(biāo)是通過(guò)減少負(fù)載和存儲(chǔ)的數(shù)量來(lái)突破內(nèi)存瓶頸,也能降低功耗。
" 存算一體(In-memory computing)可能是模擬的、數(shù)字的,或兩者都有。" Cadence Digital&Signoff Group 的高級(jí)首席產(chǎn)品經(jīng)理 Dave Pursley 說(shuō)," 雖然在內(nèi)存中進(jìn)行計(jì)算的想法可能是日益增長(zhǎng)的趨勢(shì),但在這種計(jì)算中實(shí)際發(fā)生的情況似乎大不相同。"
SRAM 和 DRAM 仍是主流
盡管市場(chǎng)出現(xiàn)了新的變化,但片上 SRAM 和片外 DRAM 仍是主流。已經(jīng)有專家預(yù)測(cè) DRAM 多年后將 " 死亡 ",但它仍然是最經(jīng)濟(jì)和可靠的選擇。DRAM 具有高密度、架構(gòu)簡(jiǎn)單、低延遲和高性能的特性,兼具耐用和低功耗的特性。
DRAM 密度的增速正在放緩,但 HBM2 等新架構(gòu)允許通過(guò)堆疊模塊的方式而不是使用 DIMM 來(lái)垂直增加密度,這種方法還讓 DRAM 更靠近處理單元。
另外,SRAM 價(jià)格昂貴且密度有限,但其高速性能多年來(lái)已被驗(yàn)證。片上存儲(chǔ)器的挑戰(zhàn)是采用分布還是共用的方式,在某些情況下,為保證安全性需要增加冗余。
" 所有這些要求都會(huì)影響存儲(chǔ)器的類型和數(shù)量的選擇,還涉及片上和片外存儲(chǔ)器之間的權(quán)衡,以及訪問(wèn)每個(gè)存儲(chǔ)器互連的復(fù)雜性。"Arm 高級(jí)物聯(lián)網(wǎng)架構(gòu)師 Ryan Lim 表示。
低功耗存儲(chǔ)器是關(guān)鍵
存儲(chǔ)器的一個(gè)關(guān)鍵問(wèn)題是功耗,其中存儲(chǔ)器類型和配置等多種因素都會(huì)影響功耗。例如,在 7nm 的存儲(chǔ)器中進(jìn)行數(shù)據(jù)的存取可能消耗更多功耗,這是因?yàn)榫€路中的 RC 延遲。當(dāng)然,這也會(huì)產(chǎn)生熱量,有可能會(huì)破壞輸入輸出存儲(chǔ)器的信號(hào)的完整性。
不過(guò),較慢的片外數(shù)據(jù)使用高帶寬內(nèi)存可以節(jié)省功耗,并且可以與高速 GDDR6 一樣快。如何做出這些決定取決有多種因素,包括設(shè)備的平均售價(jià)和選擇的存儲(chǔ)器類型。
還有針對(duì)手持移動(dòng)設(shè)備的極低功耗的存儲(chǔ)器,包括越來(lái)越多使用電池的邊緣設(shè)備。
" 這些存儲(chǔ)器具有極高的效能,可在一定程度上提升電池供電設(shè)備的功耗和數(shù)據(jù)速率。" Rambus 杰出的院士 Steven Woo 說(shuō)。" 它們也可以在多種模式下工作,當(dāng)處于待機(jī)狀態(tài)時(shí),可以消耗很少的能量滿足手機(jī)和平板電腦等產(chǎn)品的需求,并在需要進(jìn)行處理時(shí)快速切換到更高性能 / 更高功率的模式。 "
低功耗存儲(chǔ)器還支持多種封裝方式,允許它們與手機(jī)處理器堆疊在一起,滿足智能手機(jī)的輕薄需求,也能集成在 PCB 上支持平板電腦和其他消費(fèi)類設(shè)備高容量?jī)?nèi)存配置的需求。
毫無(wú)疑問(wèn),開(kāi)發(fā)低功耗存儲(chǔ)器是一項(xiàng)挑戰(zhàn)。" 當(dāng)設(shè)計(jì)低功耗存儲(chǔ)器時(shí),它們支持的速率范圍很廣,相對(duì)低功耗存儲(chǔ)器而言,這些數(shù)據(jù)速率往往是相當(dāng)高的。"Woo 說(shuō)。" 這通常是由一兩個(gè)主要應(yīng)用市場(chǎng)驅(qū)動(dòng),所以它必須面向一個(gè)市場(chǎng)很大的行業(yè),擁有足夠大市場(chǎng)的行業(yè)才能催生新的存儲(chǔ)器。從歷史上看,手機(jī)市場(chǎng)是成功的例子。如果與不同的手機(jī)制造商交談,他們都希望獲得性能和電源效率更高的存儲(chǔ)器,因?yàn)樗麄兿M軌蜓娱L(zhǎng)電池壽命。對(duì)于其他想要使用低功耗存儲(chǔ)器的公司,他們會(huì)很慶幸其他人正在幫他們實(shí)現(xiàn)。"
通常,這些合格的存儲(chǔ)器可能在幾種不同的數(shù)據(jù)速率下運(yùn)行,但速率很接近。" 這些存儲(chǔ)器可能有一個(gè)是每秒 4.2 千兆比特的速率,另一個(gè)是 3.2 千兆比特。" 他解釋道," 這可以讓內(nèi)存制造商在生產(chǎn)所有這些存儲(chǔ)器時(shí),進(jìn)行所謂的分級(jí)。當(dāng)某些部件沒(méi)有全速運(yùn)行時(shí)會(huì)發(fā)生這種情況,但制造商依舊會(huì)出售這些內(nèi)存,因?yàn)橛行┛蛻粜枰愿阋说膬r(jià)格購(gòu)買(mǎi)性能較低的存儲(chǔ)器。Binning(數(shù)據(jù)合并)允許這種情況。這些產(chǎn)品的性能在一定的范圍內(nèi),都屬于合格品。"
存儲(chǔ)器如何影響人工智能發(fā)展?
人工智能在幾乎所有新技術(shù)中都扮演著重要角色,而存儲(chǔ)器又在人工智能中起著重要作用。極高的速度和極低的功率是芯片一直以來(lái)追求的,不過(guò)這并不總是有效,因?yàn)榭臻g有限。但它能解釋為什么數(shù)據(jù)中心和用于訓(xùn)練的 AI 芯片比應(yīng)用于終端推理設(shè)備的芯片更大。另一種方法是減少一些片外存儲(chǔ)芯片,以提高數(shù)據(jù)吞吐量并通過(guò)設(shè)計(jì)減少到內(nèi)存的距離,或者限制片外數(shù)據(jù)流。
在任何一種情況下,片外存儲(chǔ)器的競(jìng)爭(zhēng)很大程度上歸結(jié)為 DRAM-GDDR 和 HBM。
" 從工程和生產(chǎn)的角度來(lái)看,GDDR 看起來(lái)很像其他類型的 DRAMs,如 DDR 和 LPDDR,"Woo 說(shuō)。" 你可以將它集成到標(biāo)準(zhǔn) PCB 板上,還能用類似的制造工藝。HBM 是新一些的技術(shù),它涉及堆疊和內(nèi)插器(interposers),因?yàn)?HBM 有許多連接速度較慢。每個(gè) HBM 堆棧將具有一千個(gè)連接,因此需要高密度的互連,這遠(yuǎn)遠(yuǎn)超過(guò) PCB 的處理能力。這就是為什么有些公司正在使用內(nèi)插器,因?yàn)榭梢詫⑦@些導(dǎo)線蝕刻得非常接近,很像片上連接,可以獲得更多的連接。"
HBM 追求最高性能和最佳功效,但成本更高,需要更多的工程時(shí)間和技術(shù)。使用 GDDR,DRAM 和處理器之間的互連就沒(méi)那么多,但它們的運(yùn)行速度要快得多,這會(huì)影響信號(hào)完整性。
圖 1:各種類型 DRAM 的特點(diǎn)。圖片來(lái)源:Rambus
PPA
功率,性能和面積(Power、Performance、Area)仍然是關(guān)鍵驅(qū)動(dòng)因素,盡管有架構(gòu)和變革和新技術(shù)。
" 這三個(gè)都非常重要,但很大程度上取決于應(yīng)用。" 西門(mén)子 Mentor 知識(shí)產(chǎn)權(quán)部門(mén)總經(jīng)理 Farzad Zarrinfar 表示。" 例如,如果是一個(gè)便攜應(yīng)用,功耗非常重要。電源本身也分動(dòng)態(tài)和靜態(tài)。一部分是動(dòng)態(tài)功率,一部是靜態(tài)功率。如果應(yīng)用于無(wú)線通信,如果有大量計(jì)算,動(dòng)態(tài)功率非常重要。但是,如果是可穿戴式應(yīng)用,使用者會(huì)處于睡覺(jué)、醒來(lái)運(yùn)動(dòng),然后又回到睡眠的不同狀態(tài),靜態(tài) / 泄漏功率非常重要。"
淺睡眠等功能使設(shè)計(jì)人員能夠大幅減少泄漏,這時(shí),不工作的存儲(chǔ)器進(jìn)入源偏置模式以減少泄漏,而其他被直接訪問(wèn)的存儲(chǔ)組是工作的。在設(shè)計(jì)的深度睡眠時(shí),可以通過(guò)電源管理,管理 Vdd 和最小化泄漏的技術(shù)來(lái)保留數(shù)據(jù)。如果不需要保留數(shù)據(jù),則用關(guān)閉模式能進(jìn)一步減少泄漏。
與電源效率相關(guān)的一切在汽車中也是至關(guān)重要的。" 在電動(dòng)汽車中,電池的壽命非常重要,因此耗電量至關(guān)重要,"Zarrinfar 說(shuō)。" 人們希望從 -40°C 一直到 125°C 都具有線性的特性,甚至在更高的 150°C 情況下。他們不希望在高溫下泄漏陡然增長(zhǎng),并且他們希望盡可能地將其保持在線性范圍內(nèi)。同樣,我們必須在整個(gè)溫度范圍內(nèi)注意功耗和泄漏,這非常重要。"
無(wú)論應(yīng)用領(lǐng)域如何,功率仍然是首要考慮因素。" 我們看到隨著 SoC 設(shè)計(jì)向更小化發(fā)展。" 他說(shuō)。" 存儲(chǔ)器的消耗正在增加,嵌入式存儲(chǔ)器的容量也在增加。現(xiàn)在,我們看到超過(guò) 50%的裸片是存儲(chǔ)器。所以人們必須注意存儲(chǔ)器的耗電量。"
圖 2:1999 - 2023 年平均晶圓面積 來(lái)源:Semico Research
結(jié)論
盡管有大量革命性技術(shù)和創(chuàng)新架構(gòu),但內(nèi)存仍然是設(shè)計(jì)的核心。雖然即將出現(xiàn)新的存儲(chǔ)器類型,例如相變和自旋扭矩,但大部分仍然應(yīng)用于各種條件的市場(chǎng)。最大的變化在于如何對(duì)現(xiàn)有存儲(chǔ)器進(jìn)行優(yōu)先級(jí)劃分、共用、在設(shè)計(jì)中選擇,以及最終如何使用它們。雖然這聽(tīng)起來(lái)像是一個(gè)簡(jiǎn)單的問(wèn)題,但事實(shí)并非如此。
" 選擇正確的內(nèi)存解決方案通常是獲得最佳系統(tǒng)性能的最關(guān)鍵。" Synopsys 高級(jí)技術(shù)營(yíng)銷經(jīng)理 Vadhiraj Sankaranarayanan 在最近發(fā)表的一份白皮書(shū)中指出,這說(shuō)起來(lái)容易做起來(lái)難。
【來(lái)源:雷鋒網(wǎng)】