關(guān)于谷歌TPU性能大漲、Meta算力投資、光模塊、以太網(wǎng)推動Scale Up...，一文讀懂Hot Chips 2025大會要點(diǎn)

　　AI需求增長遠(yuǎn)未放緩，多項(xiàng)技術(shù)突破正在重塑行業(yè)格局。

　　9月3日，摩根大通在最新研報中稱，該行分析師在參加Hot Chips 2025大會后認(rèn)為，AI在消費(fèi)端和企業(yè)端的爆炸式增長將繼續(xù)推動先進(jìn)計算、內(nèi)存和網(wǎng)絡(luò)技術(shù)的多年強(qiáng)勁需求周期。

　　研報稱，大會上每個會議都強(qiáng)調(diào)AI是技術(shù)進(jìn)步和產(chǎn)品需求的最重要驅(qū)動力，傳遞的核心信息是：AI基礎(chǔ)設(shè)施需求的增長動能依然強(qiáng)勁，且正在從單純的計算力競爭擴(kuò)展到網(wǎng)絡(luò)和光學(xué)技術(shù)的全面升級。該行認(rèn)為，以下幾個重要趨勢值得關(guān)注：

　　谷歌Ironwood TPU性能大幅躍升，與英偉達(dá)GPU性能差距快速縮??；

　　Meta擴(kuò)展100k+ GPU集群規(guī)模，未來十年預(yù)計增長10倍；

　　網(wǎng)絡(luò)技術(shù)成為AI基礎(chǔ)設(shè)施關(guān)鍵增長點(diǎn)，以太網(wǎng)向Scale-up領(lǐng)域擴(kuò)張；

　　光學(xué)集成技術(shù)加速發(fā)展以應(yīng)對功耗限制。

　　谷歌Ironwood TPU：性能飛躍縮小與GPU差距

　　摩根大通稱，谷歌在大會上披露了Ironwood TPU（TPU v6）的最新細(xì)節(jié)，展現(xiàn)出令人矚目的性能提升。與TPU v5p相比，Ironwood的峰值FLOPS性能提升約10倍，功效比提升5.6倍。

　　存儲容量和帶寬同樣大幅改善，Ironwood配備192GB HBM3E內(nèi)存，帶寬達(dá)7.3TB/s，相比TPU v5p的96GB HBM2和2.8TB/s帶寬有顯著提升。

　　Ironwood超級集群可擴(kuò)展至9,216顆芯片（較此前4,096顆大幅提升），由144個機(jī)架組成，每個機(jī)架包含64顆芯片，總計1.77PB直接可尋址HBM內(nèi)存和42.5 exaflops FP8計算能力。

　　性能對比顯示：Ironwood的4.2 TFLOPS/瓦功效比僅略低于英偉達(dá)B200/300 GPU的4.5 TFLOPS/瓦。摩根大通稱：

　　這一數(shù)據(jù)突出表明，先進(jìn)AI專用芯片正快速縮小與領(lǐng)先GPU的性能差距，推動超大規(guī)模云服務(wù)商加大對定制ASIC項(xiàng)目的投資。

　　據(jù)摩根大通預(yù)測，該芯片采用與博通合作的3納米工藝，將在2025年下半年量產(chǎn)。預(yù)計Ironwood將在未來6-7個月為博通帶來90億美元收入，生命周期總收入超過150億美元。

　　Meta定制化部署，凸顯MGX架構(gòu)優(yōu)勢

　　研報指出，Meta在會上詳細(xì)介紹了其定制NVL72系統(tǒng)Catalina的架構(gòu)設(shè)計。與英偉達(dá)標(biāo)準(zhǔn)NVL72參考設(shè)計不同，Catalina分布在兩個IT機(jī)架中，并配備四個輔助冷卻機(jī)架。

　　從內(nèi)部配置看，每個B200 GPU都配對一個Grace CPU，而非標(biāo)準(zhǔn)的2個B200配1個Grace CPU配置。這一設(shè)計使系統(tǒng)中Grace CPU總數(shù)翻倍至72個，LPDDR內(nèi)存從17.3TB增至34.6TB，緩存一致性內(nèi)存總量從30TB增至48TB，增幅達(dá)60%。

　　Meta表示，選擇定制NVL72設(shè)計主要基于模型需求和物理基礎(chǔ)設(shè)施考慮。模型需求不僅包括大語言模型，還涵蓋排序和推薦引擎。物理基礎(chǔ)設(shè)施方面，需要將這些功耗密集型系統(tǒng)部署到傳統(tǒng)數(shù)據(jù)中心基礎(chǔ)設(shè)施中。

　　Meta強(qiáng)調(diào)，英偉達(dá)采用符合OCP標(biāo)準(zhǔn)的MGX模塊化參考設(shè)計架構(gòu)，為客戶基于個性化架構(gòu)需求進(jìn)行定制化提供了可能。

　　網(wǎng)絡(luò)技術(shù)成焦點(diǎn)，Scale Up帶來新機(jī)遇

　　網(wǎng)絡(luò)技術(shù)成為大會的重要議題，Scale Up和Scale Out領(lǐng)域都出現(xiàn)顯著增長機(jī)會。

　　博通重點(diǎn)介紹了最新推出的51.2TB/s Tomahawk Ultra交換機(jī)，該公司將其描述為"專為HPC和AI應(yīng)用構(gòu)建的低延遲Scale Up交換機(jī)"。

　　Tomahawk Ultra是博通102.4TB/s Tomahawk 6交換機(jī)的后續(xù)產(chǎn)品，支持該公司推動以太網(wǎng)在Scale Up和Scale Out領(lǐng)域采用的戰(zhàn)略。

　　該行分析師指出，Scale Up特別代表著博通TAM擴(kuò)展的重要機(jī)會，尤其是超大規(guī)模云服務(wù)商部署越來越大的XPU集群。

　　英偉達(dá)繼續(xù)推進(jìn)以太網(wǎng)布局，推出"Spectrum-XGS"以太網(wǎng)技術(shù)，旨在解決客戶運(yùn)行跨多個數(shù)據(jù)中心的分布式集群所產(chǎn)生的"跨規(guī)模"機(jī)會。

　　英偉達(dá)稱Spectrum-XGS相比現(xiàn)成以太網(wǎng)解決方案具有多項(xiàng)優(yōu)勢，包括無限制擴(kuò)展和自動調(diào)整負(fù)載均衡，并宣布CoreWeave成為首個部署該技術(shù)的客戶。

　　光學(xué)技術(shù)深度集成，應(yīng)對功耗和成本挑戰(zhàn)

　　光學(xué)技術(shù)成為大會另一焦點(diǎn)領(lǐng)域，多個演講者強(qiáng)調(diào)了推動光學(xué)技術(shù)深度集成到AI基礎(chǔ)設(shè)施的關(guān)鍵動力，包括銅互連的限制、快速增長的機(jī)架功率密度，以及光學(xué)收發(fā)器相對較高的成本和功耗。

　　Lightmatter展示了其Passage M1000"AI 3D光子互連器"，解決了I/O連接位于芯片周邊導(dǎo)致連接性擴(kuò)展不如芯片性能擴(kuò)展快速的挑戰(zhàn)。M1000的核心是跨越4000平方毫米的有源多掩模光子互連器，能夠在單個封裝內(nèi)創(chuàng)建大型芯片復(fù)合體。

　　Ayar Labs討論了其用于AI Scale Up的TeraPHY光學(xué)I/O芯片，這是UCIe光學(xué)中繼器的首個實(shí)現(xiàn)，確保與其他制造商芯片的兼容性和互操作性。該技術(shù)支持高達(dá)8.192TB/s的雙向帶寬，功耗效率比傳統(tǒng)可插拔光學(xué)器件加電氣SerDes高4-8倍。

　　盡管CPO和其他前沿光子技術(shù)尚未廣泛部署，但分析師預(yù)計數(shù)據(jù)中心功耗限制將成為2027-2028年廣泛采用的關(guān)鍵驅(qū)動因素。M1000的光學(xué)波導(dǎo)分布在整個芯片表面，消除了傳統(tǒng)設(shè)計的"海岸線"限制，同時功耗顯著低于電氣信令。

　　AMD產(chǎn)品線擴(kuò)展，2026年推出MI400系列

　　AMD在會上深入介紹了MI350 GPU系列的技術(shù)細(xì)節(jié)。MI355X運(yùn)行在更高的TBP和最大時鐘頻率下，TBP為1.4kW，時鐘頻率2.4GHz，而MI350X為1.0kW和2.2GHz。

　　因此MI355X主要部署在液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施中，MI350X則主要服務(wù)于傳統(tǒng)風(fēng)冷基礎(chǔ)設(shè)施的客戶。

　　性能方面，MI355X的計算性能較MI350X高出9%，但單芯片內(nèi)存容量和帶寬保持一致。

　　部署配置上，MI355X可部署在最多128個GPU的機(jī)架系統(tǒng)中，而MI350X機(jī)架最多支持64個GPU，這主要由風(fēng)冷系統(tǒng)與直接液冷系統(tǒng)的熱管理能力差異決定。不過兩者的Scale Up域都保持在8個GPU。

　　AMD重申MI400系列及其"Helios"機(jī)架解決方案將按計劃于2026年推出，摩根大通預(yù)計時間為2026年下半年，MI500系列計劃于2027年發(fā)布。

　　摩根大通分析師認(rèn)為，AMD在推理計算市場具備良好定位，該市場需求增長超過訓(xùn)練市場，AMD產(chǎn)品相對英偉達(dá)替代方案具有強(qiáng)勁性能和總體擁有成本優(yōu)勢。

（文章來源：華爾街見聞）

(原標(biāo)題：關(guān)于谷歌TPU性能大漲、Meta算力投資、光模塊、以太網(wǎng)推動Scale Up...，一文讀懂Hot Chips 2025大會要點(diǎn))

(責(zé)任編輯：149)