輝達的乙太網路架構藍圖與DPU

Ian_klad · 2024-06-08T19:38:12Z

回復版友問題：關於乙太網IC 部分，NV 有併購了Mellanox，是不是之後就不用邁威爾的解決方案了？我覺得這個問題問的很好！我想這問題應該先切成兩個層面，第一個層面是，輝達專注在哪？輝達專注在建造高速運算的電腦系統，一般馮紐曼架構的電腦運算瓶頸，往往存在於，記憶體與算數單元之間的匯流排頻寬。為了解決這個瓶頸，在匯流排的頻寬上限突破，輝達改用了乙太網定義的匯流排（RoCE, RDMA over Converged Ethernet)，這樣的好處很明顯，由原先的由電作為媒介而被限制的傳輸速度，在換用為光作為的媒介後，提升了許多。所以當你在瀏覽輝達介紹乙太網路區塊時，他的標題寫著人工智慧時代的網路：由網路定義資料中心 https://www.nvidia.com/zh-tw/networking/products/ethernet/ 這時，很直覺的你會想到，由網路定義的話，各個機櫃之間都需要有光纖接在一起來形成一個資料中心，那彼此互相距離多遠呢？彼此之間需要多大的傳輸速度呢？輝達本身的技術能支援到怎樣的標準呢？參考以下的應用圖圖一，及市場架構圖圖二 ref [1] AI帶動矽光子CPO共封裝蓄勢待發 https://magnifier.cmoney.tw/矽光子-cpo/ [2] communication market overview https://www.coherent.com/content/dam/coherent/site/en/documents/investors/investor-presentations/2024/september-19/communications-market-overview-09192023.pdf 從輝達自己在互聯部分厲害的是資料中心“內”短距離的，也只關心短距離的，因為他的重點是做出高運算的資料中心 https://www.nvidia.com/en-us/networking/interconnect/ 第二個層面是，邁威爾在資料中心的部分厲害在哪？從之前的影片其實已經有提示了，輝達在資料中心間的互連方案其實仰賴於邁威爾提供的解決方案 https://www.youtube.com/watch?v=fMUbIC8wc24 這邊透過剛剛的[1]的內容再強調一次邁威爾在2023年8月推出的COLORZ 800就是業界首個傳輸速度達到每秒800Gb的插拔式光收發模組，且傳輸距離高達 1,200公里，可用於連結不同城市的資料中心(DCI, Data Center Interconnect)，有望於2023年第四季開始樣本測試，並於測試後的9至12個月內出貨。而博通每秒800Gb的產品組合種類豐富，傳輸距離由100米至 10公里的插拔式光收發模組。這邊明確的告訴我們說，目前邁威爾獨佔了這個資料中心互聯的解決方案，這邊可能有人會疑惑說，為什麼近距離的，博通做得了，長距離就不行了？原因是隨著光纖傳輸距離拉長，我們需要施加更強能量的光以便能夠克服訊號在長距離傳輸中的耗損，而這相伴衍生出了光的非線性失真，造成需要將訊號還原的DSP複雜度上升了許多(細心的會注意到邁威爾介紹時特別標了PCS，大意是由於PAM4調製的訊號外圈非線性度較高，所以把訊號想辦法壓在內圈) 參: https://news.futunn.com/hk/post/39900116/marvell-leads-with-first-800-gbps-optical-module-and-3d?level=1&data_ticket=1714146436356230 這邊在稍微提醒一下，如果單看交換器的總頻寬還有速度，你可能會以為三家的解決方案等級差不多，可是魔鬼藏在細節裡，邁威爾的單個連接埠(port)的最高傳輸速度是每秒1600Gb，這個解決方案的含金量在硬體面其實已經領先一個世代了，從上面的OFC 2024也知道邁威爾的解決方案已經可以實踐了，輝達的交換器厲害的地方在於輝達已經把如何最佳化網路架構這件事放進去了 ================================== 輝達與邁威爾的DPU 不同處：如果你在輝達提供的解決方案，看的更深入的話會發現，邁威爾的DPU跟輝達的DPU很不一樣，輝達的DPU更多是在於網路的部分怎麼做到最佳化，為GPU提供最低的延遲，如果要做inference 的東西的話，一定要搭配GPU (AX800)。而邁威爾的不用，邁威爾的DPU本身有機器學習的推論加速器參 NVIDIA AX800 在5G vRAN上的應用 https://developer.nvidia.com/blog/nvidia-ax800-delivers-high-performance-5g-vran-and-ai-services-on-one-common-cloud-infrastructure/ note: NVIDIA AX800 是結合了NVIDIA Ampere 架構 GPU 技術與BlueField-3 DPU Marvell 的 OCTEON 10 DPU 針對具有挑戰性的超大規模雲端工作負載、5G 傳輸處理、5G RAN 智慧控制器 (RIC) 和邊緣推理 https://www.edomtech.com/zh-tw/product-detail/octeon-10-dpu-platform/ 美國基建補助項目主要涵蓋O-RAN、光纖設備基礎建設、固定無線存取網路設備（FWA），也是這次的主軸：瑞祺電將供應電信局端設備，包含電話交換機，以及大數據所需的資料處理器 (DPU) https://tw.stock.yahoo.com/news/瑞祺電美國電信基建長單挹注-未來三年成長動能無虞-024259146.html 在往上看一下MRVL 的DPU是不是有提供 5G RAN智慧控制，再往下看一下這篇新聞你會懂DPU 在推論什麼 https://udn.com/news/story/6811/7468054 上面有提過NVIDIA Aerial CUDA 加速 RAN 無線接取網路，是以軟體定義方式，讓研究人員即時自定義、編程與測試 6G 網路提供靈活性。但真實世界需要”即時“，要落地就是DPU 端直接把調教好的模型用硬體即時推算出來提供的 ==================================== 關於ASIC 市場的競爭，我想我簡單回就好，GPU的毛利率，跟ASIC的毛利率誰高？如果不高，那輝達進ASIC市場的目標是什麼？一名前記者側錄了2013年，當時那時的NVIDIA投入很多資源在手機處理器，最後毛利率不高可是直接砍掉 https://www.facebook.com/echotaitai/posts/1004646814999353 我覺得目標是吃掉博通的市佔率 https://hao.cnyes.com/post/81693 ===================================== 額外的營收可能來自的地方：細細梳理樺漢的法說會的部分資料會發現，有兩個亮點 https://news.cnyes.com/news/id/5383071?utm_source=yahoo&utm_medium=RSS&utm_campaign=relate 1. 朱復銓表示，品牌通路事業在手訂單金額已達 17 億歐元 (近新台幣 600 億元)，透過持續深化歐美市場，鐵路專用網絡 (RDN)、IIoT+5G 智慧製造解決方案等的設備及服務需求增溫外，也同步強化在 AIoT 人工智慧物聯網應用。這個部分，最近發表的產品可能是暗示 https://www.cas-well.com/news-room/product-releases/car-5071-caswells-newest-premium-system-for-edge-ai-computing/ 2. ESaaS(Ennoconn Solution as a Service) 整合平台，朱復銓透露，目前在手訂單 126 億元，主要聚焦「數位、綠色、資安、AI」四大轉型的接單動能，且因「軟體 + 軟硬方案訂閱式服務」毛利率區間達 35% 以上，將反應在未來獲利表現上。這個部分，應該很容易理解就是6416的訂閱服務了 ==================================== 其實新聞常常都是各個零散的真實細節，而趨勢就像是一張未完成的拼圖，由每個人動動腦去把細節補齊，受限於每個人對於詞彙的掌握度，很有可能有很大的不同，不知道的詞彙多查，有很多小彩蛋等著大家發現喔祝大家端午佳節愉快～