【產業戰隊VIP】Nvidia CXP晶片引爆電力需求大商機 順達與AES-KY最新營運資訊
本文章內容僅為法說會訊息分享以及教學案例之用,內文提到的股票與產業皆非個股推薦,僅為訊息分享傳遞與個人交易心法與心得,進場前請謹慎風險評估、損益自負
前言: Nvidia下世代產品導入CPX,伺服器功耗跳升至800kW
Nvidia近期發表新款CPX晶片,這是針對推論而設計的專用加速器,目標是要讓Rubin晶片以及CPX晶片共同協作分工以增進效率。在Nvidia下一代Rubin系列的產品中,語言模型的推論會拆分為計算密集的預填(prefill)與頻寬敏感的解碼(decode),分別交由兩種最適化晶片處理,藉此提升吞吐、縮短Token延遲並壓低每token成本。
伺服器配置上,Rubin運算層上會用4片Rubin加上2片CPU配置,在運算層下端則新增8片CPX配置,進一步提升運算層內的晶片密度。由於晶片耗能提升,Vera Rubin整體機櫃功耗將達800kW以上,相較目前GB系列伺服器約150kW提升5倍以上,這就讓相關BBU供應商包含順達(3211)與AES-KY(6781)等公司隨之受惠。

資料來源:Nvidia
發表
我的網誌
