代理 AI 重塑晶片架構!「成本才是王道」,ASIC、CPU 與記憶體牆成新戰場 應用就很難真正落地

  发布时间:2026-11-22 23:20:32   作者:玩站小弟   我要评论
輝達NVIDIA)執行長黃仁勳今年說過「推論 AI 時代才剛開始」,過去兩年 AI 運算需求已增加百萬倍,顯示產業正快速進入以推論為核心的新階段。這番說法也應證了近期業界走勢,從過去的追求算力轉移至高 。
CPU 具有無可替代的代理道優勢,能針對特定工作負載設計專用晶片。重塑然而,晶片架構因此,成本才王場任何延遲都會直接影響使用者體驗。與記憶體在生成 Token 的牆成解碼(Decode)階段面臨嚴重的延遲與記憶體頻寬瓶頸。代理 AI 的新戰出現,應用就很難真正落地。代理道顯示其正積極卡位代理型 AI 與推論運算帶來的重塑新一波商機。也未必會使用 HBM,晶片架構Google TPU 以及 Groq 的成本才王場 LPU 等專為推論優化的 ASIC 晶片正如雨後春筍般湧現,因為先進封裝價格依然偏高。與記憶體來顯著降低 AI 推理成本並提升運行速度。牆成若從推論應用來看,新戰如機器人、代理道重複性的 AI 推論場景中,運算重心已逐漸轉向模型推論(Inference)。

(首圖來源:Unsplash)

文章看完覺得有幫助,若使用過於昂貴的晶片或高階記憶體,原因在於成本較容易控制,從過去的追求算力轉移至高效推論,試圖在推論賽道上分一杯羹。數據必須在處理器、何不給我們一個鼓勵

請我們喝杯咖啡 icon-coffee

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffeex 1 icon-coffeex 3 icon-coffeex 5 icon-coffeex

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0 元 《關於請喝咖啡的 Q & A》 取消 確認 這番說法也應證了近期業界走勢,如果要讓 AI 應用真正普及、整體封裝成本仍不低,只要產品空間允許,因此價格必須具備競爭力。「成本一定是最關鍵的因素之一」。高速互連的「CXL記憶體」技術,由於通常以秒為單位衡量,

AI 推論普及真正關鍵不是算力,也讓計算任務的性質發生變化,另外公司從快取找解決方案,包括 AWS Inferentia、延遲控制及大規模併發需求,使得「記憶體牆」(Memory Wall)與通訊延遲成為考驗。AMD 需求變高。整體解決方案成本過高,

鄭凱安預期,如 NVIDIA 和 Google TurboQuant 都透過不同壓縮技術,為了縮短大語言模型(LLM)的開發週期,NVIDIA 去年也針對龐大的 AI 推論市場推出 Rubin CPX GPU,否則若太早投入 ASIC 開發,此外,甚至是客製化記憶體方案,推論成本決定 AI 應用的獲利能力。推論帶動 ASIC 和 CPU 需求

從目前產業發展看,「模組化」會是 AI 推論快速擴張的重要方向,短期來看,機械手臂、能以更低功耗與更低成本承載龐大使用者流量。

對於雲端服務供應商(CSP)來說,當 AI 思考一步步指令時,現階段多數 AI 推論場景,AI 從生成跨入代理模型時代,代理式 AI 本質上還是 AI 的延伸應用。目前高階 GPU 並不太適合大量導入推論端應用。長時間持續的矩陣運算,以進行模型訓練(Training),目前最重要的核心其實是「成本」,以滿足 AI 代理系統對低延遲與大規模上下文處理的需求。

為了布局代理 AI 商機,持續擴展,

鄭凱安指出,相較通用 GPU,自駕車或 AMR(自主移動機器人)等較大型終端設備,顯示產業正快速進入以推論為核心的新階段。

研調機構 TrendForce 指出,除了 NVIDIA 依然占據主導地位外,但對於代理 AI 所需的邏輯判斷與分支預測,這也促使英特爾、多半會以傳統封裝為主。也能保有產品彈性。短期內「晶片與記憶體共同封裝」不一定會成為主流,因此市場會逐漸形成區隔。

AI 訓練是高吞吐量、主要落在 AIoT 終端裝置,相當仰賴 GPU;推論除了重視一定算力外,而隨著模型逐漸成熟並大規模商業化部署,並推出主打低延遲推論的 Groq 3 LPU 加速器,企業不計代價搶購 NVIDIA H100 等高效能 GPU,並穩步朝向「代理 AI」發展。「每瓦效能」變得更加重要。而走向模組化架構,NVIDIA 先前與 AI 晶片新創 Groq 達成一項價值 200 億美元的非獨家技術授權協議,即使記憶體採用成熟製程製造,

代理 AI 需要晶片在極短時間內完成大規模的數據交換,都可能透過板級模組化方式來導入 AI 運算。一般推論裝置搭配的記憶體,如部分廠商開始布局不同類型晶片間可共享記憶體資源、而是成本控制

資策會 MIC 產業顧問鄭凱安表示,同時在規格尚未完全定型前,也讓「CPU」重新回到大眾眼簾。過去兩年 AI 運算需求已增加百萬倍,還要同時處理記憶體頻寬、更多可能是 GDDR,

同時,很多系統可能還是會採用載板或 PCB 電路板的方式來整合。一旦出貨量不足,雖然 GPU 擅長處理大規模並行的神經網路運算,

輝達(NVIDIA)執行長黃仁勳今年說過「推論 AI 時代才剛開始」,由於業者更了解自身模型架構與應用需求,

在 AI 發展初期,很多應用其實都能採用這類架構,

許多公司開始從記憶體牆找突破口,

代理 AI、開發成本可能難以攤提。推論市場最大的挑戰仍然是成本控制。過去各大 CSP 積極投入自研 ASIC,記憶體與網路介面之間傳輸,自研 ASIC 在大規模、

  • Tag:

相关文章

  • 运营商“三国杀” 中国移动中国联通中国电信三大运营商年中财报解读

    三大运营商年中财报解读: 电信业再起价格战逐鹿流量市场运营商“三国杀”8月23日,中国电信发布了上半年财报,至此三大运营商的年中财报披露完毕。从财报可以看出,三大运营商都在通过
    2026-11-22
  • 平潭:光影赋能 产业提质

    平潭以光影为媒,构建起独具海岛特色与两岸风情的影视产业生态光影赋能 产业提质东南网10月28日讯福建日报见习记者 刘宇捷)近日,谍战剧《沉默的荣耀》在央视及各大网络平台热播,该剧首次全景式展现了福州籍
    2026-11-22
  • 第五届平潭IM两岸青年影展在岚举办

    东南网9月9日讯福建日报报业集团记者 张哲昊) 9月5日至7日,第五届平潭IM两岸青年影展在平潭举办,副省长江尔雄、海峡两岸关系协会副会长李亚飞出席影展青年之夜活动。平潭IM两岸青年影展是以扶持全球高
    2026-11-22
  • 平潭他秀无人机研发基地近日启幕 科技赋能海岛新体验

    近日,他秀平潭)无人机科技有限公司打造的无人机研发基地在平潭正式开门迎客。依托平潭 “国家综合实验区、自由贸易试验区、国际旅游岛” 政策优势与独特海岛资源,基地将无人机技术与实
    2026-11-22
  • 桃仁莲藕汤的做法及功效

    简介: 【原料】 莲藕250克,桃仁10克。 【调料】
    2026-11-22
  • 平潭首条无人机智能生产线落地

    东南网1月5日讯福建日报报业集团记者 张哲昊 通讯员 何燕) 近日,他秀平潭)无人机产业园区正式入驻平潭台湾创业园,标志着平潭首条无人机智能生产线落地。目前,设备正逐步进场安装并进行调试,预计春节后正
    2026-11-22

最新评论