Arm 公司昨日（7 月 10 日）發(fā)布博文，為了滿足未來生成式 AI 的需求，擴展提供更多先進智能功能，推出了可以加速 AI 工作負載的可擴展矩陣擴展 2（SME2）技術，開發(fā)者無需修改代碼，即可集成至現(xiàn)有模型和應用中。
該公司指出，在移動設備上的生成式 AI 應用不再局限于傳統(tǒng)的聊天機器人和虛擬助手，而是逐漸發(fā)展到生成文本、聲音、圖像和視頻，執(zhí)行數(shù)學推理、以及群聊摘要等諸多高級智能功能。
SME 最初出現(xiàn)在 Armv9 架構中，是一組可選的高級 CPU 架構擴展，專門設計用于加速矩陣數(shù)學運算。
SME2 在 2022 年底首次亮相，在此基礎上增加了新功能，據(jù) Arm 稱，它能夠實現(xiàn)實時的移動端推理任務，涵蓋生成圖片、自然語言處理任務等。
Arm 還分享了一些數(shù)據(jù)，這些數(shù)據(jù)確實讓 SME2 看起來非�？煽�。根據(jù) Arm 的說法，Google 的 Gemma 3 模型在 SME2 增強的硬件上，比沒有 SME2 的硬件快 6 倍。
它可以在單個 CPU 核心上不到一秒鐘內運行 800 字的文本摘要，IT之家注：這里 Arm 所指的 CPU 型號尚不清楚。
對于消費者來說，公告中的關鍵部分是，未來安卓手機即將具備 SME2 硬件能力。
到目前為止，SME 主要保留給服務器和工作站級處理器，因為其要求較高。然而，SME2 被設計為更加可擴展，能夠部署在筆記本電腦、平板電腦，以及高端智能手機上。
重要的是，安卓已經(jīng)準備好支持 SME2。SME2 在 Google 的 XNNPACK 庫中啟用，并支持 llama.cpp、阿里巴巴的 MNN 和微軟的 ONNX 等框架。
