伊莉討論區

標題: ［聯發科、高通喊生成式AI手機來了為何記憶體需求看增？］［鉅亨網］［2023-11-07］ [打印本頁]

作者: 芙雷 時間: 2023-11-7 02:59 AM 標題: ［聯發科、高通喊生成式AI手機來了為何記憶體需求看增？］［鉅亨網］［2023-11-07］

生成式AI從雲端走向終端！聯發科（2454）看好生成式AI將引發革命，新發表的「天璣9300」旗艦5G生成式AI晶片算力大提升，能在不連網下啟動AI個人化服務，聯發科與高通投入下，AI手機將在2024年掀起浪潮，手機記憶體需求將提升，3個關鍵因素將影響AI手機體驗：AI算法模型、壓縮技術、支援多模態。

2024年將是生成式AI手機關鍵年，2023年生成式AI透過雲端龐大算力支持，應用爆紅，也讓世界見識到生成式AI威力，聯發科看好AI在裝置端威力，6日發表的旗艦晶片天璣9300就號稱已經可讓最高300億參數的大語言模型落地在手機上，離線提供有隱私的智慧化服務。
若要把大語言模型塞入手機中，並在不連網不靠雲端算力，純粹利用手機本身內建的晶片算力跑模型，雖然能保留用戶隱私，但勢必有許多挑戰要克服。

首先是在大語言模型塞到手機中，肯定相當吃記憶體空間，AI手機未來記憶體容量是否從現在主流平均為8～16GB向上提升值得觀察。

聯發科舉例，330億參數的大語言模型要占33GB記憶體，加上手機本身跑Android系統就要3~4GB記憶體，若還要下載其他APP則需要更多記憶體，使手機硬體成本上升，故一般而言會壓縮AI模型，而聯發科則推出自家記憶體硬體壓縮技術NeuroPilot Compression，以軟體壓縮率60%以上概算，則330億參數大語言模型壓縮後將吃24GB記憶體，聯發科補充，現在未必需要把330億參數的大語言模型塞入手機中，但未來長期趨勢值得觀察。
高通的 Snapdragon 8 Gen 3 具業界指出，手機參考設計建議搭 24GB記憶體，但若要訴求中低階手機，需要搭配較小參數的AI模型，當然模型壓縮技術也持續進步，未來若可提高壓縮率，則裝置端的硬體資源不一定要擴大，手機依然也可以很聰明。

而天璣9300中包含一顆APU 790，支援「終端生成式AI技能擴充」技術（NeuroPilot Fusion），讓手機在大型生成式AI模型之上，可以外加個人偏好的技能擴充包，這也讓AI手機中的基礎大語言模型或許未必要很肥大，消費者可以根據個人需要下載專家技能模型。

舉例而言，自動生成AI以圖生圖，原生於手機中的人像變化造型風格可能只有10種，但消費者想要其他風格，可以另外自行下載技能擴充包，若希望有醫療背景知識或交通運輸相關能力，都能找到相對應模型下載強化，換言之，未來AI手機用越久，每個人手中的AI能力差異也會越大。

作者: gogosp 時間: 2023-11-7 08:36 AM

謝謝版大的用心分享呀！

作者: tikwo 時間: 2023-11-7 08:45 AM

非常感謝版大的分享資訊！
Thanks !

作者: victor8520 時間: 2023-11-8 04:19 PM

發哥看來年底四位數沒有問題，說不定月底就達標了~

作者: shengkyo 時間: 2023-11-12 09:27 AM

感覺這是一顆很厲害的晶片!!技術上的突破當然是一件好事，就看有多少人需要用到或是買單了!

歡迎光臨伊莉討論區 (http://web01.eyny.com/)