原文來(lái)源：本文首發(fā)鈦媒體App

作者 | 饒翔宇

編輯 | 鐘毅

圖片來(lái)源：由無(wú)界 AI生成

目前所有的主流智能手機(jī)廠商中，蘋果幾乎是唯一一家，還沒(méi)有正式發(fā)布大模型應(yīng)用的廠商。

過(guò)去的2023年，華為率先將大模型接入手機(jī)，使得手機(jī)可以執(zhí)行文本生成、知識(shí)查找、資料總結(jié)、智能編排、模糊/復(fù)雜意圖理解等復(fù)雜任務(wù)。之后，其他廠商迅速跟進(jìn)，比如小米訓(xùn)練出更為輕量級(jí)的語(yǔ)言大模型，參數(shù)規(guī)模為13億和60億兩種。小米內(nèi)部認(rèn)為，輕量級(jí)模型也有其存在的市場(chǎng)空間，這是端側(cè)大模型的特殊要求，也是一家智能設(shè)備廠商入局大模型的必經(jīng)之路。

在此之后，vivo則推出了藍(lán)心大模型，同樣主打輕量化，利于進(jìn)行手機(jī)本地化的數(shù)據(jù)處理；榮耀則在近日推出了自研端側(cè)70億參數(shù)平臺(tái)級(jí)AI大模型，并宣布與百度智能云達(dá)成戰(zhàn)略合作；幾乎是前后腳，OPPO也將首款70億參數(shù)大模型裝進(jìn)新推出的Find X7上。三星則計(jì)劃2024年初發(fā)布的Galaxy S24系列手機(jī)中搭載大模型，旗下筆記本電腦、平板電腦也有可能集成該模型。

唯獨(dú)蘋果，對(duì)于iPhone何時(shí)將搭載大模型能力，目前還沒(méi)有確切的消息。一位業(yè)內(nèi)人士向鈦媒體App表示，“與折疊屏一樣，蘋果對(duì)于新技術(shù)的應(yīng)用，傾向于做好充足的準(zhǔn)備后，才會(huì)正式推出?！碧O果公司CEO庫(kù)克曾解釋道，蘋果有計(jì)劃在更多產(chǎn)品中加入AI，但要“深思熟慮”。

不過(guò)，蘋果已經(jīng)陸續(xù)展開(kāi)了動(dòng)作，比如推出了名為Ferret的多模態(tài)大語(yǔ)言模型，向新聞及出版機(jī)構(gòu)購(gòu)買內(nèi)容版權(quán)。iPhone的“AI時(shí)刻”，正在加速到來(lái)。

追求更快的端側(cè)大語(yǔ)言模型

雖然蘋果還未公開(kāi)詳細(xì)的大模型路線，但根據(jù)其發(fā)布的《閃存中的大型語(yǔ)言模型：在有限內(nèi)存下高效的大型語(yǔ)言模型推理》論文，外界得以窺見(jiàn)蘋果的技術(shù)進(jìn)展。

目前，大多數(shù)大型語(yǔ)言模型（LLM）都在具有強(qiáng)大服務(wù)器硬件支持的云端運(yùn)營(yíng)。想要將這類模型裝進(jìn)手機(jī)，讓數(shù)據(jù)分析和推理在終端設(shè)備上直接完成，就需要智能手機(jī)擁有足夠大的內(nèi)存。

但是，一個(gè)70億參數(shù)的模型就需要超過(guò)14GB的內(nèi)存來(lái)加載半精度浮點(diǎn)格式的參數(shù)，這超過(guò)了大多數(shù)網(wǎng)絡(luò)端點(diǎn)的承受能力。即使通過(guò)量化壓縮模型，這對(duì)于終端設(shè)備的內(nèi)存要求依然過(guò)大，且壓縮模型通常需要修改模型甚至完全重新訓(xùn)練，也會(huì)對(duì)于模型的實(shí)際應(yīng)用帶來(lái)影響。

根據(jù)上述論文內(nèi)容，蘋果的研發(fā)人員似乎找到了突破方法——將模型參數(shù)存儲(chǔ)在閃存（手機(jī)固態(tài)硬盤）中，在需要的時(shí)候再將數(shù)據(jù)調(diào)入DRAM（手機(jī)內(nèi)存），以此解決LLM運(yùn)行時(shí)，數(shù)據(jù)處理量超過(guò)DRAM可用容量的的難題，不至于壓垮系統(tǒng)內(nèi)存。

具體來(lái)說(shuō)，蘋果主要運(yùn)用了兩種技術(shù)：“窗口化”技術(shù)：重復(fù)使用此前激活過(guò)的神經(jīng)元，以此減少數(shù)據(jù)傳輸；“行列捆綁”技術(shù)：針對(duì)閃存的數(shù)據(jù)特征，定制訪問(wèn)數(shù)據(jù)塊的順序，從而增加從閃存讀取的數(shù)據(jù)塊大小。

研究人員表示，該方法“為在內(nèi)存有限的設(shè)備上有效推理 LLM 鋪平了道路”。與 CPU 中的傳統(tǒng)加載方法相比，該框架支持DRAM兩倍大小的模型，在CPU和GPU中推理速度可分別提升4-5倍、20-25倍。

更保守的訓(xùn)練策略

與利用爬蟲(chóng)技術(shù)獲取大模型訓(xùn)練數(shù)據(jù)的方式不同，蘋果的策略偏向保守。這家公司希望與新聞出版機(jī)構(gòu)談判，尋求利用其內(nèi)容開(kāi)發(fā)生成式 AI 系統(tǒng)。

據(jù)報(bào)道，蘋果公司近期已經(jīng)開(kāi)始與主要新聞和出版機(jī)構(gòu)進(jìn)行談判，提出了價(jià)值至少 5000 萬(wàn)美元的多年期協(xié)議，以獲得新聞文章檔案的授權(quán)。這些機(jī)構(gòu)包括 Condé Nast（出版《Vogue》和《紐約客》）、NBC 新聞和 IAC。

不過(guò)，《紐約時(shí)報(bào)》稱，出版商可能要承擔(dān)蘋果公司使用其內(nèi)容產(chǎn)生的任何法律責(zé)任，而且蘋果公司對(duì)其新聞和生成式人工智能計(jì)劃“含糊其辭”。《紐約時(shí)報(bào)》還稱，蘋果公司高管一直在爭(zhēng)論如何獲取生成式人工智能產(chǎn)品所需的數(shù)據(jù)。由于注重隱私，蘋果公司一直不想從互聯(lián)網(wǎng)上獲取信息，因此與新聞出版商的交易，為其提供了一個(gè)另一種選擇方案。

蘋果保守的路線對(duì)于生成式AI的發(fā)展有利有弊，這一做法的好處是，通過(guò)在更有針對(duì)性的信息集訓(xùn)練人工智能模型，蘋果最終可能會(huì)推出更可靠的產(chǎn)品；而弊端在于，蘋果大模型的推出時(shí)間會(huì)被延遲。

相較之下，OpenAI的做法則更激進(jìn)。這家公司用于訓(xùn)練chatgpt的數(shù)據(jù)，大部分來(lái)源于網(wǎng)絡(luò)信息，但這會(huì)導(dǎo)致信息的不準(zhǔn)確，甚至出現(xiàn)虛假信息。同時(shí)，OpenAI與新聞機(jī)構(gòu)的版權(quán)爭(zhēng)議，也是一個(gè)繞不開(kāi)的問(wèn)題。

比如，《紐約時(shí)報(bào)》在2023年12月就以“違法使用數(shù)據(jù)、抄襲”為由，起訴了OpenAI?！都~約時(shí)報(bào)》稱，OpenAI大模型幾乎能一字不差地輸出《紐約時(shí)報(bào)》的報(bào)道原文，而且這一輸出既沒(méi)有引用鏈接，還刪除了原文附加的返利鏈接，這直接影響了自身的流量和實(shí)際收入。

因此，《紐約時(shí)報(bào)》認(rèn)為OpenAI和微軟應(yīng)該為非法使用，需要對(duì)“價(jià)值數(shù)十億美元的法定和實(shí)際損失”負(fù)責(zé)。此外，兩家公司應(yīng)該銷毀任何使用到《紐約時(shí)報(bào)》版權(quán)材料的模型和訓(xùn)練數(shù)據(jù)。

當(dāng)?shù)貢r(shí)間1月8日，OpenAI在官網(wǎng)發(fā)布一篇聲明，回?fù)袅恕都~約時(shí)報(bào)》最近提起的版權(quán)侵權(quán)訴訟。OpenAI稱，《紐約時(shí)報(bào)》的證據(jù)來(lái)自已經(jīng)在第三方網(wǎng)站流傳多年的文章：“他們似乎故意操縱了提示——要么指使模型反芻，要么從多次嘗試中精心挑選了示例”、“故意操縱我們的模型來(lái)反芻，不是對(duì)我們技術(shù)的適當(dāng)使用，也違反了我們的使用條款?！?/p>

此前，OpenAI還表示，如果不使用受版權(quán)保護(hù)的內(nèi)容，就不可能訓(xùn)練當(dāng)今領(lǐng)先的人工智能模型。

事實(shí)上，對(duì)OpenAI 發(fā)起訴訟的不止有《紐約時(shí)報(bào)》 。1月5日，兩位作家在一項(xiàng)集體訴訟中起訴OpenAI和微軟，指控將他們的書用于訓(xùn)練大模型；去年9月，包括《權(quán)力的游戲》作者在內(nèi)的數(shù)十位作家也提起了版權(quán)訴訟。

主動(dòng)開(kāi)源，全棧布局

與歷來(lái)封閉的iOS生態(tài)形成鮮明對(duì)比，蘋果的Ferret多模態(tài)大語(yǔ)言模型，是以開(kāi)源方式發(fā)布的。這意味著，全球的工程師可以在 Ferret 的基礎(chǔ)上繼續(xù)發(fā)展，而 Apple 也可以從中獲益。

另一方面，為了讓開(kāi)發(fā)者可以輕松構(gòu)建針對(duì) Apple 芯片優(yōu)化的機(jī)器學(xué)習(xí) (ML) 模型，蘋果還發(fā)布了名為MLX 的開(kāi)發(fā)框架。它的與眾不同之處在于蘋果的靈活性，允許開(kāi)發(fā)人員不受限制地選擇他們喜歡的編碼語(yǔ)言。

同時(shí)，MLX 可以利用蘋果 M1 和 M2 代芯片中存在的統(tǒng)一內(nèi)存系統(tǒng)。也就是說(shuō)，開(kāi)發(fā)者可以通過(guò)CPU 或 GPU對(duì)內(nèi)存中保存的陣列執(zhí)行操作，無(wú)需將數(shù)據(jù)從一個(gè)移動(dòng)到另一個(gè)。雖然節(jié)省的時(shí)間只是以毫秒為單位，但每一次節(jié)省的時(shí)間累積起來(lái)，將讓模型迭代得更快。

英偉達(dá)高級(jí)科學(xué)家Jim Fan表示，這可能是蘋果公司迄今為止在開(kāi)源人工智能方面的最大舉措。

由于蘋果公司在開(kāi)源MIT 許可下發(fā)布了其 MLX 機(jī)器學(xué)習(xí)框架，Apple 芯片的一些優(yōu)勢(shì)也可以在計(jì)算量大的機(jī)器學(xué)習(xí)領(lǐng)域繼續(xù)保持。如同英偉達(dá)創(chuàng)建了自己的CUDA生態(tài)，讓自家GPU得以大規(guī)模應(yīng)用，蘋果的MLX開(kāi)發(fā)框架M系列芯片加上基礎(chǔ)大模型底座，蘋果在大模型時(shí)代可能同時(shí)具備軟件加硬件的全棧自研體系。

據(jù)報(bào)道，蘋果公司還在開(kāi)發(fā)自己的生成式人工智能模型，稱為“Ajax”，相當(dāng)于OpenAI 的 GPT-n 系列的版本。擁有 2000 億個(gè)參數(shù)的 Apple 大語(yǔ)言模型 ( LLM ) ，將成為蘋果未來(lái)人工智能戰(zhàn)略的核心，它的性能可能與 OpenAI 最新的模型相當(dāng)。

Ajax 將使蘋果能夠在其設(shè)備和應(yīng)用程序生態(tài)系統(tǒng)中，支持新的 AI 集成和功能，而無(wú)需依賴Microsoft、OpenAI或Google等第三方模型提供商。

The Information 和蘋果分析師 Jeff Pu 表示，Apple在過(guò)去一年中一直在構(gòu)建 AI 服務(wù)器，并將在 2024 年加快步伐。一位分析師估計(jì)，蘋果僅 2023 年就在服務(wù)器上花費(fèi)了約 6.2 億美元。隨著蘋果加大在人工智能服務(wù)器領(lǐng)域的投入，預(yù)計(jì) 2024 年將在人工智能服務(wù)器上花費(fèi)超過(guò) 40 億美元。