作者｜趙健

來源丨甲子光年

套殼不是核心競爭力，把殼做厚才是。

圖片來源：由無界 AI生成

剛剛過去的 2023 年是大模型元年，在國產(chǎn)大模型數(shù)量狂飆突進(jìn)的同時——已經(jīng)超過 200 個，“套殼”一直是縈繞在大模型頭上的輿論陰云。

從年初到年末，從百度文心一言到零一萬物，從字節(jié)跳動到谷歌 Gemini，各種“涉嫌套殼”的事件屢次沖上熱搜，隨后又被相關(guān)方解釋澄清。

非 AI 從業(yè)者，視套殼如洪水猛獸；真正的 AI 從業(yè)者，對套殼諱莫如深。但由于“套殼”本身并沒有清晰、準(zhǔn)確的定義，導(dǎo)致行業(yè)對套殼的理解也是一千個讀者有一千個哈姆雷特。

當(dāng)我們在談?wù)撎讱さ臅r候，到底在談?wù)撌裁矗?/p>

拋開具體場景談套殼都是在貼標(biāo)簽。為了厘清大模型套殼的邏輯，「甲子光年」訪談了一些AI從業(yè)者、投資人，結(jié)合 OpenAI、Meta 以及國內(nèi)大模型相關(guān)技術(shù)論文，從一個大模型的“煉丹”過程入手，看看在哪些步驟、哪些環(huán)節(jié)，存在套殼的空間。

2024 年或許是大模型大規(guī)模落地的元年，一些 AI Native 的應(yīng)用將會陸續(xù)出現(xiàn)。在積極發(fā)展大模型應(yīng)用生態(tài)之時，希望行業(yè)對于“套殼”的討論能夠拋開情緒，回歸事實(shí)。

1.大模型的統(tǒng)一“內(nèi)核”

為了更好地理解套殼，必須區(qū)別“外殼”與“內(nèi)核”的區(qū)別。

今天，所有大模型的內(nèi)核，都起源于 2017 年谷歌大腦團(tuán)隊(duì)（Google Brain，2023年 4 月與谷歌收購的?AI?公司 DeepMind 合并為 Google DeepMind ）發(fā)布的Transformer 神經(jīng)網(wǎng)絡(luò)架構(gòu)。

Transformer 一經(jīng)問世，逐步取代了過去的 RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）與 CNN（卷積神經(jīng)網(wǎng)絡(luò)），成為 NLP（自然語言處理）前沿研究的標(biāo)準(zhǔn)范式。

在 Transformer 誕生的十年前，有一部好萊塢大片《變形金剛》在全球上映，這部電影的英文名字就叫“Transformers”。就像電影中能夠靈活變身的變形金剛一樣，作為神經(jīng)網(wǎng)絡(luò)架構(gòu)的 Transformer 也可以通過改變架構(gòu)組件與參數(shù)，衍生出不同的變體。

Transformer 的原始架構(gòu)包含兩個核心組件——編碼器（Encoder）與解碼器（Decoder），編碼器負(fù)責(zé)理解輸入文本，解碼器負(fù)責(zé)生成輸出文本。在 Transformer 的原始架構(gòu)上“魔改”衍生出三個變體架構(gòu)——只采用編碼器（Encoder-only），只采用解碼器（Decoder-only），以及兩者的混合體（Encoder-Decoder）。

這三個變體架構(gòu)分別有一個代表性模型——谷歌的 BERT ，OpenAI 的 GPT 系列模型，以及谷歌的 T5。今天，這三個模型名稱通常也指代了其背后的模型架構(gòu)名稱（后文也以此指代）。

Transformer的模型架構(gòu)圖，左側(cè)為Encoder，右側(cè)為Decoder。圖片來自谷歌論文

在 2020 年之前，NLP 的模型研究基本都是圍繞算法展開，基于 BERT、T5 與 GPT 架構(gòu)的模型百花齊放。這一時期模型參數(shù)較小，基本都在 10 億以內(nèi)量級。其中，谷歌 BERT 的表現(xiàn)獨(dú)領(lǐng)風(fēng)騷，基于 BERT 架構(gòu)的模型一度在閱讀理解的競賽排行榜中屠榜。

直到 2020 年，OpenAI 發(fā)布一篇論文，首次提出了 Scaling Laws（尺度定律），NLP 的研究才正式進(jìn)入大模型時代——大模型基于“大算力、大參數(shù)、大數(shù)據(jù)”，模型性能就會像摩爾定律一樣持續(xù)提升，直到“智能涌現(xiàn)”的時刻。

在此期間，GPT 架構(gòu)的性能表現(xiàn)逐漸超越 BERT 與 T5，成為大模型的主流選擇。今天百億參數(shù)以上的主流大模型中，除了谷歌最新發(fā)布的 Gemini 是基于 T5 架構(gòu)，幾乎清一色都是從 GPT 架構(gòu)衍生而來?？梢哉f，GPT 完成了一場大模型架構(gòu)內(nèi)核的大一統(tǒng)。

大模型進(jìn)化樹，其中 GPT 系列枝繁葉茂。圖片來自Github，作者M(jìn)ooler0410

從大模型的進(jìn)化脈絡(luò)來看，今天所有的模型都是在“套殼” Transformer 以及其三個變體架構(gòu)。

當(dāng)然，Transformer 也有“不愿套殼”的挑戰(zhàn)者。比如，2023 年 12 月 5 日，兩位分別來自卡內(nèi)基梅隆大學(xué)與普林斯頓大學(xué)的教授，發(fā)布了一款名為“Mamba”（曼巴）的新架構(gòu)，在語言建模性能媲美 Transformer 的同時，還解決了一些擴(kuò)展性的局限。但這個新架構(gòu)的具體表現(xiàn)，還需要時間的檢驗(yàn)。

模型架構(gòu)選擇只是第一步。百川智能創(chuàng)始人、CEO 王小川在一個月前的2023甲子引力年終盛典上將大模型訓(xùn)練比作“炒菜”，模型架構(gòu)只是一個菜譜。要想得到一盤完整的菜，還需要烹飪，也就是大模型訓(xùn)練的過程；以及食材，也就是數(shù)據(jù)。

大模型的烹飪過程可以粗略地分為預(yù)訓(xùn)練（Pre Train）與微調(diào)（Fine-Tune）兩大階段。

預(yù)訓(xùn)練是大模型訓(xùn)練最核心的環(huán)節(jié)，通過把大量的文本信息壓縮到模型中，就像一個學(xué)生寒窗苦讀的過程，來讓模型具備世界知識。OpenAI 創(chuàng)始人之一、特斯拉前 AI 總監(jiān)安德烈·卡帕西（Andrej Karpathy）在 2023 年 5 月的微軟 Build 大會上透露：“預(yù)訓(xùn)練就是在超級計(jì)算機(jī)中使數(shù)千個 GPU 以及可能進(jìn)行數(shù)月時間來處理互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)集的地方，占據(jù)訓(xùn)練時間的99%。”

在漫長的預(yù)訓(xùn)練之后會得到一個基座模型（Base Model），在基座模型的基礎(chǔ)上加入特定行業(yè)的數(shù)據(jù)集做進(jìn)一步的微調(diào)，就會得到一個微調(diào)模型（Fine-tuning Model），或者稱為行業(yè)模型、垂直模型。

微調(diào)通常分為兩個步驟——SFT（有監(jiān)督微調(diào)）+RLHF（人類反饋強(qiáng)化學(xué)習(xí)），其中 RLHF是 OpenAI 的創(chuàng)新設(shè)計(jì)，它決定了模型能夠與人類意圖與價值觀對齊，是訓(xùn)練一個可靠的對話模型不可或缺的環(huán)節(jié)。

預(yù)訓(xùn)練成本極高，因此每年或幾個月才會做一次。OpenAI 訓(xùn)練 ChatGPT 大約花費(fèi)了大約 1200 萬美元，Meta 訓(xùn)練 Llama 65B 花費(fèi)了 500 萬美元。相比之下，微調(diào)成本較低，可能只需要短短幾天甚至一天。

正因如此，只有充足的算力、財(cái)力的大公司與資本支持的雄心勃勃的創(chuàng)業(yè)公司，才會涉足基座模型。“百模大戰(zhàn)”中的國產(chǎn)大模型數(shù)量雖然多，但只有大約 10% 的模型是基座模型，90% 的模型是在開源模型基礎(chǔ)上加入特定數(shù)據(jù)集做微調(diào)的行業(yè)模型、垂直模型。其中，應(yīng)用最廣、性能最好的開源基座模型，目前就是 Meta 的 Llama 2。

從大模型的訓(xùn)練過程來看，沒有人會對架構(gòu)選擇——“套殼” Transformer 有異議。但圍繞架構(gòu)之后的預(yù)訓(xùn)練，成為了一個套殼與否的隱秘角落。

2.“原創(chuàng)派”與“模仿派”

預(yù)訓(xùn)練是大模型最核心的環(huán)節(jié)，也是“套殼”與“自研”爭議較多的環(huán)節(jié)。

前面提到，模型架構(gòu)只是大模型的菜譜——目前有 BERT、T5 與 GPT 三大菜譜，而每個菜譜上會有具體的菜名——預(yù)訓(xùn)練框架。按照預(yù)訓(xùn)練框架的菜譜炒菜，就是預(yù)訓(xùn)練的過程。

一個可以肯定的事實(shí)是，所有的定位做基座模型的公司，都是從頭開始投入真金白銀做了完整的預(yù)訓(xùn)練，但菜譜的由來，卻分成了兩派。

第一派，就是標(biāo)準(zhǔn)意義的“自研派”，從菜譜開始研究，自研了預(yù)訓(xùn)練框架。

這一派的共同點(diǎn)就是布局較早，可以追溯到 2020 年之前，遠(yuǎn)遠(yuǎn)早于 ChatGPT 誕生而打響的大模型競賽的發(fā)令槍。

百度是其中一家。2019年，百度就發(fā)布了自研的預(yù)訓(xùn)練框架 ERNIE，也就是今天的文心大模型，今天已經(jīng)更新到ERNIE-4.0。值得一提的是，谷歌 BERT 與百度 ERNIE 名字取材于美國著名兒童節(jié)目《芝麻街》中的角色，兩者是一對好友。

《芝麻街》中的 ERNIE 與 BERT，圖片來自網(wǎng)絡(luò)

另一家早期自研預(yù)訓(xùn)練框架的大模型公司是智譜 AI 。智譜 AI 成立于 2019 年，并在 2020 年底開始自研預(yù)訓(xùn)練框架 GLM。GLM 與 谷歌 T5 相似，也是基于Encoder-Decoder 架構(gòu)。2022 年 11 月，斯坦福大學(xué)大模型中心對全球 30 個主流大模型進(jìn)行了全方位的評測，GLM-130B 是亞洲唯一入選的大模型。

百度與智譜 AI 之外，還有一部分閉源大模型沒有公開自己的技術(shù)細(xì)節(jié)，代表性公司為Minimax、月之暗面等。有投資人對「甲子光年」表示，這幾家也有自己的預(yù)訓(xùn)練框架，但無法準(zhǔn)確核實(shí)。

總的來說，國內(nèi)基于自研預(yù)訓(xùn)練框架的大模型公司數(shù)量較少，大約只有 5 家左右。

第二派大模型公司也從頭開始做完整的預(yù)訓(xùn)練過程，但預(yù)訓(xùn)練框架是在開源框架——主要是 Llama 2 的基礎(chǔ)上修改部分參數(shù)而來，可以稱之為“模仿派”。

對于開源社區(qū)而言，這是一套非常正常的做法，開源的意義就是公開自己的研究成果，促進(jìn)技術(shù)的交流與共享，讓開源社區(qū)內(nèi)更多的研究者受益。

Llama 2 也是站在過去開源模型的肩膀上一步步發(fā)展而來。比如，Llama 2 的模型架構(gòu)中， Pre-normalization（預(yù)歸一化）受 GPT-3 啟發(fā)，SwiGLU（激活函數(shù)）受 PaLM 的啟發(fā)，Rotary Embeddings（位置編碼）受 GPT-Neo 的啟發(fā)。其他模型也經(jīng)常魔改這幾個參數(shù)來做預(yù)訓(xùn)練。

零一萬物創(chuàng)始人李開復(fù)表示：“全球大模型架構(gòu)一路從 GPT2 --> Gopher --> Chinchilla --> Llama 2-> Yi，行業(yè)逐漸形成大模型的通用標(biāo)準(zhǔn)，就像做一個手機(jī) app 開發(fā)者不會去自創(chuàng) iOS、Android 以外的全新基礎(chǔ)架構(gòu)?！?/p>

值得強(qiáng)調(diào)的是，模仿 Llama 2 并非代表沒有核心競爭力。零一萬物在文章中提到，模型訓(xùn)練過程好比做一道菜，架構(gòu)只是決定了做菜的原材料和大致步驟，要訓(xùn)練出好的模型，還需要更好的“原材料”（數(shù)據(jù)）和對每一個步驟細(xì)節(jié)的把控（訓(xùn)練方法和具體參數(shù)）。

“原創(chuàng)派”與“模仿派”，到底孰優(yōu)孰劣？對于這件事，需要分開討論。一句話總結(jié)來說，原創(chuàng)派賭的是未來，模仿派賭的是現(xiàn)在。

一位投資人對「甲子光年」表示：“Llama 2 并非一個完美架構(gòu)，還有較大的局限性，有機(jī)會做到 GPT-3.5 的水平，但是如何做到 GPT-4 的水平，目前還沒有看到辦法。如果底層技術(shù)架構(gòu)一直受制于 Llama 2，想要超越 GPT，怕是機(jī)會很小?！?/p>

這位投資人所在的投資機(jī)構(gòu)投資了多家大模型公司。在做投資決策時，自研預(yù)訓(xùn)練框架與否，也是他們的衡量標(biāo)準(zhǔn)之一。

一位 AI 公司的研發(fā)人員告訴「甲子光年」，自研預(yù)訓(xùn)練模型的優(yōu)勢在于擴(kuò)展能力比較強(qiáng)，“如果基于開源，都是有版本限制的，比如 Llama 2 只有 7B、13B、70B 三個版本，再多就沒有了，想再搞大規(guī)模一點(diǎn)，搞不了”。

不過，理想很豐滿，但原創(chuàng)預(yù)訓(xùn)練架構(gòu)的優(yōu)勢，目前還存在于理論階段。短期來看，無論是自研還是模仿 Llama 2，兩者都處在 GPT-3.5 的水平，性能差距不大。

另一位 AI 投資人對「甲子光年」表示：“現(xiàn)階段，開源框架基本已經(jīng)達(dá)到了 GPT-3.5 的水平，所以，如果選擇從頭自研一個與開源框架水平一樣的預(yù)訓(xùn)練框架，不如直接選擇模仿 Llama 2 效率更高、穩(wěn)定性更可靠，除非有能力自研一個達(dá)到GPT-4、甚至下一代 GPT-5 能力的模型。這里的能力指的是有技術(shù)能力，且有足夠的資金持續(xù)投入，因?yàn)槟壳邦A(yù)期是 GPT-5 的訓(xùn)練可能需要 3-5 萬張 H100，成本在 10-20 億美金?！?/p>

現(xiàn)階段，大家比拼的并不是預(yù)訓(xùn)練框架的性能，而是工程化的能力，業(yè)內(nèi)一般稱為 AI Infra——AI 基礎(chǔ)設(shè)施。

昆侖萬維 AI Infra 負(fù)責(zé)人成誠將大模型發(fā)展分為了三個階段：2020 年之前的算法研究階段，2020~2023 年的數(shù)據(jù)為王階段，以及 2023 年的 AI Infra 階段。

他預(yù)測，未來大模型算法研究必然朝著 Infra 的方向去探索： 稀疏化（Sparse?Attention、 Sparse GEMM / MoE）?將會是2024年學(xué)術(shù)界與工業(yè)界的主戰(zhàn)場。

3.薅GPT的數(shù)據(jù)羊毛

在預(yù)訓(xùn)練完成之后，來到了微調(diào)階段。實(shí)際上，這一階段才是大部分“套殼”大模型翻車的原因，它與數(shù)據(jù)集的質(zhì)量有直接關(guān)系。

數(shù)據(jù)的使用貫穿在大模型預(yù)訓(xùn)練、SFT、RLHF 的每個階段。在預(yù)訓(xùn)練階段，數(shù)據(jù)“在多而不在精”。由于預(yù)訓(xùn)練使用互聯(lián)網(wǎng)公開數(shù)據(jù)，不同大模型最終所獲得的知識儲備是趨近的。

明顯的差異點(diǎn)發(fā)生在微調(diào)階段，數(shù)據(jù)“在精而不在多”。比如，Llama 2 的研究人員在做微調(diào)時發(fā)現(xiàn)大部分第三方的 SFT 數(shù)據(jù)集多樣性與質(zhì)量都不足，因此他們自己構(gòu)建了 27540 個高質(zhì)量標(biāo)注數(shù)據(jù)集，可以顯著提高 SFT 的效果。

但不是所有的公司都像 Meta 一樣財(cái)大氣粗。有沒有更高效的獲取高質(zhì)量數(shù)據(jù)集的方式？

有，通過“偷” ChatGPT 等對話模型的數(shù)據(jù)。

這里的偷并非指盜竊，而是直接利用 ChatGPT 或 GPT-4 等對話模型生成的數(shù)據(jù)來做微調(diào)。這些合成數(shù)據(jù)，既保證了數(shù)據(jù)的多樣性，又是經(jīng)過 OpenAI 對齊后的高質(zhì)量數(shù)據(jù)。

美國電商初創(chuàng)公司 Rebuy 的AI總監(jiān)、深度學(xué)習(xí)博士 Cameron R. Wolfe 將這種大模型研究方式稱為“模仿學(xué)習(xí)”（Imitation Learning），并表示模仿學(xué)習(xí)明顯受到“知識蒸餾”（Knowledge Distillation）的啟發(fā)。

知識蒸餾是一種機(jī)器學(xué)習(xí)中標(biāo)準(zhǔn)的模型壓縮方法，它將復(fù)雜的模型看做“教師模型”，把簡單的模型看做“學(xué)生模型”，通過老師教學(xué)生的方式將知識遷移過去。

模仿學(xué)習(xí)的原理，圖片來自Cameron R. Wolfe的博客

在 Meta 發(fā)布了 Llama 1 系列模型后，迅速在開源社區(qū)催生了各類模仿模型的誕生，比較知名的包括由斯坦福大學(xué)、加州大學(xué)伯克利分校等高校機(jī)構(gòu)推出的 Alpaca、Vicuna、Koala，以及 NomicAI 推出的GPT4ALL，這些模型都用到了 ChatGPT 的對話數(shù)據(jù)來做微調(diào)。

值得一提的是，OpenAI 在服務(wù)條款中明確禁止使用 ChatGPT 生成的數(shù)據(jù)開發(fā)與 OpenAI 競爭的模型。所以，上述模仿模型不能用于商業(yè)用途。

但事實(shí)上，各類商業(yè)模型都在通過“偷”數(shù)據(jù)的方式來走微調(diào)的捷徑，這已經(jīng)是公開的秘密，并且不限國別。

2023 年 12 月，字節(jié)跳動、谷歌 Gemini 的“疑似套殼”事件正是來源于此。根據(jù)字節(jié)跳動的回應(yīng)，2023 年初部分工程師曾將 OpenAI 的 API 服務(wù)應(yīng)用于實(shí)驗(yàn)性的模型研究，但并未上線，后來已經(jīng)禁止該行為。從現(xiàn)實(shí)角度來說，字節(jié)跳動“只是犯了一個天下所有模型都會犯的錯誤”。

一位做NLP研究的科學(xué)家告訴「甲子光年」：“OpenAI 可能預(yù)感到字節(jié)跳動可以花錢堆一個模型出來，所以提前打壓一下。但實(shí)際上，這對于限制字節(jié)跳動訓(xùn)練大模型沒有任何效果，純粹就是想‘辱罵’一下。”

谷歌 Gemini 也是類似情況。由于缺乏高質(zhì)量的中文數(shù)據(jù)集，谷歌極有可能通過文心一言獲得大量的中文對話數(shù)據(jù)來做 Gemini 的“老師”。但是，或許因?yàn)樽汾s OpenAI 心切，數(shù)據(jù)清洗、自我認(rèn)知對齊等工作沒有做到位，導(dǎo)致 Gemini 把老師文心一言當(dāng)成了自己。

一位國產(chǎn)大模型公司的算法工程師向「甲子光年」吐槽道：“大家相互薅羊毛，要用，但要小心用，一不小心就尷尬了。”

4.把“殼”做厚才是競爭力

在預(yù)訓(xùn)練階段模仿 Llama 2、在微調(diào)階段“偷” ChatGPT 的數(shù)據(jù)，是兩類產(chǎn)生“套殼”爭議的主要場景，也是大模型訓(xùn)練過程中決定模型能力的關(guān)鍵場景。如果把范圍擴(kuò)展到模型的推理與應(yīng)用，“套殼”的場景還會更多。

前語雀設(shè)計(jì)師，現(xiàn) AI 助手 Monica 聯(lián)合創(chuàng)始人 Suki 在即刻上分享了“套殼”的四重進(jìn)階：

一階：直接引用 OpenAI 接口，ChatGPT 回答什么，套殼產(chǎn)品回答什么。卷UI、形態(tài)、成本。

二階：構(gòu)建 Prompt。大模型可以類比為研發(fā)，Prompt 可以類比為需求文檔，需求文檔越清晰，研發(fā)實(shí)現(xiàn)得越精準(zhǔn)。套殼產(chǎn)品可以積累自己的優(yōu)質(zhì) Prompt，卷 Prompt 質(zhì)量高，卷 Prompt 分發(fā)。

三階：Embedding 特定數(shù)據(jù)集。把特定數(shù)據(jù)集進(jìn)行向量化，在部分場景構(gòu)建自己的向量數(shù)據(jù)庫，以達(dá)到可以回答 ChatGPT 回答不出來的問題。比如垂直領(lǐng)域、私人數(shù)據(jù)等。Embedding 可以將段落文本編碼成固定維度的向量，從而便于進(jìn)行語義相似度的比較，相較于 Prompt 可以進(jìn)行更精準(zhǔn)的檢索從而獲得更專業(yè)的回答。

四階：微調(diào) Fine-Tuning。使用優(yōu)質(zhì)的問答數(shù)據(jù)進(jìn)行二次訓(xùn)練，讓模型更匹配對特定任務(wù)的理解。相較于 Embedding 和 Prompt 兩者需要消耗大量的 Token，微調(diào)是訓(xùn)練大模型本身，消耗的 token 更少，響應(yīng)速度也更快。

如果把模仿 Llama2 架構(gòu)做預(yù)訓(xùn)練也算進(jìn)去，可以看做第五階。這五重進(jìn)階，基本囊括了大模型“套殼”的每一個場景。

值得一提的是，上述行為能否被稱為“套殼”，在業(yè)內(nèi)也說法不一。

算法工程師劉聰對「甲子光年」表示：“我覺得，只有一種情況算套殼——直接做 API 的買賣，比如說一些免費(fèi)使用大模型的網(wǎng)站，用來收集數(shù)據(jù)、倒賣數(shù)據(jù)。其他情況其實(shí)都不算。在 to B 行業(yè)，要做行業(yè)化的解決方案，只會套殼不可能做到；就算是 to C，如果有自己對產(chǎn)品的理解，也不能說是套殼。難道做大模型應(yīng)用的都是套殼嗎？”

“套殼這個詞，貶義太嚴(yán)重?！眲⒙斦f道。

脫離具體的場景談?wù)摗疤讱ぁ?，都是貼標(biāo)簽的行為。當(dāng)行業(yè)褪去了對套殼的污名化理解，把不同進(jìn)階的套殼行為看做一類正常的商業(yè)行為，才能更加理性客觀地分析大模型的優(yōu)劣。

只是，大模型廠商在宣傳的時候，應(yīng)當(dāng)更謹(jǐn)慎地使用“自研”，以及具體解釋自研的內(nèi)容。否則，只會加劇理解的困惑。

“套殼”有競爭力嗎？Suki 認(rèn)為，一個 AI 應(yīng)用產(chǎn)品如果停留在做一階和二階，注定是個門檻極低的產(chǎn)品，沒有任何壁壘。而什么場景，何時以及如何使用三階和四階的能力，是個關(guān)鍵性的問題。

一位算法工程師告訴「甲子光年」，大模型真正關(guān)鍵的問題在于業(yè)務(wù)的成本結(jié)構(gòu)和護(hù)城河，而不是套殼與否。

把成本降低、把“殼”做厚，自然就產(chǎn)生了競爭力。