新智元報(bào)道

編輯：Lumina 潤(rùn)

(資料圖片)

【新智元導(dǎo)讀】鴨嘴獸 70B登上Hugging Face上的開(kāi)源大模型榜一，變強(qiáng)的原因是采用優(yōu)化過(guò)的數(shù)據(jù)集訓(xùn)練以及更高效的PEFT和獨(dú)特的LoRA微調(diào)。

Hugging Face上的開(kāi)源大模型排名榜又更新了，這次榮登榜一的是：鴨嘴獸（Platypus 2-70B）！

和現(xiàn)在抱臉開(kāi)源榜單上大部分的模型一樣，鴨嘴獸是來(lái)自波士頓大學(xué)的研究人員基于Llama2微調(diào)而來(lái)。

同時(shí)，鴨嘴獸的進(jìn)步就像之前所有的開(kāi)源大模型那樣：在提升性能的同時(shí)，使用更少的計(jì)算資源和數(shù)據(jù)。

一個(gè)13B的鴨嘴獸模型可以在單個(gè)A100 GPU使用25k個(gè)問(wèn)題在5小時(shí)內(nèi)完成訓(xùn)練。

論文地址：https://arxiv.org/pdf/2308.07317.pdf

根據(jù)研究人員的論文描述，鴨嘴獸70B變強(qiáng)的原因主要是兩點(diǎn)：

1. 編輯數(shù)據(jù)集：刪除相似和重復(fù)的問(wèn)題

2. 使用LoRA和PEFT對(duì)模型進(jìn)行了優(yōu)化，重點(diǎn)關(guān)注非注意力模塊

而在檢查測(cè)試數(shù)據(jù)泄漏和訓(xùn)練數(shù)據(jù)污染方面，鴨嘴獸也做出了自己的貢獻(xiàn)，這為未來(lái)的研究提供了有價(jià)值的參考。

多快好省的鴨嘴獸

鴨嘴獸主要是通過(guò)在一個(gè)小而強(qiáng)大的數(shù)據(jù)集Open-Platypus上使用參數(shù)高效調(diào)整（PEFT）和LoRA中對(duì)非注意力部分的微調(diào)來(lái)改進(jìn)模型的性能。

與一般專(zhuān)注于專(zhuān)業(yè)領(lǐng)域的模型在微調(diào)是耗時(shí)又昂貴不同，鴨嘴獸既做到了在總體上的模型性能提升，同時(shí)在特定領(lǐng)域的表現(xiàn)也很優(yōu)秀。

在研究中發(fā)現(xiàn)，領(lǐng)域特定的數(shù)據(jù)集可以提高在所選任務(wù)類(lèi)別上的性能。當(dāng)與模型合并結(jié)合使用時(shí)，能夠顯著減少訓(xùn)練時(shí)間。

開(kāi)源數(shù)據(jù)集

研究團(tuán)隊(duì)通過(guò)Hugging Face向公眾開(kāi)放了鴨嘴獸的數(shù)據(jù)集Open-Platypus：

Open-Platypus由11個(gè)開(kāi)源數(shù)據(jù)集組成，主要由人為設(shè)計(jì)的問(wèn)題組成，只有大約10%的問(wèn)題由LLM生成，能夠以最小的微調(diào)時(shí)間和成本實(shí)現(xiàn)強(qiáng)大的性能。側(cè)重于提高LLM的STEM和邏輯能力。

同時(shí)，研究團(tuán)隊(duì)也對(duì)這些數(shù)據(jù)集進(jìn)行了優(yōu)化，這有助于縮小數(shù)據(jù)集并最大限度地減少數(shù)據(jù)冗余。

具體操作包括：

通過(guò)相似性排除的方法來(lái)最小化記憶，刪除了所有逐字逐句的重復(fù)指令，然后刪除了與訓(xùn)練集中其他指令的SentenceTransformers 嵌入具有80%余弦相似度的指令。

并且默認(rèn)保留具有更詳細(xì)答案的問(wèn)題與答案對(duì)。因?yàn)檩^長(zhǎng)的答案很可能對(duì)應(yīng)更詳細(xì)的解釋和/或逐步解決方案。

解決數(shù)據(jù)污染

研究團(tuán)隊(duì)深入探索了開(kāi)放式LLM訓(xùn)練集中的污染問(wèn)題，并介紹了對(duì)鴨嘴獸數(shù)據(jù)進(jìn)行過(guò)濾過(guò)程。

研究團(tuán)隊(duì)數(shù)據(jù)過(guò)濾的方法，其核心是確保基準(zhǔn)測(cè)試題不會(huì)無(wú)意中泄漏到訓(xùn)練集中，這是為了防止測(cè)試數(shù)據(jù)的記憶對(duì)基準(zhǔn)結(jié)果造成歪曲。

考慮到這一點(diǎn)，在確定是否應(yīng)將問(wèn)題標(biāo)記為重復(fù)問(wèn)題并從訓(xùn)練集中刪除時(shí)，應(yīng)留有余地。

在確定可疑問(wèn)題時(shí)允許一定的靈活性，因?yàn)椴樵冇卸喾N措辭方式，同時(shí)，通用領(lǐng)域知識(shí)可能會(huì)阻止問(wèn)題被視作重復(fù)。

為此，研究團(tuán)隊(duì)開(kāi)發(fā)了以下啟發(fā)式方法，用于指導(dǎo)人工篩選來(lái)自 Open-Platypus 的、與任何基準(zhǔn)問(wèn)題相似度大于 80% 的問(wèn)題。

研究團(tuán)隊(duì)將潛在問(wèn)題分為三類(lèi)：重復(fù)、灰色區(qū)域和相似但不同。但為了謹(jǐn)慎起見(jiàn)，研究團(tuán)隊(duì)會(huì)將它們?nèi)繌挠?xùn)練集中刪除。

1. 重復(fù)：

這些問(wèn)題幾乎是測(cè)試集問(wèn)題的完全復(fù)制品，可能只有一個(gè)微小的詞語(yǔ)變化或輕微的重新排列。

這是我們將之定義為“真正”的污染類(lèi)別，如上表中泄漏問(wèn)題的數(shù)量所示。這種情況的具體示例如下：

2. 灰色區(qū)域

這組問(wèn)題被稱(chēng)為灰色區(qū)域，包括并非完全重復(fù)的問(wèn)題，屬于常識(shí)范疇。

雖然我們將這些問(wèn)題的最終評(píng)判權(quán)留給了開(kāi)源社區(qū)，但我們認(rèn)為這些問(wèn)題往往需要專(zhuān)家知識(shí)。

值得注意的是，這類(lèi)問(wèn)題包括指令完全相同但答案卻同義的問(wèn)題：

3. 相似但不同：

最后一類(lèi)問(wèn)題包括盡管具有較高的余弦相似性分?jǐn)?shù)，但答案卻截然不同的問(wèn)題。

這通?？梢詺w因于問(wèn)題結(jié)構(gòu)的細(xì)微變化，從而產(chǎn)生完全不同的答案。

下圖中的第一個(gè)問(wèn)題就是一個(gè)很好的例子，其中對(duì)旋轉(zhuǎn)軸和象限定義的修改極大地改變了最終答案。

微調(diào)與合并模型

在完善數(shù)據(jù)集并對(duì)污染進(jìn)行三重檢查后，研究團(tuán)隊(duì)對(duì)模型進(jìn)行了微調(diào)與合并。

方法主要是低秩逼近（LoRA）訓(xùn)練和參數(shù)高效微調(diào)（PEFT）庫(kù)。

與完全微調(diào)不同，LoRA 保留了預(yù)先訓(xùn)練的模型權(quán)重，并在轉(zhuǎn)換層中整合了秩分解矩陣。

這可以減少可訓(xùn)練參數(shù)，并節(jié)省訓(xùn)練的時(shí)間和成本。

例如，鴨嘴獸的13B模型使用1個(gè)A100 80GB進(jìn)行了5個(gè)小時(shí)的微調(diào)，70B模型使用4個(gè)A100 80GB進(jìn)行了22個(gè)小時(shí)的微調(diào)。

而作為比較基準(zhǔn)，斯坦福大學(xué)對(duì)Alpaca-7B 的全面微調(diào)是在8 個(gè) A100 80GB 上進(jìn)行的，并花費(fèi)了3個(gè)小時(shí)。

研究團(tuán)隊(duì)對(duì)模型的微調(diào)最初主要針對(duì)的是注意力模塊，如 v_proj、q_proj、k_proj 和 o_proj。

后來(lái)，研究人員轉(zhuǎn)向了對(duì)gate_proj、down_proj 和 up_proj 模塊的微調(diào)，與注意力模塊相比，除了可訓(xùn)練參數(shù)小于總參數(shù)的 0.1% 時(shí)，微調(diào)這些模塊模型的性能表現(xiàn)更好。

為了保持一致性，研究團(tuán)隊(duì)對(duì)13B和70B模型統(tǒng)一采用了這一方法，可訓(xùn)練參數(shù)分別為0.27%和0.2%。

唯一的差異在于這些模型的初始學(xué)習(xí)率。

研究團(tuán)隊(duì)的模型合并策略則旨在評(píng)估與Instruct和Beluga等廣泛模型或Camel 等專(zhuān)業(yè)模型合并的協(xié)同效應(yīng)。

研究團(tuán)隊(duì)發(fā)現(xiàn)，合并模型能夠有效拓寬模型的知識(shí)基礎(chǔ)，但選擇何種模型進(jìn)行合并，是廣泛合并還是集中合并，在決定性能結(jié)果方面起著關(guān)鍵作用。

同時(shí)，模型合并的效果因測(cè)試的具體領(lǐng)域而異。

所有領(lǐng)域的性能提升和下降并不一致，意味著在最終確定合并之前進(jìn)行特定領(lǐng)域評(píng)估的必要性。

鴨嘴獸排名第一

截止到今天的Hugging Face開(kāi)源LLM排行榜數(shù)據(jù)，Platypus2-70B依舊穩(wěn)坐第一，而它的變體也在眾多LLM中排名前列。

而在13B的尺寸上，鴨嘴獸的表現(xiàn)也同樣亮眼，以平均分63.96脫穎而出，成為13B模型的領(lǐng)跑者。

Hugging Face的Open LLM排行榜

Huggingface的Open LLM排行榜目前是開(kāi)源社區(qū)使用最多，同時(shí)也是參與模型最多的排行榜。

Open LLM排行榜使用Eleuther AI語(yǔ)言模型評(píng)估框架，這是一個(gè)在大量不同評(píng)估任務(wù)上測(cè)試生成式語(yǔ)言模型的統(tǒng)一框架，會(huì)在 4 個(gè)關(guān)鍵基準(zhǔn)上對(duì)模型進(jìn)行評(píng)估。

1. AI2 ：針對(duì)科學(xué)問(wèn)題的推理測(cè)試，共有25次測(cè)試。

2. HellaSwag：常識(shí)推理測(cè)試，但對(duì)大語(yǔ)言模型來(lái)說(shuō)具有相當(dāng)?shù)奶魬?zhàn)性，總共進(jìn)行10次測(cè)試。

3. MMLU：用于測(cè)量文本模型的多任務(wù)準(zhǔn)確性。該測(cè)試涵蓋 57 項(xiàng)任務(wù)，包括初等數(shù)學(xué)、美國(guó)歷史、計(jì)算機(jī)科學(xué)、法律等，總共測(cè)試10次。

4. TruthfulQA：用于測(cè)試模型復(fù)制網(wǎng)上常見(jiàn)虛假內(nèi)容的傾向。

整個(gè)測(cè)試框架都是開(kāi)源的，網(wǎng)友可以直接在本地用這個(gè)框架測(cè)試模型，或者提交模型給Hugging Face來(lái)在線跑分。

全世界大大小小的模型都有機(jī)會(huì)打榜，成功登頂就可以標(biāo)榜自己是世界第一。

一個(gè)韓國(guó)團(tuán)隊(duì)訓(xùn)練的開(kāi)源模型，在被鴨嘴獸超越之前曾經(jīng)是世界第一。他們就很自豪地將這個(gè)成果展示在公司主頁(yè)最矚目的地方。

Hugging Face的Open LLM排行榜，不僅能讓技術(shù)人員客觀對(duì)比模型的能力，還能給開(kāi)源社區(qū)模型提供一個(gè)展示自己以獲取外部資源，最終進(jìn)一步發(fā)展的機(jī)會(huì)。

這也與開(kāi)源社區(qū)的宗旨一致：

秉持高性價(jià)比的理念，允許各種改進(jìn)模型的嘗試，擁抱開(kāi)放和共同進(jìn)步.....

也許這就是開(kāi)源社區(qū)如此生機(jī)勃勃的原因。

參考資料：

https://arxiv.org/abs/2308.07317