科技媒體 marktechpost 昨日（4 月 15 日）發(fā)布博文，報(bào)道稱蘋(píng)果工程師聯(lián)合法國(guó)索邦大學(xué)，通過(guò)對(duì)比早期融合和后期融合模型，發(fā)現(xiàn)從頭訓(xùn)練的早期融合模型在計(jì)算效率和擴(kuò)展性上更具優(yōu)勢(shì)。

多模態(tài) AI 現(xiàn)狀與面臨的挑戰(zhàn)

IT之家援引博文介紹，多模態(tài) AI 旨在同時(shí)處理圖像、文本等多種數(shù)據(jù)類型，但整合這些異構(gòu)數(shù)據(jù)仍是一大難題。當(dāng)前技術(shù)多采用后期融合（late-fusion）策略，即組合使用預(yù)訓(xùn)練的單模態(tài)模型（如視覺(jué)編碼器和語(yǔ)言模型）。

這種方法雖然操作簡(jiǎn)便，卻難以實(shí)現(xiàn)真正的多模態(tài)理解，單模態(tài)預(yù)訓(xùn)練帶來(lái)的固有偏差，可能限制模型捕捉跨模態(tài)依賴關(guān)系。

此外，隨著系統(tǒng)規(guī)模擴(kuò)大，各組件的參數(shù)、預(yù)訓(xùn)練需求和擴(kuò)展特性差異顯著，導(dǎo)致計(jì)算資源分配復(fù)雜，影響性能，尤其是在需要深度多模態(tài)推理的任務(wù)中。

早期融合與稀疏架構(gòu)的突破

蘋(píng)果聯(lián)合團(tuán)隊(duì)挑戰(zhàn)了傳統(tǒng)架構(gòu)選擇，深入研究從頭訓(xùn)練的原生多模態(tài)模型（NMMs）的擴(kuò)展特性。

團(tuán)隊(duì)對(duì)比了早期融合（early-fusion）和后期融合模型，發(fā)現(xiàn)從頭訓(xùn)練時(shí)，兩者性能相當(dāng)，但早期融合模型在低計(jì)算預(yù)算下更高效且易于擴(kuò)展。

研究還探索了專家混合（MoE）稀疏架構(gòu)，發(fā)現(xiàn)其能動(dòng)態(tài)分配參數(shù)，針對(duì)不同模態(tài)進(jìn)行專項(xiàng)優(yōu)化，相較于稠密模型，可以顯著提升性能，這點(diǎn)在小規(guī)模模型中優(yōu)勢(shì)明顯。

分析顯示，稀疏模型更傾向于優(yōu)先擴(kuò)展訓(xùn)練數(shù)據(jù)（training tokens）而非活躍參數(shù)（active parameters），這與稠密模型的擴(kuò)展模式形成鮮明對(duì)比。

研究團(tuán)隊(duì)通過(guò)系統(tǒng)實(shí)驗(yàn)，訓(xùn)練了從 0.3 億到 40 億活躍參數(shù)的多模態(tài)模型，驗(yàn)證了早期融合和稀疏架構(gòu)在多模態(tài)處理中的潛力。

結(jié)果表明，原生多模態(tài)模型的擴(kuò)展規(guī)律與語(yǔ)言模型相似，但跨模態(tài)數(shù)據(jù)類型和訓(xùn)練組合會(huì)略微影響擴(kuò)展系數(shù)。此外，稀疏模型在等效推理成本下持續(xù)優(yōu)于密集模型，展現(xiàn)出處理異構(gòu)數(shù)據(jù)的強(qiáng)大能力。

這些發(fā)現(xiàn)挑戰(zhàn)了傳統(tǒng)設(shè)計(jì)理念，表明統(tǒng)一早期融合架構(gòu)結(jié)合動(dòng)態(tài)參數(shù)分配，或?qū)⒊蔀槲磥?lái)高效多模態(tài) AI 系統(tǒng)的重要方向。