7月30日，昆侖萬維正式推出并開源采用自回歸路線的「多模態(tài)統(tǒng)一預(yù)訓(xùn)練模型 Skywork UniPic」，在單一模型中深度融合圖像理解、文本到圖像生成、圖像編輯三大核心能力。該模型基于大規(guī)模高質(zhì)量數(shù)據(jù)進(jìn)行端到端預(yù)訓(xùn)練，具備良好的通用性與可遷移性。
秉持開放協(xié)作、共享創(chuàng)新的理念，昆侖萬維面向社區(qū)全面開放 Skywork UniPic 的核心資源：
模型權(quán)重：
https://huggingface.co/Skywork/Skywork-UniPic-1.5B
技術(shù)報(bào)告：
https://github.com/SkyworkAI/UniPic/blob/main/UNIPIC.pdf
代碼倉(cāng)庫(kù)：
https://github.com/SkyworkAI/UniPic
01
Skywork UniPic：統(tǒng)一自回歸模型實(shí)現(xiàn)圖片生成、編輯與理解一體化
GPT-4o的迅速走紅，標(biāo)注著人工智能領(lǐng)域多模態(tài)統(tǒng)一預(yù)訓(xùn)練模型的成熟。Skywork UniPic 延續(xù)了 GPT-4o 的自回歸范式，在單一模型中深度融合圖像理解、文本生成圖像（T2I）與圖像編輯三大核心任務(wù)，構(gòu)建了真正統(tǒng)一的多模態(tài)模型架構(gòu)。
傳統(tǒng)多模態(tài)統(tǒng)一模型多依賴 VQ 或 VAE 編碼器來壓縮視覺內(nèi)容，雖然具備一定效果，但也存在局限性，它們更側(cè)重保留圖像的視覺細(xì)節(jié)而非語(yǔ)義信息，這會(huì)在一定程度上削弱模型的圖像理解能力。
為此，Skywork UniPic 團(tuán)隊(duì)借鑒 Harmon 架構(gòu)設(shè)計(jì)，并在表征方式上做出關(guān)鍵調(diào)整：采用 MAR 編碼器作為圖像生成路徑的視覺表征基礎(chǔ)，同時(shí)引入 SigLIP2 作為圖像理解路徑的主干。
該結(jié)構(gòu)設(shè)計(jì)的核心洞察在于：能否構(gòu)建一個(gè)輕量級(jí)統(tǒng)一模型，在保持實(shí)際部署可行性的同時(shí)，在理解、生成與編輯任務(wù)上均達(dá)到頂尖性能？
Skywork-UniPic 模型核心能力包含：
圖文理解：基于 token 預(yù)測(cè)完成文本的自回歸建模
圖像生成：采用掩碼自回歸方式，逐步生成圖像 patch
圖像編輯：引入?yún)⒖紙D與編輯指令作為條件，生成編輯后的圖像
此外，Skywork-UniPic 完成端到端優(yōu)化流程，能夠?qū)崿F(xiàn)生成、理解、編輯三大能力的協(xié)同訓(xùn)練和相互促進(jìn)，突破傳統(tǒng)方法中能力權(quán)衡的技術(shù)瓶頸。
這一架構(gòu)設(shè)計(jì)不僅保持了自回歸模型的簡(jiǎn)潔高效，更通過共享編碼器實(shí)現(xiàn)了跨任務(wù)的深度協(xié)同，為多模態(tài)統(tǒng)一模型的實(shí)用化部署奠定了堅(jiān)實(shí)基礎(chǔ)。
用戶只需要輸入提示詞，Skywork-UniPic 既可以像 VLM 一樣理解圖像、像 T2I 模型一樣生成圖片，還可以像美圖工具一樣，一鍵實(shí)現(xiàn)風(fēng)格轉(zhuǎn)繪/吉卜力化的編輯功能。
02
模型優(yōu)勢(shì)：1.5B 輕量級(jí)規(guī)模性能逼近同類大參數(shù)統(tǒng)一模型，詮釋了“小而美”的技術(shù)美學(xué)
團(tuán)隊(duì)在追求模型能力極限的同時(shí)，也堅(jiān)持效率重要性的設(shè)計(jì)理念。Skywork UniPic 以 1.5B 的緊湊參數(shù)規(guī)模，真正詮釋了“小而美”的技術(shù)美學(xué)：
多重技術(shù)亮點(diǎn)
指令遵循能力媲美大型模型：在 GenEval 指令遵循評(píng)估中取得 0.86 的優(yōu)異成績(jī)，超越了絕大多數(shù)同類統(tǒng)一模型，在無 CoT 的情況下取得了 SOTA 分?jǐn)?shù)，逼近較大模型 BAGEL（7B+7B*）帶 CoT 的 0.88 分；
復(fù)雜指令生圖能力領(lǐng)先：在 DPG-Bench 復(fù)雜指令生圖基準(zhǔn)上達(dá)到 85.5 分的行業(yè) SOTA 水平；
圖像編輯能力統(tǒng)一模型第一梯隊(duì)：GEditBench-EN 獲得 5.83 分，ImgEdit-Bench 達(dá)到3.49分，展現(xiàn)出精準(zhǔn)的編輯執(zhí)行能力；
參數(shù)效率優(yōu)勢(shì)顯著：相比同類大參數(shù)統(tǒng)一模型（如 BAGEL 的 14B 總參數(shù)、UniWorld-V1 的 19B 總參數(shù)），Skywork UniPic 以 1.5B 的輕量級(jí)規(guī)模實(shí)現(xiàn)了接近甚至超越大參數(shù)模型的性能表現(xiàn)；
部署友好，真正可落地：模型在 RTX 4090 消費(fèi)級(jí)顯卡上均可流暢運(yùn)行，為廣大開發(fā)者和研究者提供了真正可落，地的統(tǒng)一模型解決方案，大幅降低了技術(shù)應(yīng)用門檻。
03
Skywork-UniPic是怎樣煉成的？
📖 數(shù)據(jù)構(gòu)建：億級(jí)高質(zhì)量語(yǔ)料庫(kù)支撐統(tǒng)一模型預(yù)訓(xùn)練
首先，Skywork UniPic 的卓越性能，并非源自數(shù)據(jù)堆疊的蠻力，而是得益于一套高度精煉、系統(tǒng)優(yōu)化的數(shù)據(jù)構(gòu)建體系。
團(tuán)隊(duì)突破了“更大即更強(qiáng)”的傳統(tǒng)認(rèn)知邊界，通過約億級(jí)規(guī)模的精選預(yù)訓(xùn)練語(yǔ)料與數(shù)百萬級(jí)任務(wù)精調(diào)（SFT）樣本，成功構(gòu)建出一套面向理解、生成與編輯三大核心任務(wù)的高效能多模態(tài)訓(xùn)練語(yǔ)料庫(kù)。
這一構(gòu)建體系產(chǎn)生的語(yǔ)料庫(kù)不僅顯著壓縮了訓(xùn)練資源成本，更在模型泛化能力與任務(wù)遷移表現(xiàn)上展現(xiàn)出驚人的性價(jià)比，充分驗(yàn)證了小規(guī)模、精篩選、高質(zhì)量數(shù)據(jù)對(duì)統(tǒng)一多模態(tài)模型訓(xùn)練的可行性與潛力。
📖 獎(jiǎng)勵(lì)模型構(gòu)建：數(shù)據(jù)質(zhì)量驅(qū)動(dòng)的智能評(píng)估體系
其次，為了確保 Skywork UniPic 在圖像生成和編輯任務(wù)上的卓越表現(xiàn)，我們?cè)O(shè)計(jì)了專用于圖像生成的Reward Model（Skywork-ImgReward）和專用于圖片編輯的Reward Model (Skywork-EditReward）。
其中，Skywork-ImgReward是基于強(qiáng)化學(xué)習(xí)訓(xùn)練的Reward Model，相比于其他T2I Reward Model，Skywork-ImgReward在多個(gè)文生圖場(chǎng)景下的偏好選擇表現(xiàn)都更接近人類偏好。它不僅被用來作為文生圖數(shù)據(jù)質(zhì)量的篩選，也可以在后續(xù)被用于圖像生成能力強(qiáng)化學(xué)習(xí)訓(xùn)練中的獎(jiǎng)勵(lì)信號(hào)，以及作為生成圖像的質(zhì)量評(píng)估指標(biāo)。
同時(shí)面對(duì)圖像編輯這一核心挑戰(zhàn)，我們創(chuàng)新性地構(gòu)建了具有針對(duì)性的Skywork-EditReward，其被用作數(shù)據(jù)質(zhì)量評(píng)估時(shí)可以自動(dòng)剔除超過30%的低質(zhì)量編輯樣本，在 GEditBench-EN 和 ImgEdit-Bench 基準(zhǔn)測(cè)試中表現(xiàn)明顯改善。后續(xù)同樣也可以被用作圖像編輯強(qiáng)化學(xué)習(xí)訓(xùn)練中的獎(jiǎng)勵(lì)信號(hào)，以及作為圖像編輯的質(zhì)量評(píng)估指標(biāo)。
💡 訓(xùn)練體系優(yōu)化與策略提升
MAR訓(xùn)練優(yōu)化體系：為提升模型表現(xiàn)，我們采用了兩項(xiàng)關(guān)鍵優(yōu)化策略：首先，在數(shù)據(jù)層面引入覆蓋更廣視覺場(chǎng)景和類別的億級(jí)專有圖像數(shù)據(jù)，顯著拓展了模型的學(xué)習(xí)空間。其次，訓(xùn)練過程中采用漸進(jìn)式分辨率提升策略，先在256×256分辨率下建立穩(wěn)定的底層特征抽取能力，再逐步遷移至512×512，以增強(qiáng)模型的語(yǔ)義理解和細(xì)粒度建模能力。
HARMON訓(xùn)練優(yōu)化體系：為進(jìn)一步提升模型性能并兼顧訓(xùn)練效率，我們?cè)O(shè)計(jì)了多階段分層分辨率訓(xùn)練機(jī)制。在第一階段，模型在512×512分辨率下進(jìn)行微調(diào)，聚焦基礎(chǔ)特征提取的穩(wěn)定性與收斂性。隨后逐步提升輸入分辨率至1024×1024，促使模型更好地捕捉紋理、邊緣等高精度細(xì)節(jié)信息。
同時(shí)，我們采用分階段參數(shù)解凍策略，逐步釋放模型能力。在初始階段，僅訓(xùn)練Projector模塊以實(shí)現(xiàn)視覺與語(yǔ)言特征的對(duì)齊，凍結(jié)主干網(wǎng)絡(luò)和LLM參數(shù)；接著在保持LLM編碼器凍結(jié)的前提下優(yōu)化視覺主干；最后進(jìn)入全量解凍階段，進(jìn)行端到端聯(lián)合優(yōu)化，實(shí)現(xiàn)多模態(tài)協(xié)同增強(qiáng)。
漸進(jìn)式多任務(wù)訓(xùn)練策略：為解決理解、生成和編輯三類任務(wù)難以兼得的問題，我們提出漸進(jìn)式多任務(wù)訓(xùn)練機(jī)制。
訓(xùn)練初期，模型先專注于單一任務(wù)（如文本生成圖像），待其收斂后再引入理解與編輯任務(wù)，按照由易到難的順序逐步增加任務(wù)復(fù)雜度，避免多任務(wù)早期相互干擾。在精細(xì)化階段，我們通過獎(jiǎng)勵(lì)模型篩選構(gòu)建高質(zhì)量訓(xùn)練數(shù)據(jù)，采用動(dòng)態(tài)閾值與多樣性采樣策略，確保樣本既具高置信度又具語(yǔ)義多樣性。
整體來看，以上策略在訓(xùn)練過程中實(shí)現(xiàn)了結(jié)構(gòu)合理的能力釋放和任務(wù)適應(yīng)，顯著提升了模型在理解、生成和編輯等任務(wù)上的統(tǒng)一表現(xiàn)，達(dá)成真正意義上的“一專多能”。
過去半年，昆侖萬維已經(jīng)開源了多個(gè)SOTA大模型，涵蓋獎(jiǎng)勵(lì)模型、推理、軟件工程、多模態(tài)、空間智能等領(lǐng)域。今天，Skywork-UniPic 正式加入「Skywork」開源大家庭，讓AI真正成為每個(gè)人觸手可及的創(chuàng)意伙伴。
昆侖萬維開源系列
🔗 更多 Skywork 系列開源模型，可查看：https://huggingface.co/Skywork
