(資料圖)

6月7日，國(guó)際人工智能頂會(huì)CVPR 2023舉辦的第一屆大模型挑戰(zhàn)賽（CVPR 2023 Workshop on Foundation Model:1st foundation model challenge）落下帷幕，本次比賽吸引了來(lái)自全球著名高校和知名企業(yè)的1024名參賽者。經(jīng)過(guò)為期2個(gè)月的激烈角逐，天翼云AI團(tuán)隊(duì)（隊(duì)名CTRL）在多任務(wù)大模型賽道中表現(xiàn)出色，榮獲本屆大賽冠軍。

（圖片來(lái)源：攝圖網(wǎng)）

CVPR會(huì)議是由IEEE主辦的關(guān)于計(jì)算機(jī)視覺(jué)和模式識(shí)別的國(guó)際學(xué)術(shù)會(huì)議，收錄了該領(lǐng)域最新的研究成果和技術(shù)發(fā)展，是全球計(jì)算機(jī)視覺(jué)三大頂級(jí)會(huì)議之一。

傳統(tǒng)的視覺(jué)模型生產(chǎn)流程通常采用單任務(wù)，從零開(kāi)始訓(xùn)練，各個(gè)任務(wù)之間無(wú)法相互借鑒。由于單任務(wù)數(shù)據(jù)有限，導(dǎo)致模型的實(shí)際效果過(guò)于依賴(lài)任務(wù)數(shù)據(jù)分布，通常對(duì)于不同場(chǎng)景的泛化效果不佳。

近年來(lái)，大數(shù)據(jù)預(yù)訓(xùn)練技術(shù)迅速發(fā)展，通過(guò)利用大量數(shù)據(jù)學(xué)習(xí)通用知識(shí)并將其遷移到下游任務(wù)中的方法，本質(zhì)上實(shí)現(xiàn)了不同任務(wù)之間的相互借鑒。基于海量數(shù)據(jù)獲得的預(yù)訓(xùn)練模型具有較好的知識(shí)完備性，即使在下游任務(wù)中使用少量數(shù)據(jù)進(jìn)行微調(diào)，仍然能夠獲得良好的效果。然而，基于預(yù)訓(xùn)練+下游任務(wù)微調(diào)的模型生產(chǎn)流程需要為每個(gè)任務(wù)單獨(dú)訓(xùn)練模型，這在研發(fā)上消耗了大量資源。相比之下，多任務(wù)訓(xùn)練方案通過(guò)使用多個(gè)任務(wù)的數(shù)據(jù)訓(xùn)練一個(gè)功能強(qiáng)大的通用模型，可以直接應(yīng)用于處理多個(gè)任務(wù)，從而有效提高模型生產(chǎn)效率和泛化能力。

在本次競(jìng)賽中，參賽者需要使用單一模型同時(shí)完成交通場(chǎng)景下的分類(lèi)、檢測(cè)和分割三個(gè)代表性任務(wù)的聯(lián)合訓(xùn)練。天翼云AI團(tuán)隊(duì)在模型設(shè)計(jì)方面憑借豐富的算法開(kāi)發(fā)經(jīng)驗(yàn)，選擇了參數(shù)量?jī)H為第2名60%的預(yù)訓(xùn)練模型，用更少的參數(shù)卻獲得了更高的精度。

為了解決多任務(wù)訓(xùn)練中各分支損失函數(shù)和梯度不一致導(dǎo)致收斂緩慢的問(wèn)題，天翼云AI團(tuán)隊(duì)采用了損失均衡和梯度尺度統(tǒng)一的方法，以此來(lái)平衡各任務(wù)分支的損失函數(shù)，并使梯度具有一致的尺度，從而提高模型的訓(xùn)練效率和收斂速度。此外，天翼云AI團(tuán)隊(duì)還通過(guò)精心設(shè)計(jì)的任務(wù)專(zhuān)屬特征金字塔和注意力機(jī)制，使各分支任務(wù)能夠利用骨干網(wǎng)絡(luò)中對(duì)自身任務(wù)更有效的特征，進(jìn)一步提升了整體模型的精度和性能。

通過(guò)以上模型設(shè)計(jì)和訓(xùn)練策略，天翼云AI團(tuán)隊(duì)在競(jìng)賽中取得了優(yōu)異成績(jī)，充分展示了在圖像、音頻及多模態(tài)領(lǐng)域的深厚積累和持續(xù)創(chuàng)新能力。未來(lái)，天翼云將繼續(xù)在廣闊的人工智能領(lǐng)域進(jìn)行創(chuàng)新和探索，以更先進(jìn)的技術(shù)和卓越的成果惠及更多用戶(hù)，為千行百業(yè)的數(shù)字化發(fā)展提供支撐。