字節(jié)Seed開(kāi)源UI-TARS-1.5：基于視覺(jué)語(yǔ)言模型構(gòu)建的多模態(tài)智能體

IT之家 4 月 18 日消息，IT之家從豆包大模型團(tuán)隊(duì)獲悉，UI-TARS-1.5 昨日正式發(fā)布并開(kāi)源。這是一款基于視覺(jué)-語(yǔ)言模型構(gòu)建的開(kāi)源多模態(tài)智能體，能夠在虛擬世界中高效執(zhí)行各類(lèi)任務(wù)。

有關(guān)的鏈接如下：

GitHub：https://github.com/bytedance/UI-TARSWebsite：https://seed-tars.com/Arxiv：https://arxiv.org/abs/2501.12326

UI-TARS-1.5 基于字節(jié)此前提出的原生智能體方案 UI-TARS，通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)一步增強(qiáng)了模型的高階推理能力，使模型能夠在“行動(dòng)”前先進(jìn)行“思考”。

該版本的模型中，團(tuán)隊(duì)還展示了一個(gè)新的愿景：以游戲?yàn)檩d體來(lái)增強(qiáng)基礎(chǔ)模型的推理能力。與數(shù)學(xué)、編程等領(lǐng)域相比，游戲更多依賴(lài)直觀的、常識(shí)性的推理，并較少依賴(lài)專(zhuān)業(yè)知識(shí)，因此，游戲通常是評(píng)估和提升未來(lái)模型通用能力的理想測(cè)試場(chǎng)景。

據(jù)介紹，UI-TARS 是一個(gè)原生 GUI 智能體，具備真實(shí)操作電腦和手機(jī)系統(tǒng)的能力，同時(shí)，還可操控瀏覽器、完成復(fù)雜交互任務(wù)。UI-TARS-1.5 能夠?qū)崿F(xiàn)精準(zhǔn) GUI 操作，基于團(tuán)隊(duì)在四個(gè)維度的技術(shù)探索：

視覺(jué)感知增強(qiáng)：依托大規(guī)模界面截圖數(shù)據(jù)，模型可理解元素的語(yǔ)義與上下文，形成精準(zhǔn)描述。System 2 推理機(jī)制：在動(dòng)作前生成“思維（thought）”，支持復(fù)雜任務(wù)的多步規(guī)劃與決策。統(tǒng)一動(dòng)作建模：構(gòu)建跨平臺(tái)標(biāo)準(zhǔn)動(dòng)作空間，通過(guò)真實(shí)軌跡學(xué)習(xí)提升動(dòng)作可控性與執(zhí)行精度�？勺晕已莼�的訓(xùn)練范式：通過(guò)自動(dòng)化的交互軌跡采集與反思式訓(xùn)練，模型持續(xù)從錯(cuò)誤中改進(jìn)，適應(yīng)復(fù)雜環(huán)境變化。