智譜技術(shù)團(tuán)隊(duì)于12月26日通過其公眾號(hào)宣布,開源了CogAgent-9B-20241220模型。這一模型基于GLM-4V-9B訓(xùn)練,專為智能體(Agent)任務(wù)設(shè)計(jì),僅需屏幕截圖作為輸入,無(wú)需HTML等文本表征,便能根據(jù)用戶指定的任務(wù),結(jié)合歷史操作,預(yù)測(cè)下一步的GUI操作。
CogAgent-9B-20241220模型的普適性使其可廣泛應(yīng)用于個(gè)人電腦、手機(jī)、車機(jī)設(shè)備等基于GUI交互的場(chǎng)景。相較于2023年12月開源的第一版CogAgent模型,新版本在GUI感知、推理預(yù)測(cè)準(zhǔn)確性、動(dòng)作空間完善性、任務(wù)普適性和泛化性等方面均實(shí)現(xiàn)了顯著提升,并支持中英文雙語(yǔ)的屏幕截圖和語(yǔ)言交互。
該模型的輸入僅包含用戶的自然語(yǔ)言指令、已執(zhí)行歷史動(dòng)作記錄和GUI截圖,無(wú)需任何文本形式表征的布局信息或附加元素標(biāo)簽信息。其輸出涵蓋思考過程、下一步動(dòng)作的自然語(yǔ)言描述、下一步動(dòng)作的結(jié)構(gòu)化描述以及下一步動(dòng)作的敏感性判斷四個(gè)方面。
CogAgent-9B-20241220在多個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)試,并與GPT-4o-20240806、Claude-3.5-Sonnet等模型進(jìn)行了比較,結(jié)果顯示其在多個(gè)數(shù)據(jù)集上取得了領(lǐng)先的結(jié)果,證明了其在GUI Agent領(lǐng)域強(qiáng)大的性能。