DoNews3月16日消息,今日,百度在北京總部召開(kāi)新聞發(fā)布會(huì),百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏和百度首席技術(shù)官王海峰出席,李彥宏展示了新一代知識(shí)增強(qiáng)大語(yǔ)言模型文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成五個(gè)使用場(chǎng)景中的綜合能力,王海峰解讀了文心一言的技術(shù)特性及其背后的技術(shù)積累。
在人工智能時(shí)代,IT技術(shù)??煞譃椤靶酒瑢印⒖蚣軐?、模型層、應(yīng)用層”四層,百度自2010年起開(kāi)始全面布局人工智能,是全球?yàn)閿?shù)不多、進(jìn)行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學(xué)習(xí)平臺(tái)、文心大模型到應(yīng)用,百度在技術(shù)棧的各層都有領(lǐng)先業(yè)界的關(guān)鍵自研技術(shù),實(shí)現(xiàn)了層與層反饋,端到端優(yōu)化,大幅提升效率。
在框架層,飛槳是百度自主研發(fā)的中國(guó)首個(gè)開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái),包括核心框架、產(chǎn)業(yè)級(jí)模型庫(kù)、開(kāi)發(fā)套件、工具組件,以及學(xué)習(xí)和實(shí)訓(xùn)社區(qū),能夠標(biāo)準(zhǔn)化、自動(dòng)化地支撐模型生產(chǎn)和應(yīng)用。在模型層,文心大模型包括NLP、CV、跨模態(tài)等基礎(chǔ)大模型,對(duì)話(huà)、跨語(yǔ)言、搜索、信息抽取等任務(wù)大模型,生物計(jì)算領(lǐng)域大模型,行業(yè)大模型,以及支撐大模型應(yīng)用的工具平臺(tái),形成了基礎(chǔ)-任務(wù)-行業(yè)三級(jí)大模型技術(shù)體系,具備知識(shí)增強(qiáng)和產(chǎn)業(yè)級(jí)兩大特色。
文心一言是新一代知識(shí)增強(qiáng)大語(yǔ)言模型,也是百度繼文心一格之后的又一個(gè)生成式AI產(chǎn)品,具備對(duì)話(huà)交互、內(nèi)容創(chuàng)作、知識(shí)推理、多模態(tài)生成等能力。王海峰表示,新一代知識(shí)增強(qiáng)大語(yǔ)言模型文心一言,是在ERNIE及PLATO系列模型的基礎(chǔ)上研發(fā)的。它的關(guān)鍵技術(shù)包括有監(jiān)督精調(diào)、人類(lèi)反饋的強(qiáng)化學(xué)習(xí)、提示、知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話(huà)增強(qiáng)。前三項(xiàng)是這類(lèi)大語(yǔ)言模型都會(huì)采用的技術(shù),ERNIE和PLATO中已經(jīng)有應(yīng)用和積累,在文心一言中又有了進(jìn)一步強(qiáng)化和打磨;后三項(xiàng)則是百度已有技術(shù)優(yōu)勢(shì)的再創(chuàng)新,也是文心一言未來(lái)越來(lái)越強(qiáng)大的基礎(chǔ)。
王海峰認(rèn)為,文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實(shí)踐的水到渠成,尤其是飛槳深度學(xué)習(xí)平臺(tái)和文心大模型的聯(lián)合優(yōu)化,為文心一言提供了堅(jiān)實(shí)的技術(shù)支撐。飛槳有效支撐了大模型的靈活開(kāi)發(fā)、高效訓(xùn)練和推理部署。文心大模型從2019年發(fā)布以來(lái),已經(jīng)從最初的自然語(yǔ)言理解大模型,發(fā)展成了跨語(yǔ)言、跨模態(tài)、跨任務(wù)、跨行業(yè)的能力完備的大模型平臺(tái)。