撰文 | 程書書
編輯 | 李信馬
題圖 | 百? ?度
前幾天，百度世界大會(huì)上，文心大模型4.0發(fā)布。而李彥宏宣稱，新版本的文心大模型“綜合水平與 GPT-4 相比已經(jīng)毫不遜色”，更是一石激起千層浪。
自此之后，在各家的評測中，文心大模型4.0已經(jīng)與GPT-4的巔峰對決了N個(gè)回合，可以說難解難分。不過，GPT-4雖然是目前世界公認(rèn)的一流水平，但收費(fèi)價(jià)格不低，對國內(nèi)用戶來說使用也不方便，文心一言卻已經(jīng)面向全社會(huì)免費(fèi)開放。
走路要一步一個(gè)腳印，今天DoNews就不整它倆的比拼了，而是測一測文心大模型4.0與目前仍免費(fèi)的GPT-3.5的差別，看一看現(xiàn)在的文心大模型，是否明顯優(yōu)于后者，如果是的話，那對絕大多數(shù)用戶來說，選哪個(gè)就清楚了。
先說測評維度，這一次的大模型評測，按照業(yè)界普遍使用的語言理解、推理、生成、記憶這四個(gè)維度。俗話說因地制宜，DoNews安排的題目中，還包括今年國家公務(wù)員考試《行測》的真題，真實(shí)展現(xiàn)大模型在中文領(lǐng)域的實(shí)際水平。
一、理解能力
第一題，據(jù)說在中文考試中繞暈外國人的語言理解題目——說曹操到曹操就到了。
小明跟小亮說小剛昨天參加了百米賽跑，這個(gè)時(shí)候小剛正好經(jīng)過，小亮就說：“說曹操到，曹操就到?！?分析一下，究竟是誰到了？
文心大模型4.0的回答如下：
GPT-3.5的回答如下：
可以看到，文心大模型4.0對于中文諺語理解非常到位，而再看GPT-3.5的回答，只能說一塌糊涂。這一題，文心大模型4.0明顯勝出。
剛剛的問題可能有點(diǎn)太欺負(fù)外國大模型了，緊接著，DoNews又從今年的國家公務(wù)員考試《行測》中扒來一道語言理解與表達(dá)試題。
每個(gè)企業(yè)都有自己的核心價(jià)值觀，它是企業(yè)一切理念、制度和技術(shù)的價(jià)值基礎(chǔ)。企業(yè)在重視財(cái)務(wù)、營銷、技術(shù)的同時(shí)，更應(yīng)重視員工。員工是企業(yè)的主人，是企業(yè)的根本，只有建立起以“重視員工”為核心價(jià)值觀的企業(yè)文化，企業(yè)才能凝聚員工、創(chuàng)造個(gè)性，為自身的發(fā)展提供目標(biāo)、方向和定力。 這段文字意在說明什么？（國家公務(wù)員考試《行測》語言理解與表達(dá)試題）
文心大模型4.0的回答如下：
GPT-3.5的回答如下：
這一題的結(jié)果，應(yīng)該說是雙方勢均力敵，文心大模型4.0言簡意賅說出重點(diǎn)，GPT-3.5則條理清楚分析出結(jié)論。
二、邏輯推理能力
在這一維度，DoNews同樣在《行測》找來兩道真題，第一道是數(shù)學(xué)推斷計(jì)算題。
甲、乙等16人參加乒乓球淘汰賽。每輪對所有未被淘汰選手進(jìn)行抽簽分組兩兩比賽，勝者進(jìn)入下一輪。已知除了甲以外，其余任意兩人比賽時(shí)雙方勝率均為50%。甲對乙的勝率為0%，對其他14人的勝率均為100%。則甲奪冠的概率是多少？（國家公務(wù)員考試《行測》數(shù)量關(guān)系試題）
文心大模型4.0的回答如下：
GPT-3.5的回答如下：
不愧是國考題，文心大模型4.0和GPT-3.5都被整懵了，兩個(gè)答案全部錯(cuò)誤。正確的答案是11/15，文心大模型明顯是沒理解題目的意思，想的過于復(fù)雜。GPT-3.5給出來的答案則讓人哭笑不得，思路直接就是錯(cuò)的，又想的太過于簡單了，很難說哪個(gè)更強(qiáng)一點(diǎn)。
第2題就更加高端了，是看圖分析規(guī)律推理出答案，不過由于GPT-3.5不能查看圖片，這一題就只有文心大模型來作答了。
讓DoNews沒有想到的是，文心大模型4.0不僅可以識別圖片問題，還能準(zhǔn)確的根據(jù)規(guī)律得出正確結(jié)果，可以說是碾壓性勝利。
三、生成能力
在這個(gè)維度，DoNews設(shè)置了根據(jù)描述生成文案、圖畫以及視頻三個(gè)測試題。第一題，請根據(jù)“吵架”生成一段文案，文心大模型4.0的回答如下：
GPT-3.5的回答如下：
兩者算是打了個(gè)平手，都是對于“吵架”這一負(fù)情緒詞進(jìn)行正向引導(dǎo)。接下來的兩題，由于GPT-3.5無法生成圖片和視頻，可以說文心大模型不戰(zhàn)而勝了，來看下結(jié)果吧。
請根據(jù)“為有暗香來”生成一幅畫，文心大模型4.0的回答如下：
文心大模型4.0直接根據(jù)題意給出了四幅不同風(fēng)格的畫作，可以說，在圖像生成上確實(shí)進(jìn)步不少。
根據(jù)“雙十一”生成一段視頻，文心大模型4.0的回答如下：
不知道為何，文心大模型4.0也沒能直接呈現(xiàn)出一段視頻，只是根據(jù)指示詞給出了一個(gè)視頻腳本來，可能還有待進(jìn)步吧。
四、記憶能力
最后一個(gè)維度就是十分重要的記憶能力。DoNews要求以“我喝了一口核污水”為開頭寫一篇小說。
文心大模型4.0的回答如下：
GPT-3.5的回答如下：
可以看到，在故事創(chuàng)造上，文心大模型4.0更偏重于結(jié)構(gòu)框架，而GPT-3.5則偏重于故事內(nèi)容。這讓DoNews有一個(gè)大膽的設(shè)想，用文心大模型4.0寫框架，用GPT-3.5填寫內(nèi)容，是不是就能得到一部完整的小說？
言歸正傳，DoNews繼續(xù)提出增加人物背景、增加故事人物角色、增加冒險(xiǎn)情節(jié)、豐富故事內(nèi)容、增加具體情節(jié)等指令來。
文心大模型4.0的回答如下：
GPT-3.5的回答如下：
多輪問答后，文心大模型4.0和GPT-3.5都能根據(jù)給出指令適當(dāng)增加內(nèi)容，同時(shí)呼應(yīng)之前給出的內(nèi)容，但也會(huì)有一些細(xì)節(jié)遺忘，整體來看表現(xiàn)都不錯(cuò)。
結(jié)語：
根據(jù)測評結(jié)果來看，文心大模型4.0整體水平優(yōu)于GPT-3.5，尤其在理解和生成兩方面，表現(xiàn)令人驚喜。
大模型目前處于高速發(fā)展階段，性能和應(yīng)用效果都在不斷提升，也曾一度引發(fā)了國內(nèi)對于是否會(huì)在大模型領(lǐng)域落伍的擔(dān)憂，不過從剛剛的對比結(jié)果來看，像百度文心這樣的國產(chǎn)大模型同樣表現(xiàn)優(yōu)秀，即使會(huì)有差距，也是可以追趕，甚至是在短時(shí)間內(nèi)追趕上的，大家不必杞人憂天。
相信未來，我們也將看到能力更強(qiáng)的國產(chǎn)大模型，在各行各業(yè)落地生根，便利我們的生活。
