克雷西 魚羊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

字節(jié)跳動(dòng)版ChatGPT，現(xiàn)在人人可玩了！

網(wǎng)頁(yè)版、安卓版和iOS版同步上線，用抖音賬號(hào)、手機(jī)號(hào)和蘋果賬號(hào)都能登錄。

并且無(wú)需排隊(duì)，打開就能和這個(gè)名叫“豆包”的AI助手直接開聊。

是doubao.com不是douban.com噢~

消息一出，已經(jīng)有不少胖友第一時(shí)間前往圍（tiao）觀（xi）。

我們也抓緊實(shí)測(cè)了一波~

與ChatGLM難分伯仲

先來(lái)看看豆包是怎么介紹自己的：

既然如此，我們就來(lái)試試這些“官方功能”靠不靠譜。

比如，我們挑選了幾個(gè)有意思的錯(cuò)誤機(jī)翻讓豆包糾正，結(jié)果豆包給出的反饋還挺不錯(cuò)的：

尤其是“鴛鴦鍋”的翻譯，可以說(shuō)是完勝Google和DeepL。

知識(shí)方面的話，當(dāng)然要問(wèn)一下“刁鉆”的問(wèn)題了：雷公電母放出的電是直流電還是交流電。

豆包的這個(gè)回答，可以概括成“不是直流電，而是直流電”，但前面說(shuō)的還算可以吧。

拋開整活的話，豆包的開胃小菜的確給了我們一個(gè)不錯(cuò)的第一印象。

那么下面我們就上正餐——來(lái)拿它和備受好評(píng)的國(guó)產(chǎn)開源大模型ChatGLM進(jìn)行一場(chǎng)大橫評(píng)。

具體的內(nèi)容包括文案創(chuàng)作、邏輯推理、數(shù)學(xué)和代碼四個(gè)方面。

文案創(chuàng)作方面，豆包說(shuō)自己會(huì)撰寫知乎、小紅書等各種風(fēng)格的文案。

我們不妨整個(gè)奇葩點(diǎn)的東西，看看它能不能創(chuàng)作得出來(lái)，比如……豆汁美式的小紅書筆記。

文案搭配著emoji，連Tag都有了，看來(lái)豆包真的是懂小紅書的。

不過(guò)你確定“醇香甘甜”這個(gè)詞是用來(lái)形容豆汁的嗎……

ChatGLM雖然寫了很多，但是沒(méi)審清題，把豆汁直接當(dāng)成了豆?jié){……

（這么一看，豆包可能也理解成豆?jié){了，但是人家沒(méi)直接說(shuō)成豆?jié){?。?/span>

看來(lái)豆包是有一定創(chuàng)作能力的，所以不妨再加大難度。

直接讓它給“豆汁美式”的宣傳片寫個(gè)短視頻腳本。

ChatGLM的版本細(xì)節(jié)則要豐富些，不過(guò)豆包的版本也算是五臟俱全了。

兩者的文案創(chuàng)作水平不相上下，那么邏輯推理能力又怎么樣呢？

我們找來(lái)了一道推理題目，這道題兩位選手都沒(méi)能做對(duì)（正確答案是甲3乙1丙2）：

雖然都沒(méi)做對(duì)，但是豆包的思路好像在往正確的方向上走了。

而ChatGLM的解答，反正我是沒(méi)看懂。

這一環(huán)節(jié)對(duì)兩者的表現(xiàn)也是很難評(píng)價(jià)，那么，馬上進(jìn)入一眾大模型的噩夢(mèng)環(huán)節(jié)——數(shù)學(xué)。

簡(jiǎn)單如雞兔同籠這樣的問(wèn)題就不測(cè)了，我們直接上難度，拿一道高考題給他們?cè)囋嚒?/p>

△2023北京卷第16題

（圖片我們沒(méi)有輸入，但沒(méi)有圖片也能解題；第一問(wèn)是證明，我們也去掉了）

豆包使用的是純幾何方法，最后的答案是正確的，但很遺憾過(guò)程不對(duì)。

△從紅框開始出現(xiàn)錯(cuò)誤

ChatGLM則使用了向量解法：

首先結(jié)果是錯(cuò)的，不過(guò)120倒是和60度互補(bǔ)，是出了些小問(wèn)題嗎？

但我們很快發(fā)現(xiàn)了華點(diǎn)：

這里不應(yīng)該約等于就先不提了……兩個(gè)正數(shù)相除你是怎么給約成個(gè)負(fù)數(shù)的……

標(biāo)準(zhǔn)答案是醬嬸兒的，由于第二問(wèn)要用到第一問(wèn)的證明結(jié)論，所以把第一問(wèn)的過(guò)程也放上來(lái)了：

如此看來(lái)，在數(shù)學(xué)修煉上，兩位大模型選手都還有很大的進(jìn)步空間。

那么面對(duì)大家喜聞樂(lè)見(jiàn)的代碼問(wèn)題，豆包又該如何應(yīng)對(duì)呢？

先看比較基礎(chǔ)的冒泡排序算法。

我們?cè)囍芰艘幌拢〒Q掉了預(yù)設(shè)的數(shù)字），結(jié)果成功輸出了答案：

接下來(lái)上LeetCode，我們先選了一個(gè)比較簡(jiǎn)單的把阿拉伯?dāng)?shù)字轉(zhuǎn)換成羅馬數(shù)字的題目。

豆包很快就生成了一段代碼，還附帶了解釋：

而ChatGLM給出的代碼是這樣的（也附有解釋）：

運(yùn)行的結(jié)果是豆包正確，ChatGLM錯(cuò)誤：

不過(guò)稍微復(fù)雜一些的題目，他們就都做不對(duì)了。

除了設(shè)計(jì)算法，我們還想看看他們能不能用代碼“畫圖”。

我們隨機(jī)生成了兩列數(shù)據(jù)，看看能不能搞個(gè)折線圖出來(lái)：

結(jié)果用豆包的代碼畫出了這么個(gè)東西……

ChatGLM這邊的情況嘛……好家伙，直接報(bào)錯(cuò)運(yùn)行不了。

代碼環(huán)節(jié)就先展示到這里了，用一句話說(shuō)就是：都還得練。

看了這么多，想必讀者朋友們已經(jīng)有些累了，所以我們還準(zhǔn)備了“餐后甜點(diǎn)”，來(lái)點(diǎn)輕松的內(nèi)容。

弱智吧，開整！

Q1：蘿卜到底能不能“開胃”呢？

“必要時(shí)尋求專業(yè)醫(yī)生幫助”，這難道是在自己給自己做手術(shù)嗎……

Q2：導(dǎo)盲犬禁止入內(nèi)，是給盲人看得，還是給導(dǎo)盲犬看的？

豆包在A和B兩個(gè)選項(xiàng)當(dāng)中選擇了C。

而問(wèn)及“隕石為什么總砸中隕石坑”，豆包倒是說(shuō)對(duì)了，只不過(guò)回答得有點(diǎn)復(fù)雜。

弱智吧的測(cè)評(píng)結(jié)果總結(jié)下來(lái)就是：AI還是太單純，還沒(méi)辦法理解人類復(fù)雜的小心思。

字節(jié)跳動(dòng)大模型開始發(fā)力

字節(jié)跳動(dòng)選在這時(shí)候開放“豆包”測(cè)試，似乎有些令人意外。

但實(shí)際上，這個(gè)時(shí)間線倒推起來(lái)也不是無(wú)跡可尋：

在ChatGPT掀起狂瀾的今年二三月，字節(jié)跳動(dòng)就已有組建大模型團(tuán)隊(duì)的消息傳出。

據(jù)36kr消息，其探索方向主要是語(yǔ)言和圖像兩類大模型，希望能將大模型與字節(jié)本身的搜索、廣告等下游業(yè)務(wù)相結(jié)合。

但在當(dāng)時(shí)，字節(jié)方面相關(guān)技術(shù)負(fù)責(zé)人的回應(yīng)是：

技術(shù)中臺(tái)在這些領(lǐng)域有探索，還很初期，不成熟。

此后的“百模大戰(zhàn)”之中，字節(jié)跳動(dòng)似乎并沒(méi)有正式參戰(zhàn)的意思，旗下云平臺(tái)火山引擎，打出的也是“為大模型打造技術(shù)底座”、接入第三方大模型做大模型旗艦店商城的旗號(hào)。

直到6月份，字節(jié)跳動(dòng)被曝開始內(nèi)部測(cè)試一款A(yù)I對(duì)話類產(chǎn)品，代號(hào)“Grace”。

而Grace的網(wǎng)址“gracebot.cn”，現(xiàn)在會(huì)直接跳轉(zhuǎn)到豆包官網(wǎng)。

雖然豆包本包并不承認(rèn)自己就是Grace，但目前看來(lái)，豆包就是Grace的開放測(cè)試版本。

另外，“豆包”項(xiàng)目組的盆友向我們透露，豆包尚處于早期開發(fā)驗(yàn)證階段。測(cè)試期還存在較多局限，生成的內(nèi)容也可能不準(zhǔn)確，歡迎測(cè)試用戶們多提意見(jiàn)多反饋。

值得關(guān)注的是，最近，一個(gè)名叫BuboGPT的多模態(tài)大模型，在huggingface上上線了Demo。這一大模型背后同樣有來(lái)自字節(jié)跳動(dòng)的技術(shù)參與。

論文介紹，BuboGPT支持文本、圖像、音頻三種模態(tài)，能做到細(xì)粒度的多模態(tài)聯(lián)合理解。

比如給它這樣一張圖片：

BuboGPT不僅能識(shí)別出青蛙和青蛙手里的班卓琴，還能總結(jié)出青蛙的具體動(dòng)作、所處環(huán)境。

One More Thing

字節(jié)跳動(dòng)終于出手，那么豆包這表現(xiàn)你給打幾分？

話說(shuō)回來(lái)，就在大模型漸漸走出每周都有新模發(fā)布的狂熱期，國(guó)產(chǎn)大模型的先行者們，回答質(zhì)量已經(jīng)悄然進(jìn)步了不少。

比如當(dāng)初難倒眾多大模型英雄漢的“爸媽婚禮不帶我”問(wèn)題，如今許多國(guó)產(chǎn)大模型都能回答得有理有據(jù)。

△上百度下訊飛

國(guó)產(chǎn)大模型的評(píng)判標(biāo)尺，或許也已到了再上一個(gè)臺(tái)階的時(shí)候。

所以，國(guó)產(chǎn)大模型百花齊放，是否也給到你新的驚喜了呢？歡迎在評(píng)論區(qū)與我們分享~

— 完 —

量子位 QbitAI · 頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)