AI超越人類:《我的世界》是一個(gè)大型AI試驗(yàn)場(chǎng)
上周，英偉達(dá)和國(guó)內(nèi)幾家科研機(jī)構(gòu)幾乎同時(shí)發(fā)布了兩篇相似的論文。首先是英偉達(dá)宣布開發(fā)了一個(gè)名為“VOYAGER”的全新游戲AI智能體，該智能體將AI大模型GPT-4整合到《我的世界》游戲中。基于GPT-4，VOYAGER能夠在《我的世界》中擴(kuò)充自己的物品和裝備，完成建造、work、收集等基本生存技能，并且可以獨(dú)立進(jìn)行開放式探索，前往不同的城市和地點(diǎn)，甚至搭建傳送門。
英偉達(dá)表示，VOYAGER在《我的世界》中的物品增加了3.3倍，旅行距離增加了2.3倍，解鎖關(guān)鍵技能樹的速度也比之前的方法快了15.3倍。接著，商湯科技聯(lián)合清華大學(xué)、上海人工智能實(shí)驗(yàn)室等機(jī)構(gòu)發(fā)布了通才AI智能體“Ghost in the Minecraft（GITM）”。同樣將大語言模型（LLM）整合到《我的世界》中，GITM在《我的世界》的主世界中實(shí)現(xiàn)了100%的任務(wù)覆蓋率，成功通關(guān)解鎖了完整的科技樹，而此前所有智能體的總和只能覆蓋30%。此外，在“獲取鉆石”任務(wù)上，GITM的成功率達(dá)到67.5%，相比之前的最佳成績(jī)，即OpenAI的VPT方法，提高了47.5%。
GITM在《我的世界》中的任務(wù)覆蓋率遠(yuǎn)高于現(xiàn)有的AI智能體。雖然這些論文中涉及了一些技術(shù)細(xì)節(jié)，但我們可以先不談?wù)撍鼈儭槭裁此麄儠?huì)不約而同地選擇《我的世界》作為實(shí)驗(yàn)平臺(tái)呢？
一、《我的世界》是一個(gè)大型AI試驗(yàn)場(chǎng)
《我的世界》已經(jīng)成為訓(xùn)練AI的理想場(chǎng)所。在過去的幾年中，許多AI都在《我的世界》中進(jìn)行了訓(xùn)練。著名的莫拉維克悖論指出，對(duì)于人類而言困難的任務(wù)（如下棋）對(duì)AI來說很簡(jiǎn)單，而對(duì)人類來說相對(duì)簡(jiǎn)單的任務(wù)（如在開放世界中與環(huán)境交互、進(jìn)行規(guī)劃和決策）對(duì)AI來說卻是巨大挑戰(zhàn)。正是因?yàn)檫@種情況的存在，早在AI發(fā)展不像現(xiàn)在這么成熟的幾年前，科學(xué)家們就開始在《我的世界》中使用AI完成一些簡(jiǎn)單的任務(wù)。
繼續(xù)訓(xùn)練AI的原因之一是《我的世界》提供了一個(gè)廣闊的、復(fù)雜的開放世界環(huán)境，讓科學(xué)家們能夠挑戰(zhàn)AI在規(guī)劃、決策和與環(huán)境交互等方面的能力。在過去的幾年里，許多科學(xué)家和研究機(jī)構(gòu)都選擇在《我的世界》中進(jìn)行AI訓(xùn)練。
2019年，F(xiàn)acebook開發(fā)了一款名為"craftassist bot"的AI助手，可以執(zhí)行玩家指定的各種任務(wù)，如建造城市、與村民交互等。同年，卡內(nèi)基·梅隆大學(xué)、微軟、DeepMind和OpenAI聯(lián)合舉辦了名為"MineRL"的《我的世界》AI比賽。這些活動(dòng)都標(biāo)志著AI在《我的世界》中的應(yīng)用逐漸從簡(jiǎn)單的指令執(zhí)行發(fā)展到更復(fù)雜的任務(wù)。
隨著時(shí)間的推移，越來越多的公司和研究機(jī)構(gòu)開始在《我的世界》中訓(xùn)練AI。美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA）在2020年啟動(dòng)了ADAPT項(xiàng)目，旨在利用AI協(xié)助指揮官進(jìn)行決策。Aptima公司利用《我的世界》訓(xùn)練AI與人類進(jìn)行互動(dòng)。哥本哈根信息技術(shù)大學(xué)、紐約大學(xué)和上海大學(xué)的研究者使用3D神經(jīng)元胞自動(dòng)機(jī)系統(tǒng)在《我的世界》中創(chuàng)建了復(fù)雜的實(shí)體。
去年，OpenAI通過引入視頻預(yù)訓(xùn)練法成功訓(xùn)練出熟練的《我的世界》AI，掌握了高階玩法。此外，DeepMind開發(fā)了名為"DreamerV3"的AI智能體，在《我的世界》中摸爬滾打17天，學(xué)會(huì)了如何挖鉆石。這些成果的取得證明了《我的世界》作為AI訓(xùn)練場(chǎng)所的價(jià)值。
二、沒有誰比《我的世界》更合適了
《我的世界》是一款受歡迎的游戲，具有廣泛的玩家基礎(chǔ)。其開放世界的游戲?qū)傩允蛊涑蔀榭茖W(xué)家們訓(xùn)練AI的理想場(chǎng)所。與其他游戲相比，如LOL和王者榮耀等單一的戰(zhàn)略對(duì)戰(zhàn)游戲，《我的世界》的游戲過程更為復(fù)雜，挑戰(zhàn)了AI的極限。
《我的世界》不預(yù)先設(shè)定目標(biāo)，提供了兩種模式：生存和創(chuàng)造。在生存模式中，玩家需要通過采集資源、建造和生存來維持自己的生活。這種自由度很大程度上反映了現(xiàn)實(shí)世界的復(fù)雜性，給AI提供了更多的學(xué)習(xí)和適應(yīng)的機(jī)會(huì)。
此外，《我的世界》的游戲世界是無限生成的，擁有各種地形、生物和物品。這種多樣性使得AI在游戲中面臨各種挑戰(zhàn)，需要具備多樣的技能和決策能力。AI必須能夠規(guī)劃路徑、進(jìn)行資源管理、解決問題和與環(huán)境進(jìn)行交互，這些都是現(xiàn)實(shí)世界中重要的技能。
另一個(gè)重要的因素是《我的世界》的社交性質(zhì)。玩家可以在游戲中與其他玩家進(jìn)行合作或競(jìng)爭(zhēng)。這種社交互動(dòng)提供了一種機(jī)會(huì)，讓AI學(xué)會(huì)與人類合作、協(xié)調(diào)和競(jìng)爭(zhēng)。這對(duì)于AI在未來實(shí)際應(yīng)用中的發(fā)展至關(guān)重要。
三、《我的世界》中的AI在本次開發(fā)中具有以下特點(diǎn)：
1.引入大語言模型（LLM）：與以往基于《我的世界》訓(xùn)練的AI相比，本次開發(fā)采用了大語言模型作為核心訓(xùn)練方法。這一方法能夠使AI自主驅(qū)動(dòng)地探索并掌握廣泛的技能，從而更好地模擬人類的學(xué)習(xí)過程。
2.自主驅(qū)動(dòng)的探索：通過大語言模型的訓(xùn)練方法，AI可以根據(jù)總體目標(biāo)提出問題并自動(dòng)生成多個(gè)小任務(wù)。它通過存儲(chǔ)有助于解決任務(wù)的行動(dòng)程序，逐漸建立起技能庫(kù)。當(dāng)面臨相似任務(wù)時(shí)，AI可以根據(jù)描述從技能庫(kù)中檢索相關(guān)知識(shí)。這使得AI能夠自主驅(qū)動(dòng)地探索和應(yīng)對(duì)各種情況。
3.終身學(xué)習(xí)者：大語言模型方法使得AI能夠在較長(zhǎng)時(shí)間跨度內(nèi)逐步獲取、更新、積累和遷移知識(shí)。它能夠緩解傳統(tǒng)持續(xù)學(xué)習(xí)方法中的“災(zāi)難性遺忘”，更好地適應(yīng)新環(huán)境和任務(wù)。
4.類人類決策過程和行為方式：通過訓(xùn)練和自主探索，《我的世界》中的AI能夠根據(jù)當(dāng)前技能水平和世界狀態(tài)提出合適的任務(wù)，完善技能并存儲(chǔ)已掌握的技能。它還能夠自主探索世界，并以類似于人類的決策過程和行為方式進(jìn)行行動(dòng)。這使得AI在決策和行為上與人類非常相似。
5.面向現(xiàn)實(shí)世界的推測(cè)：AI能夠通關(guān)《我的世界》表明它在該虛擬環(huán)境中具備高度適應(yīng)能力。這引發(fā)了人們對(duì)于AI在現(xiàn)實(shí)世界中的潛在能力的思考。未來，AI可能能夠像人類一樣生活、具備各種技能，并且具有自己的想法，使人們難以區(qū)分其與真實(shí)人類的區(qū)別。
綜上所述，通過大語言模型方法在《我的世界》中訓(xùn)練出的AI更接近于真實(shí)人類，具備自主學(xué)習(xí)、決策和行動(dòng)的能力。這種訓(xùn)練方法的發(fā)展也引發(fā)了對(duì)于AI在現(xiàn)實(shí)世界中潛在應(yīng)用的思考和想象。