OpenAI震撼發(fā)布o(jì)1大模型 強(qiáng)化學(xué)習(xí)突破LLM推理極限
來(lái)源：機(jī)器之心
大語(yǔ)言模型還能向上突破，OpenAI再次證明了自己的實(shí)力。
北京時(shí)間9月13日午夜，OpenAI正式公開一系列全新AI大模型，旨在專門解決難題。這是一個(gè)重大突破，新模型可以實(shí)現(xiàn)復(fù)雜推理，一個(gè)通用模型解決比此前的科學(xué)、代碼和數(shù)學(xué)模型能做到的更難的問(wèn)題。
奧特曼表示，雖然o1的表現(xiàn)仍然存在缺陷，不過(guò)你在第一次使用它的時(shí)候仍然會(huì)感到震撼。
其次，o1給大模型規(guī)模擴(kuò)展vs性能的曲線帶來(lái)了一次上翹。它在大模型領(lǐng)域重現(xiàn)了當(dāng)年AlphaGo強(qiáng)化學(xué)習(xí)的成功——給越多算力，就輸出越多能，一直到超越人類水平。
也就是從方法上，o1大模型首次證明了語(yǔ)言模型可以進(jìn)行真正的強(qiáng)化學(xué)習(xí)。
開發(fā)出首個(gè)AI軟件工程師Devin的CognitionAI表示，過(guò)去幾周一直與OpenAI密切合作，使用Devin評(píng)估o1的推理能力。結(jié)果發(fā)現(xiàn)，與GPT-4o相比，o1系列模型對(duì)于處理代碼的智能體系統(tǒng)來(lái)說(shuō)是一個(gè)重大進(jìn)步。
最后在實(shí)踐中，o1上線之后，現(xiàn)在ChatGPT可以在回答問(wèn)題前先仔細(xì)思考，而不是立即脫口而出答案。就像人類大腦的系統(tǒng)1和系統(tǒng)2，ChatGPT已經(jīng)從僅使用系統(tǒng)1（快速、自動(dòng)、直觀、易出錯(cuò)）進(jìn)化到了可使用系統(tǒng)2思維（緩慢、深思熟慮、有意識(shí)、可靠）。這讓它能夠解決以前無(wú)法解決的問(wèn)題。
從今天ChatGPT的用戶體驗(yàn)來(lái)看，這是向前邁進(jìn)一小步。在簡(jiǎn)單的Prompt下，用戶可能不會(huì)注意到太大的差異，但如果問(wèn)一些棘手的數(shù)學(xué)或者代碼問(wèn)題，區(qū)別就開始明顯了。更重要的是，未來(lái)發(fā)展的道路已經(jīng)開始顯現(xiàn)。
總而言之，今晚OpenAI丟出的這個(gè)重磅炸彈，已經(jīng)讓整個(gè)AI社區(qū)震撼，紛紛表示tql、睡不著覺(jué)，深夜已經(jīng)開始抓緊學(xué)習(xí)。接下來(lái)，就讓我們看下OpenAIo1大模型的技術(shù)細(xì)節(jié)。OpenAIo1工作原理
在技術(shù)博客《LearningtoReasonwithLLMs》中，OpenAI對(duì)o1系列語(yǔ)言模型做了詳細(xì)的技術(shù)介紹。
OpenAIo1是經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練來(lái)執(zhí)行復(fù)雜推理任務(wù)的新型語(yǔ)言模型。特點(diǎn)就是，o1在回答之前會(huì)思考——它可以在響應(yīng)用戶之前產(chǎn)生一個(gè)很長(zhǎng)的內(nèi)部思維鏈。
也就是該模型在作出反應(yīng)之前，需要像人類一樣，花更多時(shí)間思考問(wèn)題。通過(guò)訓(xùn)練，它們學(xué)會(huì)完善自己的思維過(guò)程，嘗試不同的策略，并認(rèn)識(shí)到自己的錯(cuò)誤。
在OpenAI的測(cè)試中，該系列后續(xù)更新的模型在物理、化學(xué)和生物學(xué)這些具有挑戰(zhàn)性的基準(zhǔn)任務(wù)上的表現(xiàn)與博士生相似。OpenAI還發(fā)現(xiàn)它在數(shù)學(xué)和編碼方面表現(xiàn)出色。
在國(guó)際數(shù)學(xué)奧林匹克（IMO）資格考試中，GPT-4o僅正確解答了13%的問(wèn)題，而o1模型正確解答了83%的問(wèn)題。
模型的編碼能力也在比賽中得到了評(píng)估，在Codeforces比賽中排名89%。
OpenAI表示，作為早期模型，它還不具備ChatGPT的許多實(shí)用功能，例如瀏覽網(wǎng)頁(yè)獲取信息以及上傳文件和圖片。
但對(duì)于復(fù)雜的推理任務(wù)來(lái)說(shuō)，這是一個(gè)重大進(jìn)步，代表了人工智能能力的新水平。鑒于此，OpenAI將計(jì)數(shù)器重置為1，并將該系列模型命名為OpenAIo1。
重點(diǎn)在于，OpenAI的大規(guī)模強(qiáng)化學(xué)習(xí)算法，教會(huì)模型如何在數(shù)據(jù)高度有效的訓(xùn)練過(guò)程中利用其思想鏈進(jìn)行高效思考。換言之，類似于強(qiáng)化學(xué)習(xí)的ScalingLaw。
OpenAI發(fā)現(xiàn)，隨著更多的強(qiáng)化學(xué)習(xí)（訓(xùn)練時(shí)計(jì)算）和更多的思考時(shí)間（測(cè)試時(shí)計(jì)算），o1的性能持續(xù)提高。而且擴(kuò)展這種方法的限制與大模型預(yù)訓(xùn)練的限制有很大不同，OpenAI也還在繼續(xù)研究。
評(píng)估
為了突出相對(duì)于GPT-4o的推理性能改進(jìn)，OpenAI在一系列不同的人類考試和機(jī)器學(xué)習(xí)基準(zhǔn)測(cè)試中測(cè)試了o1模型。實(shí)驗(yàn)結(jié)果表明，在絕大多數(shù)推理任務(wù)中，o1的表現(xiàn)明顯優(yōu)于GPT-4o。
o1在具有挑戰(zhàn)性的推理基準(zhǔn)上比GPT-4o有了很大的改進(jìn)。
在一個(gè)官方演示中，o1-preview解答了一個(gè)非常困難的推理問(wèn)題：當(dāng)公主的年齡是王子的兩倍時(shí)，公主的年齡與王子一樣大，而公主的年齡是他們現(xiàn)在年齡總和的一半。王子和公主的年齡是多少？提供這個(gè)問(wèn)題的所有解。
在2024年AIME考試中，GPT-4o平均只解決了12%(1.8/15)的問(wèn)題，而o1在每個(gè)問(wèn)題只有一個(gè)樣本的情況下平均為74%(11.1/15)，在64個(gè)樣本之間達(dá)成一致的情況下為83%(12.5/15)，在使用學(xué)習(xí)的評(píng)分函數(shù)對(duì)1000個(gè)樣本重新排序時(shí)為93%(13.9/15)。13.9分可以躋身全美前500名，并且高于美國(guó)數(shù)學(xué)奧林匹克競(jìng)賽分?jǐn)?shù)線。
OpenAI還在GPQADiamond基準(zhǔn)上評(píng)估了o1，這是一個(gè)困難的智力基準(zhǔn)，用于測(cè)試化學(xué)、物理和生物學(xué)方面的專業(yè)知識(shí)。為了將模型與人類進(jìn)行比較，OpenAI聘請(qǐng)了擁有博士學(xué)位的專家來(lái)回答GPQADiamond基準(zhǔn)問(wèn)題。
實(shí)驗(yàn)結(jié)果表明：o1超越了人類專家的表現(xiàn)，成為第一個(gè)在該基準(zhǔn)測(cè)試中做到這一點(diǎn)的模型。
這些結(jié)果并不意味著o1在所有方面都比博士更有能力——只是該模型更擅長(zhǎng)解決一些博士應(yīng)該解決的問(wèn)題。在其他幾個(gè)ML基準(zhǔn)測(cè)試中，o1實(shí)現(xiàn)了新的SOTA。
啟用視覺(jué)感知能力后，o1在MMMU基準(zhǔn)上得分為78.2%，成為第一個(gè)與人類專家相當(dāng)?shù)哪Ｐ汀1還在57個(gè)MMLU子類別中的54個(gè)上優(yōu)于GPT-4o。思維鏈（CoT）
與人類在回答難題之前會(huì)長(zhǎng)時(shí)間思考類似，o1在嘗試解決問(wèn)題時(shí)會(huì)使用思維鏈。通過(guò)強(qiáng)化學(xué)習(xí)，o1學(xué)會(huì)磨練其思維鏈并改進(jìn)其使用的策略。o1學(xué)會(huì)了識(shí)別和糾正錯(cuò)誤，并可以將棘手的步驟分解為更簡(jiǎn)單的步驟。o1還學(xué)會(huì)了在當(dāng)前方法不起作用時(shí)嘗試不同的方法。這個(gè)過(guò)程極大地提高了模型的推理能力。編程能力
基于o1進(jìn)行了初始化并進(jìn)一步訓(xùn)練了其編程技能后，OpenAI訓(xùn)練得到了一個(gè)非常強(qiáng)大的編程模型（o1-ioi）。該模型在2024年國(guó)際信息學(xué)奧林匹克競(jìng)賽（IOI）賽題上得到了213分，達(dá)到了排名前49%的水平。并且該模型參與競(jìng)賽的條件與2024IOI的人類參賽者一樣：需要在10個(gè)小時(shí)內(nèi)解答6個(gè)高難度算法問(wèn)題，并且每個(gè)問(wèn)題僅能提交50次答案。
針對(duì)每個(gè)問(wèn)題，這個(gè)經(jīng)過(guò)專門訓(xùn)練的o1模型會(huì)采樣許多候選答案，然后基于一個(gè)測(cè)試時(shí)選取策略提交其中50個(gè)答案。選取標(biāo)準(zhǔn)包括在IOI公共測(cè)試案例、模型生成的測(cè)試案例以及一個(gè)學(xué)習(xí)得到的評(píng)分函數(shù)上的性能。
研究表明，這個(gè)策略是有效的。因?yàn)槿绻苯与S機(jī)提交一個(gè)答案，則平均得分僅有156。這說(shuō)明在該競(jìng)賽條件下，這個(gè)策略至少值60分。
OpenAI發(fā)現(xiàn)，如果放寬提交限制條件，則模型性能更是能大幅提升。如果每個(gè)問(wèn)題允許提交1萬(wàn)次答案，即使不使用上述測(cè)試時(shí)選取策略，該模型也能得到362.14分——可以得金牌了。
最后，OpenAI模擬了Codeforces主辦的競(jìng)爭(zhēng)性編程競(jìng)賽，以展示該模型的編碼技能。采用的評(píng)估與競(jìng)賽規(guī)則非常接近，允許提交10份代碼。GPT-4o的Elo評(píng)分為808，在人類競(jìng)爭(zhēng)對(duì)手中處于前11%的水平。該模型遠(yuǎn)遠(yuǎn)超過(guò)了GPT-4o和o1——它的Elo評(píng)分為1807，表現(xiàn)優(yōu)于93%的競(jìng)爭(zhēng)對(duì)手。
人類偏好評(píng)估
除了考試和學(xué)術(shù)基準(zhǔn)之外，OpenAI還在更多領(lǐng)域的具有挑戰(zhàn)性的開放式提示上評(píng)估了人類對(duì)o1-preview和GPT-4o的偏好。
在這次評(píng)估中，人類訓(xùn)練者對(duì)o1-preview和GPT-4o的提示進(jìn)行匿名回答，并投票選出他們更喜歡的回答。在數(shù)據(jù)分析、編程和數(shù)學(xué)等推理能力較強(qiáng)的類別中，o1-preview的受歡迎程度遠(yuǎn)遠(yuǎn)高于GPT-4o。然而，o1-preview在某些自然語(yǔ)言任務(wù)上并不受歡迎，這表明它并不適合所有用例。
在需要更強(qiáng)大推理能力的領(lǐng)域，人們更青睞o1-preview。安全
思維鏈（CoT）推理為安全和對(duì)齊提供了新的思路。OpenAI發(fā)現(xiàn)，將模型行為策略整合到推理模型的思維鏈中，可以高效、穩(wěn)健地教導(dǎo)人類價(jià)值觀和原則。通過(guò)向模型教導(dǎo)自己的安全規(guī)則以及如何在上下文中推理它們，OpenAI發(fā)現(xiàn)推理能力直接有利于模型穩(wěn)健性的證據(jù)：o1-preview在關(guān)鍵越獄評(píng)估和用于評(píng)估模型安全拒絕邊界的最嚴(yán)格內(nèi)部基準(zhǔn)上取得了顯著的改進(jìn)。
OpenAI認(rèn)為，使用思維鏈可以為安全和對(duì)齊帶來(lái)重大進(jìn)步，因?yàn)?）它能夠以清晰的方式觀察模型思維，并且2）關(guān)于安全規(guī)則的模型推理對(duì)于分布外場(chǎng)景更具穩(wěn)健性。
為了對(duì)自己的改進(jìn)進(jìn)行壓力測(cè)試，OpenAI在部署之前根據(jù)自己的安全準(zhǔn)備框架進(jìn)行了一系列安全測(cè)試和紅隊(duì)測(cè)試。結(jié)果發(fā)現(xiàn)，思維鏈推理有助于在整個(gè)評(píng)估過(guò)程中提高能力。尤其值得注意的是，OpenAI觀察到了有趣的獎(jiǎng)勵(lì)黑客攻擊實(shí)例。
數(shù)學(xué)能力：在高中AIME數(shù)學(xué)競(jìng)賽中，o1-mini(70.0%)與o1(74.4%)不相上下，但價(jià)格卻便宜很多，并且優(yōu)于o1-preview(44.6%)。o1-mini的得分（約11/15個(gè)問(wèn)題）大約位于美國(guó)前500名高中生之列。
編碼能力：在Codeforces競(jìng)賽網(wǎng)站上，o1-mini的Elo得分為1650，與o1(1673)不相上下，并且高于o1-preview(1258)。此外，o1-mini在HumanEval編碼基準(zhǔn)和高中網(wǎng)絡(luò)安全奪旗挑戰(zhàn)(CTF)中也表現(xiàn)出色。
STEM：在一些需要推理的學(xué)術(shù)基準(zhǔn)上，例如GPQA（科學(xué)）和MATH-500，o1-mini的表現(xiàn)優(yōu)于GPT-4o。o1-mini在MMLU等任務(wù)上的表現(xiàn)則不如GPT-4o，并且由于缺乏廣泛的世界知識(shí)而在GPQA基準(zhǔn)上落后于o1-preview。
人類偏好評(píng)估：OpenAI讓人類評(píng)分員在各個(gè)領(lǐng)域具有挑戰(zhàn)性的開放式提示上比較o1-mini和GPT-4o。與o1-preview類似，在推理密集型領(lǐng)域，o1-mini比GPT-4o更受歡迎；但在以語(yǔ)言為中心的領(lǐng)域，o1-mini并不比GPT-4o更受歡迎。
在速度層面，OpenAI比較了GPT-4o、o1-mini和o1-preview對(duì)一個(gè)單詞推理問(wèn)題的回答。結(jié)果顯示，GPT-4o回答不正確，而o1-mini和o1-preview均回答正確，并且o1-mini得出答案的速度快了大約3-5倍。
如何使用OpenAIo1？
ChatGPTPlus和Team（個(gè)人付費(fèi)版與團(tuán)隊(duì)版）用戶馬上就可以在該公司的聊天機(jī)器人產(chǎn)品ChatGPT中開始使用o1模型了。你可以手動(dòng)選取使用o1-preview或o1-mini。不過(guò)，用戶的使用量有限。
目前，每位用戶每周僅能給o1-preview發(fā)送30條消息，給o1-mini發(fā)送50條消息。
是的，很少！不過(guò)OpenAI表示正在努力提升用戶的可使用次數(shù)，并讓ChatGPT能自動(dòng)針對(duì)給定提示詞選擇使用合適的模型。
至于企業(yè)版和教育版用戶，要到下周才能開始使用這兩個(gè)模型。
至于通過(guò)API訪問(wèn)的用戶，OpenAI表示達(dá)到了5級(jí)API使用量的開發(fā)者可以即刻開始使用這兩個(gè)模型開始開發(fā)應(yīng)用原型，但同樣也被限了速：20RPM。什么是5級(jí)API使用量？簡(jiǎn)單來(lái)說(shuō)，就是已經(jīng)消費(fèi)了1000美元以上并且已經(jīng)是超過(guò)1個(gè)月的付費(fèi)用戶。請(qǐng)看下圖：
OpenAI表示對(duì)這兩個(gè)模型的API調(diào)用并不包含函數(shù)調(diào)用、流式傳輸（streaming）、系統(tǒng)支持消息等功能。同樣，OpenAI表示正在努力提升這些限制。未來(lái)
OpenAI表示，未來(lái)除了模型更新之外，還將增加網(wǎng)絡(luò)瀏覽、文件和圖像上傳等功能，以讓這些模型變得更加有用。
「除了新的o1系列模型，我們計(jì)劃繼續(xù)開發(fā)和發(fā)布我們的GPT系列模型。」
參考內(nèi)容：/p>
https://openai.com/index/introducing-openai-o1-preview/
https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/
https://openai.com/index/learning-to-reason-with-llms/
https://x.com/sama/status/1834283100639297910