在人工智能領域，模型參數規模一直是衡量模型能力的重要指標。最近，英特爾發布了一款名為Aurora genAI的AI大模型，該模型具備驚人的1萬億參數，是目前領先的AI模型之一。然而，是否越大的參數就意味著越好的性能呢？本文將探討模型參數規模與實際表現之間的關系。



一、英特爾公布AI大模型Aurora genAI，具備1萬億參數

近日，英特爾公布了其旗下生成式AI大模型Aurora genAI。據報道，Aurora genAI的參數量高達1萬億，該模型的開發依賴于Megatron和DeepSpeed框架，這些結構增強了模型的強度和容量。與此相比，ChatGPT模型的參數量為1750億，這意味著Aurora genAI的參數量是ChatGPT的近6倍。

Aurora genAI模型是由英特爾與阿貢國家實驗室和HPE合作開發的，它是一個以科學為中心的生成式AI模型，將應用于各類科學應用，包括分子和材料設計，甚至涵蓋數百萬來源的綜合知識素材，為系統生物學、高分子化學、能源材料、氣候科學和宇宙學等領域提供值得探索的實驗設計思路。這些模型還將用于加速癌癥及其他疾病相關生物過程的識別速度，并為藥物設計提供靶點建議。

除了科研應用，Aurora genAI還具有在自然語言處理、機器翻譯、圖像識別、語音識別、金融建模等商業領域的潛在應用價值。阿貢實驗室副主任Rick Stevens介紹說：“這個項目希望充分利用Aurora超級計算機的全部潛力，為能源部各實驗室的下游科學研究和其他跨機構合作計劃提供資源。”

據介紹，Aurora genAI模型將通過對生物學、化學、材料科學、物理學、醫學等學科的常規文本、代碼、科學文本和結構化數據進行訓練而得。阿貢實驗室正在組織國際合作推進該項目，參與方包括英特爾、HPE、能源部各下轄實驗室、美國及其他國際高校、非營利組織以及RIKEN等國際合作伙伴。

Aurora genAI模型將在英特爾為阿貢國家實驗室開發的Aurora超算上運行，其性能達到了200億億次，是當前TOP500超算冠軍Frontier的2倍。最近，英特爾和阿貢國家實驗室還公布了Aurora的安裝進度、系統規格和早期性能測試結果：

英特爾已完成Aurora超級計算機1萬多塊刀片服務器的交付。

Aurora的完整系統采用HPE Cray EX超算架構，將擁有63744個GPU和21248個CPU，輔以1024個DAOS存儲Node。Aurora還將配備HPE Slingshot高性能以太網絡。

早期性能結果顯示，Aurora超算系統在實際科學和工程負載上具有領先性能，性能表現比AMD MI250 GPU高出2倍，在QMCPACK量子力學應用程序上的性能提高了20%，并且能夠在數百個Node上保持近線性的算力擴展。作為ChaGPT的有力競爭者，Aurora genAI的公布預示著AI大模型賽道又迎來了新的重磅玩家，并有可能在未來對各種科學領域產生重大影響。然而，目前Aurora genAI更像是處于概念階段，英特爾的目標是到2024年完成Aurora genAI模型的構建。

對于英特爾的萬億參數AI大模型Aurora genAI，一些網友表示：“我不相信僅僅增加參數數量就能改進模型，我認為我們不應該發布新聞稿追逐增加參數數量。我在研究中還發現，較大的模型通常不會表現得更好，但由于不負責任的營銷，這變得越來越難以向非技術人員解釋。如果我們對這些營銷放任不管，我們會讓很多人失望，并降低大家對AI未來增長潛力的信心——我們不想要另一個AI寒冬。訓練這些大型模型會產生巨大的環境成本，而且理解、使用和控制這些非常大的模型（即使作為研究人員）也變得更加困難。”

近幾年，隨著AI大模型賽道的持續升溫，越來越多的科技巨頭加入其中，并不斷打破參數規模的記錄。

2021年1月，谷歌大腦團隊推出了超級語言模型Switch Transformer，該模型擁有1.6萬億個參數，當時是規模最大的自然語言處理模型。同年6月，智源研究院發布了悟道2.0，該系統的參數數量已超過1.75萬億，是當時全球最大的大規模智能模型系統。同年11月，阿里達摩院發布了多模態大模型M6，其參數數量從萬億級躍升至10萬億，成為當時全球最大的AI預訓練模型。

有分析指出，中美之間的AI軍備競賽的核心戰場正在逐漸轉向萬億級參數的預訓練模型。構建千萬億參數規模的預訓練模型是一個超級工程，可能對國家甚至人類社會產生重大影響。

模型參數越大是否就意味著越好呢？

判斷一個大模型是否優秀不能僅僅看參數的大小，還需要考慮實際表現。只有當模型在任務上表現良好時，我們才能認為這是一個好模型。參數不是問題，當機器的存儲和計算能力足夠強大時，大模型也可以轉化為小模型。此外，還需要考慮模型的可解釋性以及對噪聲攻擊的容忍度。如果模型具有一定的解釋能力，并且不容易受到噪聲數據或其他因素的干擾，那么這也是一個好模型。

總而言之，隨著技術的不斷發展，AI大模型的參數規模不斷刷新紀錄，引發了關于參數大小與性能之間的辯論。雖然大模型在某些任務上表現出色，但參數規模并不是唯一的衡量指標。我們應該更加注重模型的實際表現、可解釋性和魯棒性，以確保其在實際應用中的效果。通過不斷探索和研究，我們將能夠更好地理解模型參數與性能之間的關系，推動人工智能技術的發展和應用。