-
日期: 2024-06-12 | 來源: 騰訊科技 | 有0人參與評論 | 字體: 小 中 大
主持人：我們把話題轉向貴公司正在研發的下壹代模型的後續進展。在它進行訓練的過程中，你認為我們將看到怎樣程度的提升？我們是否會經歷線性增長，還是會迎來指數增長的顯著飛躍，或者是否會有令人震驚的指數級提升？
奧特曼：這是壹個極具洞察力的問題。我們並不認為我們正處於任何指數增長的臨界點。然而，這是壹個在全球范圍內廣泛討論的話題。對我們而言，最好的策略是展示成果而非僅僅預言。眾多人士正在提出各種預測，而我們的策略是致力於進行盡可能深入的研究，並隨後決定如何負責任地發布我們所能創造的成果。我預期在某些領域將實現巨大的進步，在其他壹些領域可能提升並不如預期顯著，這與我們之前每次模型更新時的情況相似。當我們從3.0版本升級到3.5版本，再到4.0版本時，關於是否真的會有顯著改進，將在哪些方面改進，都存在許多討論。答案似乎是，我們仍然有很大的發展空間，我預計我們會在壹些人們未曾預料到的領域取得進展。
02 人工智能的可解釋性與安全性
主持人：現在網絡中充斥著大量由其他大語言模型生成的合成數據，而這將是OpenAI首次在很大程度上使用合成數據來訓練模型。你對使用這些由大語言模型創建的數據來訓練大語言模型，可能引發的系統出錯問題有多擔憂？
奧特曼：我認為關鍵在於獲取高質量的數據。無論是合成數據還是人類生成的數據，都存在質量良莠不齊的問題。只要我們能夠收集到足夠高質量的數據來訓練模型，或者能夠開發出提高數據效率的方法，從較少的數據量中學習更多，或者采用其他各種技術手段，我認為這個問題是可以解決的。我們有信心，我們擁有為開發下壹代模型所需的壹切資源。
主持人：OpenAI是否為了訓練模型而創建了大量的合成數據？OpenAI是否自行生成了用於訓練的數據？
奧特曼：我們自然已經進行了各種實驗，包括大量生成合成數據。我期望的是，如果訓練模型的最佳途徑僅僅是創造數以萬億計的合成數據Tokens並將其重新輸入系統，那顯得非常不合常理。你可能會認為，這種方法在某種程度上顯得效率不高，應該存在壹種機制，讓模型在訓練過程中能夠更有效地從數據中學習。我認為我們還有許多問題需要解決，但當然，我們已經生成了大量合成數據，用以進行訓練方面的實驗。然而，我認為你提問的核心是如何實現用更少的數據獲得更多的學習成果。
主持人：這確實引人入勝，我之前並不知情。讓我們探討壹個關鍵議題，我認為這將決定這些技術如何在世界范圍內應用。去年，我有幸與Stripe的創始人帕特裡克·科裡森（Patrick Collison）進行了壹次精彩的對話。他當時提出了壹個深刻的問題：在人工智能領域，如果有某些變化，是否會讓人類對人工智能可能給世界帶來的巨大負面影響的擔憂大為減少？
你曾經說，如果我們能夠深入理解背後真正發生的事情、能夠洞察單個神經元的活動，就像你希望人工智能模型能夠傳授某人化學知識，但不希望它教授如何制造化學武器壹樣，你期望這種控制能力是內嵌在模型的核心，而不僅僅是界面層。這樣的理解是否正確？這個問題是否已經得到解決？
奧特曼：我認為，確保安全性需要壹種全面的方法，而模型的可解釋性顯然是壹個值得探究的領域，它可能在多個層面上發揮作用。盡管我們尚未解決可解釋性問題，但我對正在發生的許多事情感到非常興奮，盡管這還沒有達到我可以宣布“大家可以放心，我們已經完全理解了”的地步。在我看來，我們對這些模型內部運作的理解越深入，我們就越能做出更好的決策。我相信，這可以成為我們構建和驗證安全性聲明的綜合性方案的壹部分。
主持人：如果你不完全理解正在發生的事情，這是否成為不繼續推出更新、更強大模型的理由？
奧特曼：盡管我們無法在單個神經元層面上完全理解大腦的運作，但我們確信它能夠遵循規則。除了在神經元層面的深入理解之外，還有許多其他方式可以幫助我們理解整個系統。這些系統的特質和行為已經被非常精確地界定。事實上，包括我自己在內的許多領域內的專家都對這壹點感到驚訝：在新技術發展的歷程中，我們能夠如此迅速地讓這些系統被普遍認為既安全又穩定。
主持人：我的妻子坦言，她有時難以完全理解我內心深處的思考過程，看來我們在這方面有著共鳴。在探究這種無法深刻理解的問題上，我們取得了哪些進展，或者是否有什麼真正的突破？- 新聞來源於其它媒體，內容不代表本站立場！
-
原文鏈接
原文鏈接:
目前還沒有人發表評論, 大家都在期待您的高見