-
日期: 2026-07-05 | 來源: 新智元 | 有5人參與評論 | 字體: 小 中 大
DeepMind研究員深夜爆料：OpenAI的Scaling Law原始論文竟有致命bug！全球AI白白燒掉萬億算力，GPT-3其實嚴重「虛胖」。
OpenAI誤導了整個AI圈好幾年！
過去伍年，整個AI行業都被Scaling Law推著往前沖。
奧特曼堅信AGI的底氣就來自這條曲線。
現在，有人站出來說：這條曲線，壹開始就錯了。
不是事後諸葛。說這話的，是當年就在OpenAI做大模型優化的研究員Diogo Almeida。
剛剛，他發出壹篇博客，標題冷得發指——《Scaling Laws, Honestly》。
開頭壹句直接把話說死：最初那版scaling law是錯的，因為存在壹個bug。
傳送門：https://www.completeskeptic.com/p/scaling-laws-honestly
DeepMind那位以擴散模型封神的Sander Dieleman，轉頭就在推特上把它頂了上去，說這是壹段有意思的LLM往事：
原始scaling law因為壹個bug而錯了，大概率害得業界在壹堆「體量過大、訓練不足」的模型上，白白燒掉了海量算力。
壹個bug，燒掉兩年。
當bug被撕開，我們看到的，不僅是算力的黑洞，更是壹條被語言本身重塑的、遠比想象中更深刻的智能邊界。
Scaling Law竟是LLM版「地心說」
2020年，OpenAI給出結論：在固定的算力預算下，你應該優先把模型做大，而不是拿更多數據去喂它。
用公式說，最優參數量正比於算力的0.73次方——參數，是那個更該猛沖的變量。- 新聞來源於其它媒體，內容不代表本站立場！
-
原文鏈接
原文鏈接: