-
日期: 2023-02-10 | 來源: 紅博士說 | 有0人參與評論 | 字體: 小 中 大
目錄：
1.ChatGPT 編年史
2.我們如何錯過GPT盛宴
3.GPT大語言模型能實現AGI嗎
ChatGPT編年史
我們來梳理壹個時間軸。ChatGPT是對話式UI + GPT–3.5系列模型，我們以最具代表性的論文、模型、API為主線，梳理到今天。
2020之前
2017年6月，Google發布Transformer論文。
2017年6月，7月，OpenAI發布人類喜好的強化學習算法、PPO算法，都是ChatGPT用到的算法。
2018年6月，OpenAI發布GPT-1.
2018年11月，Google發布BERT，此後NLP領域主要基於這個框架研究下游任務。
2019年2月，OpenAI發布GPT-2，OpenAI獲得了自信，此後專注於GPT.
2020年
年初，Covid-19爆發。中國閉關。
1月，OpenAI發布語言模型的Scaling Law（概念：模型能力跟參數規模、數據規模強相關），OpenAI獲得了在數據和參數規模上Scaling-up的信心。
5月，GPT-3論文發布。
6月，GPT-3 API發布。
9月，ChatGPT的關鍵原型算法相關論文發布。
12月，歐洲機構發布用於GPT-3復現的開源數據集。
2021年
7月，OpenAI發布Copilot原型算法。
8月，Codex API發布。
11月，GPT-3 API Public Release，不對中國開放。
中國閉關。
2022年
1月，GPT-3.5 API (text-davinci-002)發布，該模型經過Github代碼的訓練加持，推理能力顯著提升（該假設的因果關系待學術界論證），經過Alignment技術的加持，Follow人類指令的能力顯著提升，輸出結果有用性和無害性顯著提升。
3月，GPT-3.5論文發布，公開Alignment算法。
5月，OpenAI Codex已經被70個應用使用，包括微軟收購的Github的Copilot.
8月，Stability AI開源StableDiffusion，文生圖的算法的效果可用、速度可行、代碼開源同時發生，引爆圖片生成。壹時間，在中國，AIGC似乎就是圖片生成的代名詞。
9月，Sequoia Capital發布Generative AI: A Creative New World博客。
中國研究人員和開發者，沒有OpenAI的API權限。但圖片生成卻人人都可以嘗試，於是互聯網似乎只注意到了圖片生成，對GPT大語言模型的關注度進壹步下降。
經過接近壹年的API接入和UI探索、近壹年的思維鏈（Chain of Thought）等Prompt Engineering技術試錯、模型加速等技術（如Flash Attention、Fixed-Point）帶來的成本和延遲下降，GPT-3.5的模型潛力得到開發（變得Better、Faster and Cheaper）, Copy.ai, Jasper等文本生成類公司的產品逐漸成熟。- 新聞來源於其它媒體，內容不代表本站立場！
-
原文鏈接
原文鏈接:
目前還沒有人發表評論, 大家都在期待您的高見