-
日期: 2024-03-18 | 來源: 量子位 | 有0人參與評論 | 專欄: 馬斯克 | 字體: 小 中 大
馬斯克說到做到旗下大模型Grok現已開源！
代碼和模型權重已上線GitHub。官方信息顯示，此次開源的Grok-1是壹個3140億參數的混合專家模型——就是說，這是當前開源模型中參數量最大的壹個。
消息壹出，Grok-1的GitHub倉庫已攬獲4.5k標星，並且還在庫庫猛漲。
表情包們，第壹時間被吃瓜群眾們熱傳了起來。
而ChatGPT本Chat，也現身Grok評論區，開始了和馬斯克新壹天的斗嘴……
那麼，話不多說，來看看馬斯克這波為懟OpenAI，究竟拿出了什麼真東西。
Grok-1說開源就開源
此次開源，xAI發布了Grok-1的基本模型權重和網絡架構。
具體來說是2023年10月預訓練階段的原始基礎模型，沒有針對任何特定應用（例如對話）進行微調。
結構上，Grok-1采用了混合專家（MoE）架構，包含8個專家，總參數量為314B（3140億），處理Token時，其中的兩個專家會被激活，激活參數量為86B。
而ChatGPT本Chat，也現身Grok評論區，開始了和馬斯克新壹天的斗嘴……
單看這激活的參數量，就已經超過了密集模型Llama 2的70B，對於MoE架構來說，這樣的參數量稱之為龐然大物也毫不為過。
- 新聞來源於其它媒體，內容不代表本站立場！
-
原文鏈接
原文鏈接:
目前還沒有人發表評論, 大家都在期待您的高見