-
日期: 2024-03-18 | 来源: 量子位 | 有0人参与评论 | 专栏: 马斯克 | 字体: 小 中 大
马斯克说到做到旗下大模型Grok现已开源！
代码和模型权重已上线GitHub。官方信息显示，此次开源的Grok-1是一个3140亿参数的混合专家模型——就是说，这是当前开源模型中参数量最大的一个。
消息一出，Grok-1的GitHub仓库已揽获4.5k标星，并且还在库库猛涨。
表情包们，第一时间被吃瓜群众们热传了起来。
而ChatGPT本Chat，也现身Grok评论区，开始了和马斯克新一天的斗嘴……
那么，话不多说，来看看马斯克这波为怼OpenAI，究竟拿出了什么真东西。
Grok-1说开源就开源
此次开源，xAI发布了Grok-1的基本模型权重和网络架构。
具体来说是2023年10月预训练阶段的原始基础模型，没有针对任何特定应用（例如对话）进行微调。
结构上，Grok-1采用了混合专家（MoE）架构，包含8个专家，总参数量为314B（3140亿），处理Token时，其中的两个专家会被激活，激活参数量为86B。
而ChatGPT本Chat，也现身Grok评论区，开始了和马斯克新一天的斗嘴……
单看这激活的参数量，就已经超过了密集模型Llama 2的70B，对于MoE架构来说，这样的参数量称之为庞然大物也毫不为过。
- 新闻来源于其它媒体，内容不代表本站立场！
-
原文链接
原文链接: http://www.vancouverren.com/pda/
目前还没有人发表评论, 大家都在期待您的高见