-
日期: 2024-03-18 | 来源: 量子位 | 有0人参与评论 | 专栏: 马斯克 | 字体: 小 中 大
密集块(密集前馈块)扩展因子为8,隐藏层大小为32768。
除了Gao,还有英伟达AI科学家Ethan He(何宜晖)指出,在专家系统的处理方面,Grok也与另一知名开源MoE模型Mixtral不同——
Grok对全部的8个专家都应用了softmax函数,然后从中选择top2专家,而Mixtral则是先选定专家再应用softmax函数。
而至于有没有更多细节,可能要看官方会不会发布进一步的消息了。
另外,值得一提的是,Grok-1采用的是Apache 2.0 license,也就是说,商用友好。
为怼OpenAI怒而Open
大家伙知道,马斯克因为OpenAI不Open,已经向旧金山高等法院提起诉讼,正式把OpenAI给告了。
不过当时马斯克自己搞的Grok也并没有开源,还只面向𝕏的付费用户开放,难免被质疑双标。
大概是为了堵上这个bug,马斯克在上周宣布:
本周,xAI将开源Grok。
虽然时间点上似乎又是马斯克一贯的迟到风格,但xAI的这波Open如今看来确实不是口嗨,还是给了网友们一些小小的震撼。- 新闻来源于其它媒体,内容不代表本站立场!
-
原文链接
原文链接:
目前还没有人发表评论, 大家都在期待您的高见