Grok-1
AI
Grok-1

x.AI宣布开源其大语言模型Grok-1的权重和架构。Grok-1是一个拥有3140亿参数的专家混合模型,由xAI从头开始训练。

广告在这里,请联系

模型由8个专家组成,实际激活的参数数量为86B。模型使用了旋转位置嵌入,词汇量达到131,072,与GPT-4相似。

模型包含64个Transformer层,每层包括多头注意力块和密集块。模型的上下文长度为8,192个令牌,采用bf16计算精度,并提到了对权重使用8位量化。

模型未针对任何特定应用程序(如对话)进行微调。

相关导航