备份一下前段时间在开源大语言模型 (LLM) 圈子里掀起巨浪的法国初创公司 Mistral AI 发布的顶级 MoE (混合专家) 模型。
当时他们也是非常朋克，没有任何预热，直接在推特上丢了一个包含模型权重的磁力链接 BT 种子。
1. Mixtral 8x22B (最新巨兽) 性能逼近甚至超越 GPT-4 早期版本的超级开源模型：
2. Mixtral 8x7B (32k seqlen) 当时杀穿整个中型模型榜单、性价比极其逆天的经典 8x7B 架构模型，支持 32K 上下文窗口：
有足够算力或者多显卡炼丹炉的朋友，可以自己拉取 BT 下载部署把玩。