继此前在今年4月，Meta方面发布并开源大模型Llama 3 8B、Llama 3 70B，并号称这是“目前最强开源大模型”，以及透露Llama 3系列还有一个参数量达400B的版本正在训练中，将于训练完成后正式发布后。近日有消息源透露，4050亿参数版Meta Llama 3或将于7月23日正式发布。

相关消息源还指出，4050亿参数版Meta Llama 3将是一款多模态模型，这意味着它将能够理解和生成图像和文本，但其并未透露Meta方面是否会开源该模型。

而对于上述消息，Meta方面拒绝置评。

据Meta方面此前公布的相关信息显示，Llama 3支持8K上下文长度、是Llama 2的两倍，其在两个定制的24K GPU集群上基于超过15T token进行训练，数据集大小相当于Llama 2数据集的7倍还多，代码量则是Llama 2的4倍。同时Meta方面透露，Llama 3预训练数据集中有超过5%的部分为高质量的非英语数据、涵盖超过30多种语言，而加入这部分数据的目的在于更好地满足不同语言背景用户的使用需求。

而8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的的预训练Llama 3多种性能测评也优于Mistral、Gemma、Gemini和Mixtral。

需要注意的是，此前在今年早些时候Meta方面曾宣布，为了提供更好的服务，将更新隐私政策以及使用用户公开数据训练AI模型及相关产品，但近来该公司这一举措已相继在欧美、巴西等地遭遇监管压力。

以巴西为例，本月初巴西国家数据保护局（以下简称为ANPD）方面发布了一项“预防性措施”，禁止Meta利用旗下Facebook、Instagram、WhatsApp等产品的用户数据训练AI模型。对此ANPD方面表示，Meta此举将可能导致“受影响数据主体的基本权利面临蒙受严重且不可弥补或难以弥补损失的风险”。

对此Meta方面回应称，对该禁令感到失望，并坚称相关举措 '符合当地法律法规'，以及将继续与ANPD合作解决其担忧。Meta方面表示，“AI训练并不是我们服务的独特之处，我们比许多行业同行更透明，他们一直在使用公共内容来训练他们的模型和产品”，以及“对于AI开发领域的创新和竞争而言，该禁令是一种倒退，也进一步推迟了使用AI为巴西用户提供更好服务的进程”。

【以上内容转自“三易生活网”，不代表本网站观点。如需转载请取得三易生活网许可，如有侵权请联系删除。】

延伸阅读：

• Meta启动最后一轮裁员，预计约6000名员工受影响
• The Verge：Meta计划2024年发布兼容“神经腕带”的AR智能眼镜

未经允许不得转载：零时古怪 - 中国第一时事资讯综合门户 » Meta或将于本月内发布4050亿参数版本Llama 3