Llama 3王者归来，可与GPT-4分庭抗礼，开源模型即将追上闭源模型了？

4月18日，AI圈再迎重磅消息，Meta带着号称“有史以来最强大的开源大模型”Llama3登场了。

Meta本次开源了Llama38B与70B两款不同规模的模型，供外部开发者免费使用，未来几个月，Meta将陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新模型。其中，大版本的Llama3将有超过4000亿参数有望与Claude3“一较高下”。

与此同时，Meta首席执行官扎克伯格宣布，基于最新的Llama3模型，MetaAI助手现在已经覆盖Instagram、WhatsApp、Facebook等全系应用，并单独开启了网站，还有一个图像生成器，可根据自然语言提示词生成图片。

Llama3的出现直接对标OpenAI的GPT-4，与“并不Open”的OpenAI截然不同，在AI圈围绕开源或闭源的路线争论不休之时，Meta坚定沿着开源路线朝AGI的圣杯发起了冲锋，为开源模型扳回一局。

知情人士透露，研究人员尚未开始对Llama3进行微调，还未决定Llama3是否将是多模态模型。有消息称，正式版的Llama3将会在今年7月正式推出。

MetaAI首席科学家、图灵奖得主YannLeCun一边为Llama3的发布“摇旗呐喊”，一边预告未来几个月将推出更多版本，称Llama38B和Llama370B是目前同体量下，性能最好的开源模型。llama38B在某些测试集上性能比llama270B还要强。

就连马斯克也现身于该评论区，一句简洁的“Notbad”表达了对Llama3的认可和期待。

英伟达高级科学家JimFan认为，Llama3的推出已经脱离了技术层面的进步，更是开源模型与顶尖闭源模型可分庭抗礼的象征。

从JimFan分享的基准测试可以看出，Llama3400B的实力几乎媲美Claude“超大杯”以及新版GPT-4Turbo，将成为“分水岭”，相信它将释放巨大的研究潜力，推动整个生态系统的发展，开源社区或将能用上GPT-4级别的模型。

公布当天恰逢斯坦福大学教授，AI顶尖专家吴恩达的生日，吴恩达直言，Llama3的发布是自己这辈子收到过的最好的礼物，谢谢你Meta！

OpenAI创始成员之一、特斯拉前AI总监AndrejKarpathy也对Llama3表达了赞许。作为大语言模型领域的先驱之一，Karpathy认为Llama3的性能已接近GPT-4的水平：

Llama3是Meta发布的看起来非常强大的模型。坚持基本原则，在可靠的系统和数据工作上花费大量高质量时间，探索长期训练模型的极限。我也对400B模型非常兴奋，它可能是第一个GPT-4级别的开源模型。我想很多人会要求更长的上下文长度。

我希望能有比8B更小参数，理想规模在0.1B到1B左右的模型，用于教育工作、(单元)测试、嵌入式应用等。

Rebuy公司AI总监、深度学习领域的博士CameronR.Wolfe认为，Llama3证明了训练优秀大语言模型的关键在于数据质量。他详细分析了Llama3在数据方面做出的努力，包括：

1）15万亿个token的预训练数据:比Llama2多7倍，比DBRX的12万亿个还要多；

2）更多代码数据:预训练过程中包含更多代码数据，提升了模型的推理能力；

3）更高效的tokenizer:拥有更大的词汇表（128Ktokens），提高了模型的效率和性能。

在Llama3发布后，小扎向媒体表示，“我们的目标不是与开源模型竞争，而是要超过所有人，打造最领先的人工智能。”未来，Meta团队将会公布Llama3的技术报告，披露模型更多的细节。

这场关于开源与闭源的辩论还远未结束，暗中蓄势待发的GPT-4.5/5也许会在今年夏天到来，AI领域的大模型之战还在上演。