Meta 发布全球最大开源模型Llama 3.1 405B

要点总结：

•  

  最大的模型 Llama 3.1 405B 也会开源。马克·扎克伯格发布公开信，详细了解开源为何对开发者、对 Meta 和对世界都有好处。

   

•  

  最新模型将上下文长度扩展到 128K、增加了对八种语言的支持。

   

•  

  Llama 3.1 405B 在15项测试中只拿了7个第一，表现似乎没有预期的高

   

•  

  Meta 将继续通过提供更多与模型配合使用的组件（包括参考系统）来将 Llama 打造为一个系统，为开发人员提供工具，让他们能够创建自己的自定义代理和新型代理行为。Meta 正在通过新的安全工具（包括 Llama Guard 3 和 Prompt Guard）来支持这一目标。Meta 还发布了对 Llama Stack API 的评论请求，这是一个标准接口，能让第三方项目更轻松地利用 Llama 模型。

   

•  

  Llama生态系统第一天有超过 25 个合作伙伴提供服务，包括 AWS、NVIDIA、Databricks、Groq、Dell、Azure 和 Google Cloud。

   

•  

  用户可通过 WhatsApp 和meta.ai在美国尝试 Llama 3.1 405B，提出具有挑战性的数学或编码问题。

   

到目前为止，开源大型语言模型在功能和性能方面大多落后于封闭式模型。但现在，我们可能正在迎来一个由开源引领的新时代。

刚刚，Meta 公开发布了 Meta Llama 3.1 405B，这应该是世界上最大、功能最强大的开源基础模型。Meta 表示，迄今为止，所有 Llama 版本的总下载量已超过 3 亿次。

Llama 3.1全部开源

Llama 3.1 405B 是第一个公开可用的模型，在常识、可操纵性、数学、工具使用和多语言翻译等先进功能方面可与顶级 AI 模型相媲美。最新一代的 Llama 将激发新的应用程序和建模范例，包括合成数据生成，以便改进和训练较小的模型，以及模型提炼，这是开源中从未如此大规模实现的功能。

作为最新版本的一部分，Meta 推出了 8B 和 70B 模型的升级版本（3.1版本）。这些模型支持多种语言，上下文长度显著增加到 128K，使用最先进的工具，推理能力也更强。这使得最新模型能够支持高级用例，例如长篇文本摘要、多语言对话代理和编码助手。

Meta 还对许可证进行了更改，允许开发人员使用 Llama 模型（包括 405B）的输出来改进其他模型。为了履行对开源的承诺，从今天开始，Meta 将这些模型提供给社区，供其在llama.meta.com和Hugging Face上下载，并可在 Meta 广泛的合作伙伴平台生态系统上立即开发。

模型评估：15项测试只拿了七个第一？

Meta 在 150 多个涵盖多种语言的基准数据集上评估了新模型的性能。此外，还进行了广泛的人工评估，在真实场景中将 Llama 3.1 与竞争模型进行了比较。

Meta 表示，其旗舰模型在一系列任务中与领先的基础模型相媲美，包括 GPT-4、GPT-4o 和 Claude 3.5 Sonnet。

但是，仔细看就会发现，Llama 3.1 405B并没有实现“遥遥领先”。在给出的14个评测数据集中，Llama 3.1 405B仅在七个维度表现第一，Claude 3.5 Sonnet在六个维度取得第一，GPT-4与GPT-4o mini在四个维度取得第一。

这么看来，Claude 3.5 Sonnet的确很强啊！

打开网易新闻 查看更多图片

在小模型领域，Llama 3.1 8B 与 70B 倒是取得了不错的成绩，与具有相似数量参数的封闭和开放模型相比几乎遥遥领先。

打开网易新闻 查看更多图片

打开网易新闻 查看更多图片

模型架构

作为 Meta 迄今为止最大的模型，Llama 3.1 405B 在超过 15 万亿个 token 上训练。为了能够以这种规模进行训练并在合理的时间内取得成果，Meta 显著优化了整个训练堆栈，并将模型训练推向超过 16,000 个 H100 GPU，使 405B 成为第一个以这种规模训练的 Llama 模型。

打开网易新闻 查看更多图片

为了解决这个问题，Meta 做出了设计选择，重点关注保持模型开发过程的可扩展性和简单性。

•  

  选择了标准的仅解码器的变压器模型架构，并进行了细微的改动，而不是混合专家模型，以最大限度地提高训练稳定性。

   

•  

  采用了迭代式后训练程序，每轮都使用监督式微调和直接偏好优化。这使得能够为每一轮创建最高质量的合成数据，并提高每项功能的性能。

   

与之前的 Llama 版本相比，Meta 提高了用于训练前和训练后的数据的数量和质量。这些改进包括为训练前数据开发更仔细的预处理和管理流程、开发更严格的质量保证以及训练后数据的过滤方法。

正如语言模型的缩放定律所预期的那样，新旗舰模型比使用相同程序训练的小型模型表现更好。Meta 还使用 405B 参数模型来提高小型模型的训练后质量。

为了支持 405B 规模模型的大规模生产推理，Meta 将模型从 16 位 (BF16) 量化为 8 位 (FP8) 数字，有效降低了所需的计算要求并允许模型在单个服务器节点内运行。

指令和聊天微调

借助 Llama 3.1 405B，Meta 努力提高模型对用户指令的响应能力、质量和详细指令遵循能力，同时确保高水平的安全性。Meta 表示面临的最大挑战是支持更多功能、128K 上下文窗口和更大的模型大小。

在后期训练中，通过在预训练模型的基础上进行几轮对齐来生成最终的聊天模型。每轮都涉及监督微调 (SFT)、拒绝抽样 (RS) 和直接偏好优化 (DPO)。使用合成数据生成来生成绝大多数 SFT 示例，并进行多次迭代以生成涵盖所有功能的越来越高质量的合成数据。此外，Meta 投资了多种数据处理技术，以将这些合成数据过滤到最高质量。这使得能够跨功能扩展微调数据量。

Meta 仔细平衡数据，以生成在所有功能上都具有高质量模型。例如，即使扩展到 128K 上下文，模型在短上下文基准上也能保持质量。同样，即使添加了安全缓解措施，模型仍能继续提供最有帮助的答案。

LLama 系统

Llama 模型始终旨在作为整体系统的一部分，该系统可以协调多个组件，包括调用外部工具。Meta 的愿景是超越基础模型，让开发人员能够访问更广泛的系统，让他们能够灵活地设计和创建符合他们愿景的定制产品。这种想法始于去年，当时首次引入了核心 LLM 之外的组件。

为了持续致力于在模型层之外负责任地开发 AI 并帮助其他人也这样做，Meta 发布了一个完整的参考系统，其中包括几个示例应用程序，并包括新组件，例如Llama Guard 3（多语言安全模型）和 Prompt Guard（即时注入过滤器）。这些示例应用程序是开源的，社区可以在此基础上进行构建。

Llama System 愿景中的组件实现仍然很分散。因此 Meta 开始与行业、初创公司和更广泛的社区合作，以帮助更好地定义这些组件的接口。为了支持这一点，Meta 在 GitHub 上发布了称之为“Llama Stack”的评论请求。Llama Stack 是一组标准化和有主见的接口，用于如何构建规范的工具链组件（微调、合成数据生成）和代理应用程序。Meta 希望这些接口能够在整个生态系统中得到采用，这将有助于更轻松地实现互操作性。

开放驱动创新

与封闭模型不同，Llama 模型权重可供下载。开发人员可以根据自己的需求和应用完全自定义模型，在新数据集上进行训练，并进行额外的微调。这使更广泛的开发人员社区和世界能够更充分地认识到生成式 AI 的强大功能。开发人员可以完全自定义其应用程序，并在任何环境中运行，包括本地、云端，甚至本地笔记本电脑上 – 所有这些都无需与 Meta 共享数据。

尽管许多人可能认为封闭模型更具成本效益，但根据人工智能分析的测试，Llama 模型的每代币成本是业内最低的。正如马克·扎克伯格所说，开源将确保全世界更多的人能够享受人工智能的好处和机会，权力不会集中在少数人手中，并且该技术可以更均匀、更安全地在整个社会中部署。这就是为什么 Meta 继续采取措施，让开放式人工智能成为行业标准。

Meta 表示社区利用过去的 Llama 模型构建了令人惊叹的东西，包括使用 Llama 构建并部署在 WhatsApp 和 Messenger 中的AI 学习伙伴、专为医疗领域量身定制的 LLM，旨在帮助指导临床决策，以及巴西的一家医疗保健非营利初创公司，它使医疗保健系统能够更轻松地以数据安全的方式组织和传达患者的住院信息。

使用 Llama 3.1 405B 进行构建

对于普通开发者来说，使用 405B 规模的模型是一项挑战。虽然这是一个非常强大的模型，但 Meta 认识到，使用它需要大量的计算资源和专业知识。Meta 与社区进行了交流，Meta 意识到生成式 AI 开发不仅仅是提示模型。希望让每个人都能充分利用 405B，包括：

•  

  实时和批量推理

   

•  

  监督微调

   

•  

  针对您的特定应用评估您的模型

   

•  

  持续预训练

   

•  

  检索增强生成 (RAG)

   

•  

  函数调用

   

•  

  合成数据生成

   

这正是 Llama 生态系统可以提供帮助的地方。在第一天，开发人员就可以利用 405B 模型的所有高级功能并立即开始构建。开发人员还可以探索高级工作流程，例如易于使用的合成数据生成、遵循模型提炼的交钥匙指示以及使用 AWS、NVIDIA 和 Databricks 等合作伙伴的解决方案实现无缝 RAG。此外，Groq 针对云部署优化了低延迟推理，而戴尔也针对本地系统实现了类似的优化。

打开网易新闻 查看更多图片

Meta 与 vLLM、TensorRT 和 PyTorch 等主要社区项目合作，从第一天开始提供支持，以确保社区为生产部署做好准备。

Meta 希望 405B 的发布也能激发整个社区的创新，使这种规模的模型的推理和微调变得更容易，并推动模型提炼的下一波研究。

立即试用 Llama 3.1 系列模型

使用多语言性和增加的上下文长度，可以构建有用的新体验，潜力巨大。

在发布模型之前，Meta 会通过多种措施来识别、评估和减轻潜在风险，包括通过红队进行部署前风险发现练习以及安全微调。例如，Meta 与外部和内部专家进行了广泛的红队测试，以对模型进行压力测试并找到可能使用它们的意外方式。

虽然这是 Meta 迄今为止最大的模型，但相信未来仍有许多新的领域值得探索，包括更多设备友好的尺寸、更多模式以及在代理平台层的更多投资。与往常一样，Meta 期待看到社区将利用这些模型构建的所有令人惊叹的产品和体验。

这项工作得到了整个 AI 社区合作伙伴的支持。包括：埃森哲、亚马逊网络服务、AMD、Anyscale、CloudFlare、Databricks、戴尔、德勤、Fireworks.ai、谷歌云、Groq、Hugging Face、IBM WatsonX、Infosys、英特尔、Kaggle、微软 Azure、NVIDIA DGX Cloud、OctoAI、甲骨文云、普华永道、Replicate、Sarvam AI、Scale.AI、SNCF、Snowflake、Together AI 和加州大学伯克利分校 – vLLM 项目。