Meta 推出了Llama 3介绍视频，有几个细节值得分享给大家‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍Llama 3模型本体 Llama 3 训练数据（15万亿token）是Llama 2的7倍，微调数据（1000条万人类标注）是Ll...

Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不...

“我个人之所以做这个事情（创办零一万物），是因为这是我40多年的梦想，我在写博士申请信时就提到，AGI是我的梦想，今天，我有了实现这个梦想的机会，而这也是推动我努力的主要动力”。 5月13...

上周，比尔·盖茨在他的官方博客上发布长文，表示五年内每个人都将拥有AI私人助理Agent——无论你是否在办公室工作，并称“它们将彻底改变我们的生活方式”。比尔·盖茨提到的AI私人助理，能响...

“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？Meta AI法国团队推出“基于多token预测的更快&更好大模型”。打开网易新闻 查看更多图片 多token预测模型，在...

 IBM和Meta共同发起了一个大规模的产学研政府联盟，以引导人工智能的发展。新组织将在AI联盟的旗帜下联合起来，以促进人工智能领域负责任的创新。从历史上看，技术联盟的出现和消失往往取决于...

 今天，小扎正式宣战「开源AGI」！下一代大模型Llama 3正在训练，年底将拥有35万块H100，届时算力总和达60万块H100。为了追赶OpenAI，成立十年的FAIR团队纳入GenAI，全力奔赴AGI。自Llama2、Co...

 去年11月，在OpenAI发布由GPT-3提供支持的ChatGPT之后，AGI（通用人工智能）的历史齿轮自此转动。业内一时热度空前，随后GPT-4、谷歌的Bard、Meta的Llama等大模型相继问世，展现出AGI的无限潜...

 日前，英伟达方面联合Hugging Face、ServiceNow发布了AI编程开放大模型StarCoder2系列，其采用了BigCode Open RAIL-M许可证，可允许免版税访问和使用。据了解，该系列模型包括一个由ServiceNo...

马斯克说到做到开源Grok-1，开源社区一片狂喜。但基于Grok-1做改动or商用，都还有点难题：Grok-1使用Rust+JAX构建，对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。打开网...