4月19日，Facebook母公司Meta重磅推出了Llama3。即便大家现在对于大厂和巨头频繁迭代AI模型的行为已经见怪不怪，Meta的Llama3仍旧显得与众不同，因为这是迄今最强大的开源AI模型。Meta推出了重...

Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不...

徒手用 1000 行 C 语言实现，不依赖庞大的外部库，Mac 即可运行。如今这年头，徒手写神经网络代码已经不算事儿了，现在流行手搓大模型训练代码了！这不，今天，特斯拉前 AI 总监、OpenAI 创始团...

 就在最近，国产大模型Kimi再次引爆了舆论。3月18日，月之暗面宣布其对话式AI助手产品Kimi智能助手现已支持200万字的无损上下文输入。这个差异化的“长文本处理”的免费大模型，一下子就火出了...

OpenAI的秘密武器、ChatGPT背后功臣RLHF，被开源了。来自Hugging Face、加拿大蒙特利尔Mila研究所、网易伏羲AI Lab的研究人员从零开始复现了OpenAI的RLHF pipeline，罗列了25个关键实施细节。最...

 最近，有很多人在为 AI 代替自己的工作而担忧。上个月火遍 AI 圈的「首位 AI 程序员」Devin，利用大模型能力已经掌握了全栈技能，仅需要人类给出自然语言指令，就可以自动完成复杂的代码任务...

 日前昆仑万维方面宣布，天工大模型3.0将于4月17日、即天工大模型发布一周年之际开启公测，并将同步开源。据了解，天工3.0采用4千亿级参数MoE混合专家模型，号称是全球模型参数最大、性能最强...

 大模型的快节奏发展，让了解最新技术动态、积极主动学习成为每一位从业者的必修课。 InfoQ研究中心期望通过每周更新大模型行业最新动态，为广大读者提供全面的行业回顾和要点分析。现在，让我...

公告写道，此次开源的是 Mojo 标准库核心部分，包含用于优化 AI 超参数的功能，这些超参数决定了神经网络处理数据的方式。 Mojo 标准库还处于积极开发阶段，变化迅速，因此我们首先开源其核心...

“最强”开源大模型之争，又有新王入局：大数据巨头Databricks，刚刚发布MoE大模型DBRX，并宣称： 它在基准测试中击败了此前所有开源模型。 包括同为混合专家模型的Grok-1和Mixtral。打开网易...