OpenAI Sora宣传视频(00:59)“一名时尚女子走在充满霓虹灯和广告牌的标志性东京街头，她穿着黑色皮夹克、红长裙和黑靴子，拎着黑色手袋，戴着太阳镜，涂着红色口红，走路自信又随意。街道潮湿且...

来自UC伯克利，港大等机构的研究人员，开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布，实现有效的表征，从而进一步实现了有竞争力的模型...

 最近，这张号称「或许是2024年最重要的AI图之一」的图开始热转，可以看到，开源本地模型，已经取代了大规模、基于云的昂贵封闭模型，这种转变令人兴奋、着迷。最近，这张图开始在AI社区热转，...

 北京大学和中山大学等机构研究者提出了统一的视觉语言大模型 ——Chat-UniVi。通过构建图片和视频统一表征，该框架使得一个 LLM 能够在图片和视频的混合数据下训练，并同时完成图片和视频理解...

前谷歌大脑科学家Yi Tay去年3月离职后，创办了一家初创公司。创业一年，他发文表示「痛并快乐着」。 在这篇博文中，我讨论了： 1. 在不同计算提供商中采购计算和差异的经验。我们最大的发现/惊...

DeepSpeed-FastGen结合MII和DeepSpeed-Inference实现LLM高吞吐量文本生成。GPT-4和LLaMA这样的大型语言模型（LLMs）已在各个层次上成为了集成AI 的主流服务应用。从常规聊天模型到文档摘要，从...

 日前昆仑万维方面宣布，天工大模型3.0将于4月17日、即天工大模型发布一周年之际开启公测，并将同步开源。据了解，天工3.0采用4千亿级参数MoE混合专家模型，号称是全球模型参数最大、性能最强...

 小模型也能解锁数学能力，无需多模型集成，7B模型在GSM 8 k数据集上性能超越70B！对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。比如之前有研究结果显示，在GSM 8K基准测...

 全球首个AI程序员Devin诞生之后，让码农纷纷恐慌。没想到，微软同时也整出了一个AI程序员——AutoDev，能够自主生成、执行代码等任务。网友惊呼，AI编码发展太快了。全球首个AI程序员Devin的...

ChatGPT惨遭攻击，参数规模终于被扒出来了——很可能只有7B（70亿）。消息来自南加州大学最新研究，他们使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。打开...