GPT-4o背后的神仙团队

 

GPT-4o只是一个小升级，原生多模态而已

 

来源：X

OpenAI联合创始人，现在已经离开OpenAI的传奇大神AK对GPT-4o的评价：

“他们发布了一个文本-音频-视觉组合模型，该模型可在一个神经网络中处理所有三种模态，如果用户要求，它还可以在特殊情况下进行实时语音翻译。”

马老板随即附和到，这种对GPT-4o祛魅的描述才更加准确（酸了酸了）。

然而，当Sam Altman转发了开发GPT-4o团队背后的故事，外界才看到，要把大模型做出原生多模态的能力，需要一个什么样的神仙团队。

来源：X

18人核心团队，开创人机交互新历史

马斯克曾经在采访中说到，OpenAI推出ChatGPT最核心的意义其实只是在于，创造了一个人机交互的界面——ChatGPT，让普通人能够用文字与AI交流。然后普通人突然之间意识到，现在的AI到底能做多么不可思议的事情了。因为其实在ChatGPT出现之前，大语言模型的技术已经在实验室中存在了很长时间，并且发展出很强的能力，只是普通人没有机会体验到它到底多么强大。

顺便，也让OpenAI成为了一家估值达到1000亿美元的初创公司。

而照着这个思路走下去，GPT-4o如果能让人类可以通过除了文字以外的媒介和渠道，充分地与AI交流，最终会迸发出多大的影响，也许现在还没人能够充分地意识得到。

而承载着这个重任的OpenAI Omni Team，居然只有18个人，其中4名华人，团队包括项目负责人在内，几乎都是90后。

团队领导 Prafulla Dhariwal

来源：X

领导Omni Team的这位印度大佬根据教育背景推测是个90后，团队成员大部分都是博士毕业生，可他的教育经历仅仅是本科毕业。

来源：linkedin

他在本科毕业之后就以研究实习生的身份直接加入了OpenAI。一直在OpenAI工作到现在。

来源：Linkedin

在他的整个研究生涯中，参与过强化学习，无监督学习，Scaling Law等几乎所有的机器学习的前沿研究，也参与了包括DALL·E 2，GPT-3，DALL·E 3等关键的项目。

来源：Linkedin

他在上大学前，曾经代表印度拿到过IMO（国际奥数）的金牌，也担任过奥数代表队的教练。妥妥的少年天才级别的人物。

从他的经历看来，虽然一般来说，AI研究科学家的门槛是一个博士学位，而领导AI研究科学家的门槛，可能需要是“只有本科学位的AI研究科学家”。

关键研究人员

负责图像，音频，数据和后期训练等各个方面的团队核心：James Betker

来源：Linkedin

他在团队名单被列在第一位，团队负责人对他的评价是：任何任务只要交给他他都能给你搞定！

来源：Linkedin

他在加入OpenAI之前曾经在Garmin和谷歌工作过。

来源：Linkedin

特别是，在他的领英上，有以前一个客户给他写过的一封推荐信：

来源：Linkedin

 

作为詹姆斯的项目主管，他在学习新技能时的适应能力、对细节的关注以及强烈的职业道德一直给我留下深刻印象。在接受了最低限度的培训后，他能够自学并成为我们业务领域内的问题以及用于实现我们目标的工具和平台的专家。

 

看来，要在OpenAI工作，要么你是天才本才，要么你是那种让天才都折服的人物。

视频负责人：Rowan Zellers

来源：Linkedin

这位90后博士，对于GPT-4o的贡献是，让模型可以像人类一样看到视频。

来源：Linkedin

他在博士毕业之后就直接来到OpenAI。

来源：Linkedin

在演示视频中演示模型视觉识别功能片段直接出镜的也是他本人。

来源：X

他参与了GPT-4等数个OpenAI的项目，之前的研究方向也集中在多模态上。

来源：Linkedin

音频方向的负责人：Alexis Conneau

项目主管对他的评价是：他是OpenAI第一个提出把《Her》里边的Samantha在现实中复刻，并且无情地执行了自己愿景的人。

来源：X

这一点也许从他的X封面就能感受到。

他来自法国，毕业于法国最顶尖的工程师大学，之后加入了Meta，在FAIR获得了自己的博士学位。

来源：Linkedin

然后在谷歌和Meta AI工作了一段时间之后，加入了OpenAI。

来源：Linkedin

在谷歌和Meta，他参与影响过10亿用户的项目和产品。论文也在EMNLP上拿过最佳论文奖。

来源：Linkedin

5位华人做出关键贡献

就像之前爆火的Sora一样，OpenAI这些瞩目的项目中从来不缺乏华人的身影：

Li JING

来源：Linkedin

这位毕业于北大物理系的华人小哥曾经参与了DALLE-，Sora。

这次GPT-4o的发布也有他的贡献。

他本科毕业于北京大学物理系，博士毕业于麻省理工学院。

来源：Linkedin

他自己曾经创过业，也在Meta全职工作过2年半，在2022年加入了OpenAI。

来源：Linkedin

Jiahui Yu

来源：Linkedin

他本科毕业于中科大，博士毕业于UIUC。他现在是OpenAI感知团队的负责人。

来源：Linkedin

他曾经是谷歌Gemini多模态的负责人之一，2023年被OpenAI挖了过来。

来源：Linkedin

Yu Zhang

来源：Linkedin

他本科毕业于上海交大，博士毕业于MIT。

来源：Linkedin

他在微软亚研院实习过，之后加入了谷歌DeepMind，从2023年起加入了OpenAI。

来源：Linkedin

HUIWEN Chang

来源：Linkedin

她本科毕业于清华大学，之后在普林斯顿大学获得了博士学位。

来源：Linkedin

在加入OpenAI之前，一直在谷歌担任研究科学家。

来源：Linkedin

Qiming Yuan

来源：Linkedin

他在GPT-4o团队中负责语言的预训练数据处理，本科毕业于清华大学，硕士毕业于德州奥斯丁。

来源：Linkedin

在2018年加入OpenAI之前，他曾经在Dropbox和微软工作过。

来源：Linkedin