李飞飞「世界实验室」重磅推出 AI“造物主”

打开网易新闻 查看更多视频

李飞飞「世界实验室」重磅推出 AI“造物主”：一张图片生成 3D 世界“任意门”

李飞飞教授创立的Word Labs公司推出第一个重磅成果-世界生成：从单个图像生成 3D 物理世界的人工智能系统，主打你可以进入任何图像并以 3D 方式探索它，简直就像时空传送“任意门”，感觉太奇妙了，这是人工智能迈向空间智能的第一步

刚刚斯坦福大学的李飞飞教授宣布，她带领的World Labs团队推出一个能从单张图片生成 3D 世界的 AI 系统！不是简单的 3D 建模，而是真正可以交互的 3D 物理场景！

打开网易新闻 查看更多图片

3D场景在浏览器里就能实时渲染，还能用WASD键和鼠标自由控制视角，就像玩游戏一样！简直太酷炫了！

打开网易新闻 查看更多图片

用户甚至可以体验 3D 相机效果，例如模拟浅景深，即只有与摄像机保持一定距离的物体才能对焦

或“希区柯克式变焦”（dolly zoom）

可以去这里网页体验 https://w ww.worldlabs.ai/blog

World Labs 要解决啥问题？

现在的生成式 AI 模型，最大的问题就是缺乏控制力和一致性。World Labs 的目标就是解决这个问题！他们的 AI 系统可以根据输入的图片，先估算 3D 几何形状，再填充场景中看不到的部分，还能根据 3D 几何信息创造新的内容，让场景更完整！这将改变制作电影、游戏、模拟器和其他物理世界数字表现形式的方式

不是预测像素而是预测3D场景

大多数生成模型预测像素， 而预测三维场景则有很多好处：

持久现实：世界一旦生成，就会一直存在。即使你把视线移开，再回来时，场景也不会改不会像某些 AI 模型那样，换个角度就“变脸”

实时控制：生成场景后，您可以实时在场景中移动。你可以停留在花朵的细节上，或者从角落里偷看，看看里面有什么

正确的几何形状：生成的世界遵循 3D 几何的基本物理规则。它们具有扎实感和深度感，与某些人工智能生成的视频的梦幻性质形成鲜明对比

可视化方式：World Labs 的系统生成 3D 场景方式是一个称为深度图 (depth map)的东西，其中每个像素的颜色代表其到相机的距离

交互性：可以修改场景的光照、外观、几何形状

还可以制作特效，使场景被动地动画化

走进世界名画

世界生成可以让你以全新的方式体验标志性的艺术作品。比如 梵高（van Gogh）、霍珀（Hopper）、修拉（Seurat）和康定斯基（Kandinsky），可以wordlab网页体验

打开网易新闻 查看更多图片

可以去这里网页体验 https://w ww.worldlabs.ai/blog

与其他 AI 工具无缝衔接！

World Labs 的 3D 场景生成技术，可以和其他 AI 工具配合使用，让创作者们的工作流程更加高效！

例如，可以通过先使用文本生成图像模型生成一幅图像来从文本创建世界。不同的模型有各自的风格，worldlab技术可以继承这些风格

这里用四个流行的text2image模型 FLUX, Midjourney, Ideogram, DALL-E，采用相同的提示可以生成同一场景的四个变体

打开网易新闻 查看更多图片

打开网易新闻 查看更多图片

这里体验 ： https://www.worldlabs.ai/blog

目前wordlab已经让一些创作者提前了解了这种技术，开始尝试 3D 原生生成 AI 工作流程带来的可能性

数字艺术家 @8bit_e 就用 World Labs 的技术，轻松地将角色放置在场景中，并进行精确的相机运动控制，弥补了他创作流程中的一个空白，极大地提升了创作效率！

李飞飞「世界实验室」重磅推出 AI“造物主”：一张图片生成 3D 世界“任意门”

未来展望

英伟达JIM FAN 评价：

生成式 AI 正在创造越来越高维度的人类体验快照

Stable Diffusion 是一个二维快照

OpenAI Sora 是一个二维加时间维度的快照

现在，World Labs 是一个三维、完全沉浸式的快照

打开网易新闻 查看更多图片

总体来看World Labs 的 3D 世界生成技术，绝对是 AI 领域的一项重大突破！它将为游戏、电影、艺术等领域带来无限可能！

李飞飞教授表示，这只是 3D 生成式 AI 的一个开始！他们正在努力将这项技术尽快送到用户手中！

打开网易新闻 查看更多图片

waitlist注册地址：

http://worldlabs.ai/waitlist

或者直接联系他们：hello@worldlabs.ai

参考：

https://www.worldlabs.ai/blog