AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理

 

一段AI生成的体操视频,引发近百万网友围观,LeCun等一众大佬还因为它吵起来了。

 

 

图片[1]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

体操表演,emmmm怎么不算呢?

 

 

图片[2]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

通过视频右上角的水印,此段视频正是由那个一度被认为是“下一代”文生视频的Dream Machine(来自Luma AI)生成的。

大伙儿看后纷纷坐不住,围绕此讨论的,是AI视频领域的一个熟悉的话题:AI是否理解物理规律

LeCun直接开麦:

 

视频生成模型不理解基本物理知识。更不用说人体了。

 

图片[3]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

华盛顿大学计算机科学教授Pedro Domingos看后也“摇了摇头”:

 

AGI可能并不会像一些人预期的那样即将到来。

 

图片[4]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

 

图片[5]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

畸变雀食离谱

 

自Sora问世以来,“AI是否理解物理规律”这个话题就被越来越多人关注。

下面这段Sora生成的“寄居蟹用灯泡当外壳的夜间场面”是个经典的例子,海浪与沙滩的互动非常细腻,寄居蟹腿上的纤毛也活灵活现。

 

 

图片[6]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

对比真实拍摄的类似场景照片,也就灯泡没有电源不应该亮这一个明显破绽了。

图片[7]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

最近Luma AI的Dream Machine也一样,生成的第一视角探废弃房子真实感拉满:

 

 

图片[8]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

由此,不少人认为Sora、LUMA等的视频生成模型已经理解了简单的物理规律。

然鹅,这次被放出的视频着实有点太离谱。

不仅腿脚乱飞,频频上演大变活人:

 

 

图片[9]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

就这高难度的空中悬浮翻跟头,也是牛顿都要被气活了的节奏:

 

 

图片[10]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

以至于网友看后还表示,说恐怖大可不必,说搞笑还差不多。

 

 

图片[11]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

如此抽象,LeCun直接评论视频生成模型不会懂物理。

他还进一步解释,Sora或者其它视频生成模型都有类似的问题,视频生成技术无疑也肯定会随时间推移而进步。

但:

 

真正理解物理的学习系统并不会具有生成性。就像鸟类、哺乳动物等比任何视频生成系统更了解物理。然而,它们都不能生成详细的视频。

 

图片[12]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

类似还有另一种思考:

 

即使AI视频生成模型之后会进化的很好,生成的视频质量“完美”,那么就意味着它理解物理了?

 

图片[13]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

LeCun等的观点,立马引起网友的质疑:

 

鸟和哺乳动物也会生成详细的视频,只不过是在大脑中生成无法将其具像化。

 

图片[14]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

然鹅,这种反驳并未说服LeCun。

图片[15]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

此外,还有不少人持反对意见。

例如,谷歌DeepMind/Brain团队研究员Lucas Beyer就指出:

 

这就像是展示一个由几年前的Dall·E mini生成的图像,然后称当前的图像生成方式注定失败一样。

 

毕竟,之前生图模型生成的图像be like:

图片[16]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

至于模型为什么会生成如此离谱的视频?

有网友认为是缺乏体操表演数据,还有网友认为是身体部位的模糊处理,使得模型无法理解人体结构,继而不能保证肢体动作的连贯性。

图片[17]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

 

视频生成在计算上更为复杂,并且具有高度的上下文相关性,对详细标注的训练数据有更大的需求,这些需求现在还未得到充分满足。

 

图片[18]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

前段时间SD 3翻车,同样对人体生成效果不好,网友也讨论过这一问题,过于严格的数据审核,可能误删了一些无害的成人图像,影响了模型对人体结构的理解。

图片[19]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

One More Thing

除了Luma AI的Dream Machine生成体操视频大翻车,Runway的Gen-3也……

图片[20]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

同款三头六臂:

 

 

图片[21]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

同款空中悬浮绝活:

 

 

图片[22]-AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理-开放智能

打开网易新闻 查看更多图片

参考链接:
[1]https://x.com/ylecun/status/1807497091964449266
[2]https://x.com/giffmana/status/1807511985807908926
[3]https://x.com/EricDai_BioE/status/1807540558216454281
[4]https://x.com/Grady_Booch/status/1807556807982010451

 
© 版权声明
THE END
喜欢就支持一下吧
点赞7 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容