让大语言模型与真实物理世界进行交互

打开网易新闻 查看更多图片

图 | 徐华韬（来源：徐华韬）

该项目旨在突破大模型（如 ChatGPT）的常规边界，将其应用从仅限于处理文本的任务拓展到更广泛的场景。

本次研究的动机源于：大模型在写作、编程等多个领域取得的巨大成功，它们不仅能够理解人类语言，还能创造出惊人的人类文本。

然而，这些应用大多仍局限于数字世界。通过将来自物理世界的真实数据融合进大模型，课题组希望实现数字智能与现实世界的无缝对接。

研究人员表示，这一探索不仅希望可以拓宽大模型的应用领域，更开辟了一种新的模式，即让 AI 直接与人类周围真实物理世界的感测数据进行交互、解析并作出反应。

这种进步可能会根本性地改变人们在网络物理系统中处理问题和实施自动化的方式，比如大模型能够直接通过手机数据来推断人们的活动与环境情况。

（来 源：arXiv）

该团队预计“渗透式人工智能”将在众多网络物理系统中发挥重要作用，包括但不限于以下领域：

其一，可用于智慧医疗。

渗透式人工智能利用可穿戴设备的传感器数据，不仅能跟踪健康指标、预测潜在健康问题，还能够实施个性化治疗。它对于健康数据的精准解析，能为持续监测开辟创新途径。

其二，可用于家庭自动化。

渗透式人工智能通过物联网数据智能化管理家居，如灯光调节和能源优化，可以极大提升居家效率和安全程度。由于它能精准识别家庭生活模式，故能为现代居住带来更多便利和保障。

其三，可用于工厂自动化。

通过机械传感器数据的深入分析，渗透式人工智能有潜力能实现工序自动化及生产线优化。比如，它能够快速适应复杂生产环境，从而可以有效减少停机时间、确保生产安全。

其四，可用于环境监测。

在环境监测方面，渗透式人工智能凭借对复杂传感器数据的深度分析，能够敏锐捕捉环境变化并预测潜在风险，从而能在生态保护和公共安全上发挥作用。

其五，可用于决策指挥系统。

渗透式人工智能在此应用场景下，能够整合多源传感器数据，支撑复杂环境中的迅速决策与指挥。

其对数据的深度洞察和处理，可以显著提升应急响应效率与决策准确性，能对城市管理、紧急救援等提供技术支撑。

那么，徐华韬等人缘何开展了这样一项研究？

据介绍，在 ChatGPT 于 2022 年底发布并取得显著成功之后，徐华韬的导师李默教授洞察到其可能成为颠覆性技术（game changer）。

2023 年春节期间，李默多次鼓励徐华韬等人深入了解并积极使用 ChatGPT。

受到导师的启发，徐华韬开始深入思考大模型的特性和优势。据介绍，徐华韬的研究主要集中在设计算法处理传感器数据，比如利用手机传感器数据来感知人的行为。

这促使他考虑是否可以借助大模型来解析这些传感器数据。初步的实验验证表明：像 ChatGPT 这样的大模型，确实能够理解包括 WiFi 在内的各种信号。

将这些发现汇报给导师后，后者同样感到兴奋，并认为应该继续深入探索。

随后，他们开始探讨大模型是否能够处理更多其他类型的任务，并选择心跳检测作为新尝试。

然而，在心跳检测任务中，大模型需要处理长串数字，直接应用大模型并不能取得良好的效果。

后来，徐华韬尝试用传统算法的思维来指导大模型，但是效果乏善可陈，研究因此陷入了僵局。

一次在南洋理工大学校园绿地散步时，徐华韬灵光一闪，开始思考人类是如何完成这类任务的。

他心想：如果面前有一个小孩，该如何指导他完成这项任务？于是，徐华韬开始将大模型视为“人类”，通过文本描述信号模式来辅助其处理信号，最终发现 GPT-4 能够非常出色地完成这一任务。

研究期间课题组还发现：在两个任务中，大模型处理信号的方式存在不同层次，因此他们总结出了“文本化信号”与“数字化信号”两种层次。

后来，他们又与美国加州大学洛杉矶分校马尼·斯里瓦斯塔瓦（Mani Srivastava）教授课题组合作，最终完成了本次研究。

此外，研究中徐华韬等人一直在思考如何给本次概念命名。经过多次筛选与考虑，他们最终选择了“渗透式人工智能（Penetrative AI）”这一名称。

这个名称有双重含义：

一方面，“Penetrative”有“深刻理解”的意思，这意味着他们希望基于大模型的新智能可以深入理解物理世界。

另一方面，“Penetrative”有“渗透”的含义，它也象征着这种新智能能够渗透到各个产业和应用中。

日前，相关论文以《Penetrative AI：让大模型理解物理世界》（Penetrative AI：Making LLMs Comprehend the Physical World）为题发在 arXiv[1]。

徐华韬是第一作者，李默和马尼·斯里瓦斯塔瓦（Mani Srivastava）担任共同通讯作者。

打开网易新闻 查看更多图片

图 | 相关论文（来源：arXiv）

另据悉，渗透式人工智能是一个很广的方向，后续该团队会积极探索大模型在物联网场景下可以支持的新应用，也会尽力普及这一概念，让更多学者一起探索更多的可能性。

参考资料：

1.https://arxiv.org/pdf/2310.09605.pdf