多模态人工智能的鼓起对智能产品的影响

今日是会聚 IOT 的时代，在物理国际机器传感、互联的情况下，怎么规划新的智能产品，怎么更好的提升用户体会，是各行各业一个非常重要的论题。

“怎么完成功用驱动的高附加值制作？” 是2022年高端制作前沿的十大科学问题之一。这一问题和 User Experience非常相关。例如苹果公司，它的制作技能包给了富士康，现在富士康的郑州工厂有30、40万的工人每天在做制作的部分。但 iPhone的价值，不在于制作的技能，而是在它的用户体会，是用户体会造就了苹果的成功。

从这个角度来讲，怎么让我国制作从简略的加工完成一些技能指标到功用再到怎么完成用户体会的最大化，这些问题不仅对用户体会部门，并且对我国的整个高端制作全生命周期都有着严重的含义。

在使用的领域方面，未来真实的人工智能和机器人现已从工厂延伸到社会的各个旮旯，从制作到未来交通出行、医疗使用、农业使用、家庭使用、教育使用。

怎么把 User Experience作为一个交叉学科贯穿到各行各业，是一个特别值得深化讨论的问题。未来的人类社会生态的新平衡，需要深度交融人工智能大数据、VR/AR、机器人、可穿戴设备、5G通讯、User Experience、动力、新的材料等。

在中德的跨模态学习的项目中，我们每天在做的都是元世界的一些技能，今日把多模态的元世界作为 User Experience的重要概念，仍是值得一提的。

一、多模态人工智能的鼓起对智能产品的影响

当下的人工智能不仅和工科方面相关，并且和人文学科交叉，包含认知学科、心理学科、生物学科、言语学、脑科学，乃至和艺术与规划的交融也变得越来越深化，越来越有价值。在另外一个信息空间里，除了现有的掌上手机、可穿戴设备等，可以融入更多智能方面的产品、模块、大模型的认知乃至到认识等，使得未来在交互方面，不只是 Audio Video的信息的交互，并且有物理的交互。

具身智能（Embodied Intelligence），是现在国内一个特别火爆的课题，实际上这个行业现已提出了有20年之久。未来从信息的交互到物理的Embody的交互是一个重要的方向。怎么理解人类的心智和大脑的多传感过程，这是参阅未来的多模态规划非常重要的一个方向。未来的整个多模态的界面，除了视觉，听觉和触觉之外，还会有更多的高层，包含 BCI，脑机接口，手势，爱情，乃至物理动作等。这些都是未来规划和用户体会的重要论题。

我的博士生菲利普做了一款可以伸拉的、柔性强的触觉皮肤，可以戴在手上且不影响正常操作，可以量化触觉的信息。对于未来的 User Experience的量化也是一个重要的工具。

1. 人工智能的数据

因为摩尔定律，核算机整个在硬件和算力方面的增加，遵循了一个指数规律。从数据的存储方面几乎是一个摩尔定律的增加。曾经一台核算机从几十K到今日几十T，可以把搜集来的任何 Audio Visual、还有多模态的数据都能整合起来，可以主动分类，乃至到主动决策，使得我们在大核算的核算引擎方面有了足够多的燃料，在智能制作和数据信息处理方面有着一日千里的开展。

2. 算法方面

智能技能使得现在人类的言语和它的信号听觉处理方面有了一定的发展，现在的大模型是做一些行为 Level，可以模拟人的言语功用的一部分，可是未来真实要完成的人脑的多模态功用，实际上要把听觉、视觉，还有物理的控制都要整合在一起，这也是现在跨模态学习的一个机制，也是多模态体系的一个重要的具身智能的研究点。这种根据经历的学习，包含机器人和人在不断地交互之间怎么可以学到高层的常识，是未来用户体会量化的一个很好的比如。