Ghost Autonomy 是自动驾驭领域运用多模态大规模言语模型（MLLM）的前驱

、第一条路程，产业带杀贱价流

Ghost Autonomy 是自动驾驭领域运用多模态大规模言语模型（MLLM）的前驱，这种新模型的引进不只或许解决现有自动驾驭体系中的长尾问题，还能提高对杂乱城市环境的导航才能。

MLLMs 经过结合文本、图画、视频等多种输入模式，可以更全面地了解和推理驾驭场景。这种整合性的办法比传统的根据单一感知体系的办法更为先进和有效，或许会大大提高自动驾驭车辆的安全性和可靠性。

思考：

我们测验根据文章内容，提出更多发散性的推演和深思，欢迎交流。

轿车是工业时代机械电子的集大成者。OpenAI 布局自动驾驭领域，有了具有通用了解才能的多模态大规模言语模型（MLLM）加成，轿车会是我们通往 AGI 路途的重要 Agent。

自动驾驭对安全性和可靠性依赖度高，MLLMs 可以在自动驾驭仓库的各个环节中发挥作用，除了用于数据标注和模拟的离线使命训练， CEO John Hayes 更希望直接用于驾驭使命，值得重视。

AI Native 产品分析——Ghost Autonomy

1. 产品：Ghost Autonomy

2. 创始人：John Hayes

3. 创业布景：

Ghost Autonomy于2017 年创建。John Hayes 曾与别人一起创建了 Pure Storage 公司，并于 2015 年将该公司上市。

4. 产品简介：

一个灵敏的人工智能软件平台，为未来的消费类轿车供给抢先的自动驾驭功能。

5. 体系构成：

软件：Ghost OS、感知、驾驭、安全、人工智能

硬件：传感器、驾驭核算机、车辆控制器、通讯网络

开发 Studio：驾驭、人工智能、设计

云架构：车辆通讯、会集神经网络学习和验证

6. 产品价值：

Ghost 是在自动驾驭领域运用多模态大规模言语模型（MLLM）的前驱。这种全新的软件架构将大模型强大的类人推理才能使用于驾驭，使自动驾驭轿车可以了解杂乱的驾驭场景。

作为消费类轿车可扩展自动驾驭软件的前驱， Ghost Autonomy 2023 年 11 月 8 日宣布取得 OpenAI 创业基金 500 万美元的出资，用于将大规模、多模态大言语模型（MLLM）引进自动驾驭。这笔资金将用于加快目前正在进行的根据 LLM 的杂乱场景了解研讨和开发，这正是下阶段的城市自动驾驭所需要的。这轮融资之后，该公司的融资总额到达 2.2 亿美元。

一、优化多模态大言语模型以实现自动驾驭

OpenAI 首席运营官兼 OpenAI 草创基金司理 Brad Lightcap 表示：”多模态模型有或许将 LLM 的适用性扩展到包含自动驾驭和轿车在内的许多新场景，可以经过结合视频、图画和声音来了解并得出结论，因而或许会创造出一种全新的方法来了解场景并导航于杂乱或不寻常的环境。”

LLM 几乎每天都在不断提高自己的才能，并扩展到新的使用领域，颠覆着各行各业现有的核算架构。根据 Ghost Autonomy ，大言语模型也将对自动驾驭软件仓库产生深远影响，而大言语模型新增的多模态功能（在承受文本输入的同时承受图画和视频输入）会加快其在自动驾驭用例中的使用。