随着 5G 的发展，智能座舱中新技术、新场景、新模式不断涌现，车载交互设备的数量已经快速地达到了上限，设计师需要考虑如何让驾驶员在驾驶车辆时有安全、高效、舒适的人机交互体验，多模态交互将会成为未来人机交互的主流。本文主要从智能座舱和多模态交互的概念、智能座舱的常见模态及优缺点分析、多模态交互的重要性及应用、多模态交互面临的问题等做讨论。
智能座舱 目前还没有一个统一的定义，它的概念本身一直随着外界环境的发展而不断变化着。跟传统座舱相比，智能座舱的 智能 主要体现在以下几个方面：
仪式感：App 远程控制、车门迎宾灯 + 交互式大灯、智能形象 + 语音欢迎语等；
科技性：ADAS 驾驶辅助、高精地图、智能导航、驾驶员疲劳监测、主动调节驾驶坐姿等；
易用性：多屏互联（中控屏、副驾驶娱乐屏、仪表盘、HUDhth华体会）、智能语音、多模交互等；
模态 （modality）一词是由德国生理学赫尔姆霍兹提出的生物学概念，即生物凭借感知器官与经验来接收信息的通道，例如人类可以通过五感来获取外界信息hth华体会。 多模态交互 就是融合了人的视觉、听觉、触觉等多种感官，计算机利用多种通信通道响应输入，并充分模拟人与人之间的交互方式。
目前智能座舱的模态包括视觉、听觉、触觉、手势和嗅觉，以下将会分别介绍这几个模态在智能座舱中对应的载体有哪些
src=触觉：方向盘 + 按键 + 中控 + 挡位 + 座椅 + 安全带更多用于提示场景
整个智能座舱的大部分的信息都放在视觉通道里面，这无疑会增加驾驶员的认知负荷，单模态交互难以满足复杂的驾驶场景，各模块彼此间的关联性不强，大大降低了信息感知的价值。
src=如何实现高效、安全、易用的人hth华体会机交互，避免驾驶员注意力分散hth华体会，降低交互认知和改善人车交互体验是值得思考的问题。
经研究表明，人类更习惯多模态交互，尤其高优先级消息以多模态的冗余增益可以加快处理时间，例如视觉 + 听觉或视觉 + 振动触觉警告比单模警告拥有更快响应。
多重资源理论：一个通道接收的信息是有上限的，当信息过载时，会导致人的认知负荷，从而降低效率。为了避免视觉通道超负荷，可以将部分信息通过听觉通道呈现，这能有效降低司机的工作负荷。
src=态势感知：态势感知（Situation Awareness，SA）是一种感受者根据环境因素而动态、整体地理解当前情境的能力，由此可以提升对安全风险的发现识别、理解分析及响应能力，以便于做出最终的决策与行动。
对于新手司机来说，在驾驶过程当中，会比较关注路面，这时候如果在视觉上弹出信息，就很容易造成他们的注意力分散，这就是态势感知的丧失。这时如果通过语音或者触觉的通道去反馈，可以保hth华体会证驾驶员注意力不被分散，从而也提高了安全性和效率。
通过对方向盘的转向，行驶轨迹，油门的加减速，以及视觉摄像头的分析，可以判断驾驶员是否在开启 ADAS 系统后，处于瞌睡、疲劳、分心等脱离驾驶状态中。
当车辆开启 ACC（Adaptive Cruise Control，ACC）功能时，车辆监测车外环境，包括其他车辆的运动状态、特定工况等，结合车内动态信息显示在 AR-HUD 上，比如当下时速、车距、基本车辆信息，帮助驾驶员判断前车运动轨迹，增强态势感知，降低驾驶员工作负荷，及时作出有效判断及行动。
语音交互在实际应用中本身是不可见的东西，如果不与视觉模态进行融合，驾驶员很难预判出他们发出的指令处于哪个状态，从而失去把控感。比如在进行语音命令时，它产生的状态有：唤醒 - 聆听 - 识别 - 播报 - 持续倾听，通过中控屏幕上的语音虚拟形象或者实体机器人的空间方位和状态来区别不同阶段，可以提高驾驶员的安全感。
小鹏 P7 打开车道辅助时，为了减少驾驶员在开车时低头看仪表盘，方向盘会通过抖动的方式来提示目前车辆压线了；另外，还可以通过方向盘的物理按键唤醒语音，语音虚拟形象的状态变化显示在中控屏上。
通过眼动追踪、心电、呼吸特征监测驾驶者是否疲劳、身体异常、分神等异常情况，进行多模态警示，来保障驾驶者的安全
眼动追踪在短期内精度无法再提高，这容易导致 AR-HUD 贴合和疲劳检测出现部分问题。
以分神驾驶为例，眼动追踪、头部追踪、方向盘旋转角度hth华体会、道路偏移等参数整合时存在一定的不客观性（环境因素、个体差异等等）。
我认为好的多模态交互首先要满足智能座舱的安全，再在此基础上让交互变得更舒适和高效，符合人体自然的使用习惯和感知需求，比如主动调节驾驶坐姿、 温度让驾驶者和乘坐者获得最舒适的驾乘体验，人的视线可以自然看到信息而不需要低头，手可以触碰到操作功能而不需要弯腰等等。未来智能座舱的交互系统会更加智能化、理解用户意图，汽车将成为更好的生活空间。
【3】王建民 , 刘宇佳，李阳，由芳 . 基于态势感知的汽车人机界面设计研究 , 2021.