情绪识别

情绪识别对于决策、沟通、一般情绪、动机甚至驾驶的日常功能至关重要。情绪识别是一个复杂的研究领域，需要使用生理传感器和受控研究，从而增加了车载驾驶员情绪识别的复杂性。情绪识别还可以帮助检测已在第上节中讨论的驾驶员分心和疲劳，但也可以引出有关驾驶员行为的更多信息，并有助于实现理解驾驶员并做出响应的智能车辆的目标．

情绪可以分为六类：愤怒、厌恶、快乐、悲伤、惊讶和恐惧。已经进行了关于驾驶员情绪识别的研究，以识别六种主要情绪或较小的子集，例如愤怒和快乐。借助来自 RGB 或 IR 相机的带注释的头部和面部数据集，监督学习技术可用于对情绪进行分类，例如 k 近邻 （kNN） 、SVM 、和DNN 。这些研究提供了帧级预测以及窗口级，其中使用投票方案聚合了不同的帧级预测。相反，使用生理信号，使用各种生理传感器提取高维信号。因此，降维算法如主成分分析（PCA） 和线性判别分析 （LDA） 被使用。

PCA 有助于找到一组不相关的特征来解释原始数据的差异，而 LDA 用特征的线性组合拟合数据，同时找到区分类别的线性函数。在降维时，使用的流行方法包括支持向量机和朴素贝叶斯，用于监督学习以对情绪进行分类。由于生物物理数据由时变信号组成，因此可以从时变信号中捕获特征的循环神经网络在情感识别方面表现出良好的性能。

语音信号也用于情绪识别，因为语音可以提供线索，用于破译驾驶员的情绪。语音信号还包括需要降维技术的高维信号，例如生物物理信号。研究还表明，语音信号的特征（如音调、能量和强度）对于情绪识别很有用。驾驶员的情绪状态也可以通过驾驶员的情绪状态来推断，例如当驾驶员高兴或生气时，方向盘上的握力会发生变化。为了确定检测挫折的最佳框架，对五种不同的监督学习算法及其组合（贝叶斯神经网络 ［BNN］、SVM、高斯混合模型 ［GMM］、多项回归 ［MNR］ 和 GMM ＋ SVM）进行了比较。结果表明，SVM 和 MNR 在从驾驶员坐姿检测挫败感的任务中表现最好。

姿态识别

对于交互、安全和分析驾驶员或乘客的活动，跟踪身体部位和身体运动学（例如头部姿势、身体姿势、手、脚和躯干的位置、婴儿的存在等）至关重要。从驾驶的人体工程学角度来看，驾驶员姿势监测也很重要。研究表明，在长途驾驶中，不良姿势会导致驾驶员不适。因此，除了前面讨论的关于活动、情绪和分心检测的部分之外，还要单独分析姿势识别。

如上图  6a所示，头部姿势估计和跟踪对于各种用例至关重要，例如驾驶员监控、分心检测、凝视检测、头戴式设备校准等。模板匹配方法已被证明可用于头部姿势估计和跟踪。使用 RGB 图像上的特征提取技术检测头部区域，然后将其与训练数据中的示例头部图像进行匹配。示例图像的姿势是估计的头部姿势。类似地，通过使用量化姿势分类器的从粗到细的策略来检测离散的头部偏航和俯仰值。还可以通过跟踪关键面部特征（例如眼角、鼻尖和鼻角）来估计头部姿势。当面部处于全正面视图时，该方法表现出良好的性能。

由于它基于基于单目相机的方法，因此性能会因单一视角、遮挡或大运动的存在而降低。为了解决 RGB 相机的照明问题，已经设计了基于 IR 相机的方法。例如，一种名为 Head Orientation Network （HON） 和 ResNetHG 的新型网络被设计用于从 AutoPOSE 数据集中的 IR 图像估计头部姿势。单目估计对快速的头部运动很敏感，这可以通过在驾驶员的视野中放置多个摄像头来解决。结构光深度相机也被提议用于驾驶员姿态估计，如上图 6c所示。可以通过一种基于图形的算法，该算法使用一系列深度帧将 7 点骨骼模型拟合到驾驶员的身体。同理，飞行时间深度传感器（FoT也就是激光和雷达类传感器）已被用于估计驾驶员四肢的位置和方向，包括手臂、手、头部和躯干。迭代最近点 （ICP） 算法用于使用人体关节 3D 模型进行姿势估计。

然而，众所周知，ICP 陷入局部最小值，需要良好的初始猜测来执行姿态估计过程。除了视觉传感器，触觉传感器（如力传感器阵列、触觉传感器皮肤和接近传感器）也已用于身体姿势和头部姿势估计，如图 6b、d所示。正如智能座舱系列文三－ 它背后的5种交互技术之触觉。中详细讨论的那样，触觉传感阵列可以不显眼地无缝集成到座椅中。例如，在靠背和坐垫上带有分布式压力传感器的座椅已被用于测量驾驶员的坐姿。座椅上的这种力传感阵列已用于测量驾驶员和乘客的身体姿势，以用于安全关键应用，例如安全气囊展开。

同样，与 IMU 测量融合的压力图已被部署以稳健地识别身体姿势。具有电容式接近传感器的传感头枕已被用于头部姿势估计和头枕伺服，其中头枕可以使用基于非参数神经网络的方法根据用户头部的移动而移动。其他作品展示了传感器，例如嵌入头枕中用于头部姿势估计的超声波传感器。然而，为了稳健地估计身体和头部姿势，触觉传感器需要以多模式方式与视觉传感器相结合。

总结  

隐式交互在智能驾驶舱方面，应该属于刚刚萌芽的阶段，他关系到了各种传感器的应用，有当前激光和雷达产业，有视觉摄像头产业，也有穿戴生理传感设备产业方面。属于一个很大的市场，当然这些背后同样少不了AI 人工智能的支持，这个和智能驾驶类似。

参考文章

智能座舱技术 － Prajval Kumar Murali， Mohsen Kaboli，＊ and Ravinder Dahiya＊

＊未经准许严禁转载和摘录

       原文标题 : 智能座舱系列文五- 它的3种交互方式之隐式交互