必看！驾驶行为分析多模态生理数据集分享

众多研究表明，驾驶员认知是驾驶行为的重要组成部分，因此必须从认知和决策的角度研究驾驶行为，运用心理学、生理学、工程学、行为科学等相关领域的知识和理论。

例如，皮质β功率变化可以反映基于脑电图的决策动态， β功率作为证据积累的指标主要用于研究决策。
心理生理学研究为了观察人的行为，可以通过人体不同部位的生理信号分析驾驶员的驾驶状态或驾驶意图。（低功耗、高精度可穿戴设备技术的发展推动了认知研究，导致越来越多的研究调查驾驶过程中人类驾驶行为的认知决策过程。）

为了研究人类在驾驶任务中的反应和决策过程，研究人员需要丰富且可重复的数据集。表 1总结了目前所知的调查论文中有关驾驶员信息的数据集。

表1:用于驾驶人类行为研究的公开数据集摘要（具体链接请看留言板）

属性	数据集	任务	数量	注解	方法
工程	行人碰撞避免数据集	转向	12名参与者	驾驶辅助	sEMG
计算机科学	本田研究院驾驶数据集	转弯 变道	104小时	驾驶场景理解	摄像头、激光雷达、GPS、IMU和CAN
100辆汽车自然驾驶研究（NDS）数据集	撞车、险些撞车、其他“事故”	100辆车	驾驶行为和性能	视频、车辆状态和运动传感器
车辆驾驶行为	加速、正常驾驶、碰撞、转弯	1032场活动	驾驶行为	六轴传感器
驾驶行为数据集	突然加速、突然刹车、突然转弯	3名参与者	驾驶行为	加速度计陀螺仪
驾驶风格识别数据集	转弯、加速、减速	10名参与者	驾驶风格	GPS、行车记录仪
	多模式分心驾驶数据集	无干扰、认知干扰、情感干扰、感觉运动干扰	68名参与者	分心驾驶	EDA、手掌EDA、心率、呼吸频率、面部信号、眼动追踪
心理学	持续注意力驱动数据集	疲劳和困倦	27名参与者	持续注意力驱动任务	EEG
多模态驾驶情绪数据集	愤怒、恐惧、厌恶、悲伤、惊讶、快乐、中性	40名参与者	驾驶情绪	EEG、视频、心理数据、RGB摄像头、红外摄像头车辆行为
碰撞威胁数据集	制动	25名参与者	紧急情况	EEG
本研究	平稳驾驶、加速、减速、变道、转弯	35名参与者（6052项活动）	驾驶行为	EEG、EMG、GSR、E CG、眼动仪

驾驶行为领域常见的数据集主要分为四类：

1）基于车辆传感器的驾驶行为研究，研究加速、减速、转弯等驾驶行为方面。

缺点和困境：从车辆传感器收集的数据可能受到不准确性和噪声的影响。传感器读数可能受到传感器校准误差、环境条件和磨损等因素的影响，导致驾驶行为分析可能不准确。

2）基于安装在车辆上的摄像头研究驾驶员行为。

缺点和困境：驾驶行为分析可能受到光照和天气条件的影响。恶劣天气、弱光或其他视觉障碍会影响图像质量，潜在地影响驾驶行为分析的准确性；

3）驾驶行为由智能手机传感器的数据确定。

缺点和困境：智能手机通常放在固定位置，例如口袋或支架，这可能并不适用于准确捕捉某些驾驶行为。固定位置可能会影响检测细微动作的能力，例如方向盘转动或踏板使用。

4）基于生理信号的驾驶状态研究主要研究驾驶员的疲劳和分心状态，但没有将生理信号直接映射到驾驶员行为的相关数据集。

缺点和困境：个体对疲劳和分心的生理反应可能有很大差异。对一个驾驶员来说可靠的指标可能对另一个驾驶员来说并不适用。这种多变性使检测疲劳或分心的通用模型的开发变得复杂。

但是，单纯依靠车辆行为数据不足以克服这些挑战。在实际驾驶过程中，驾驶员在某一时刻的内部状态往往是多种驾驶情绪的组合，而非单一的情绪。例如，当驾驶员在使用手机时感到困倦时，就会同时存在分心状态，而这些状态可能会因为另一名驾驶员的超车情况而迅速转变为愤怒的内部状态。

研究是无法清楚地标记驾驶状态，因为它们是短暂的、不可测量的。

因此，建立驾驶中的多模态生理信号人体行为数据集对于研究影响驾驶行为决策的驾驶员认知特征至关重要。

该研究利用从35名参与者收集的多模态生理数据分析驾驶行为，数据包括59通道脑电图、心电图、肌电图、GSR和眼动数据。研究将驾驶行为分为平稳驾驶、加速、减速、变道和转弯。实验确认生理数据和车辆数据均符合要求，并开发了线性判别分析（LDA）、MMPNet和EEGNet分类模型，展示生理数据与驾驶行为的相关性。

研究团队提出了用于分析驾驶行为的多模态生理数据集 (MPDB)，其规模、准确性和多模态性为自动驾驶及其他领域的研究提供了新的机会，并为交通心理学和行为研究做出贡献。

图1:多模态人体驱动因素数据采集实验装置

实验所用场景模拟北京实际路况，投影到圆形幕布上。为了更好地还原实际驾驶环境，还截取约11 km的实际路段作为模拟场景，实验路线如图1b所示 。道路场景较为丰富，包括多条直角弯道、四车道直城市道路、两车道直城市道路等，场景帧刷新率约为60 fps，模拟图像如图1c所示 。

图2:实验整体设计框架

实验采用事件相关行为反应范式，通过事件相关的多模态生理信号对各种驾驶行为进行建模（图2）。实验涵盖平稳驾驶、加速、减速、变道和转弯五类基本驾驶行为，受试者同步采集多模态生理数据（图4）。实验诱发不同驾驶行为并记录相应生理数据，具体行为包括：平稳驾驶（对照组）、加速、减速、变道和转弯。行为触发事件包括超车、前车急刹、行人过马路等，保证样本数量均衡（表2）。

表2:驾驶行为与触发事件的对应关系

驾驶行为	相应活动	标记号	每位参与者的预期样本数量
平稳驾驶	正常直线行驶	133	18
加速度	超车	135	24
缓解交通拥堵	143	24
减速	前紧急制动器	139	16
侧面前切	141	16
人行横道	145	16
车道变换	右侧有静态障碍物	131	24
左侧有静态障碍物	129	24
转向	左转标志	125	18
右转标志	127	18

触发事件发生时标记ERP，方便数据分析和研究（图3）。将不同的驾驶行为分为4种不同的案例，每位受试者完成8组实验，每组时间间隔为5-15秒，总时长约90分钟，期间安排休息以避免疲劳。被试的所有操作流程及操作过程中的生理数据均被同步记录。

图3:用于标记事件发生点的标记

图4:所有传感器的位置

图5:用于诱导人类驾驶行为的事件设置，包括加速、减速、变道和转弯

不同触发事件的设置条件和时标位置概括如下：

(1)平稳驾驶：在空旷直路上无事件发生时，车辆正常行驶作为对照组，时间标记在正常直线行驶区域内。

(2)加速：

• 超车场景：主车遇到前方慢速车（5m/s），完成超车动作，时间标记在慢速车开始行驶时（图5d）。
• 缓解拥堵场景：主车遇到堵车，前车慢速行驶50m后加速，驾驶员需加速保持不低于60km/h，时间标记在前车加速时（图5e）。

(3)减速：

• 前车紧急刹车：前车行驶50m后突然刹车，主车需减速避免追尾，时间标记在前车减速至0时（图5a）。
• 前侧车急剧变道：前侧车以0.7倍速度行驶50m后变道至主车车道，驾驶员需减速，时间标记在变道处（图5b）。
• 行人过马路：前方行人以5m/s速度过马路，驾驶员需减速，时间标记在行人开始过马路时（图5c）。

(4)换道：

静态障碍物：前方有静态障碍物，驾驶员需换道，时间标记在主车进入换道区域时，距离障碍物约100m（图5f, g）。

(5)转弯：

道路转弯标志：左转或右转标志引导驾驶员转弯，时间标记在主车进入转弯区域时，距离指示路标约100m（图5h, i）。

图6:三种典型的伪影

图7:三次制动事件的功率谱密度

图8:不同事件的EEG功率谱箱线图

图9:8通道、5个事件、20位采样对象每个时期的脑电信号

图10:所有受试者各个时期的心电图信号

图11:所有受试者每个时期的GSR信号

图12:所有受试者每个时期的肌电信号，4个通道

图13:生理信号平均值与五种驾驶行为的关联热图

图14:生理信号与五种驾驶行为变化之关联热图

图15:受试者1眼动追踪

图16:车辆参数

图17:MMPNet 模型在多模态数据和 EEG 数据之间的性能比较

图18:精度随噪声功率变化的折线图

表3:数据采集设备的主要参数

设备	参数
EEG	共模抑制比：≥120dB
EMG	基极噪声：< 1uVrms
GSR	共模抑制比：100 dB

表4:EEG 功率谱密度的统计特性

驾驶行为	刺激类型	样本大小	脑电频谱密度
Mean	Std
减速	139	430	7.0314	0.3113
141	480	7.0792	0.3026
145	415	7.016	0.309
转向	125	499	7.096	0.2849
127	503	7.0995	0.3007
车道变换	129	864	7.3345	0.2727
131	901	7.3527	0.2919
加速度	137	768	7.2833	0.3112
143	734	7.2636	0.2998
平稳驾驶	133	950	7.3757	0.3233

表5:几种验证模型的驾驶行为分类准确率

数据	Models
LDA	EEGNet	LSTM	CNN	MMPNet
仅EEG	33.5%	49.8%	58.3%	56.2%	55.7%
Multimodal Data	36.9%	57.7&	66.2%	62.5%	65.3%

说明

多模态生理信号原始数据和预处理数据均可从Figshare下载，对数据集感兴趣的用户可以在网站上注册并将数据集下载到本地。原始数据集和预处理数据集分别命名为“驾驶行为多模态人为因素原始数据集”和“驾驶行为多模态人为因素预处理数据集”。

数据集下载完成后，用户可以通过 MATLAB 的 EEGLAB 插件处理 EEG。建议研究人员在 Windows 10 或 Linux 上使用 EEGLAB 2021 版和 MATLAB R2021b。EEGLAB 可以帮助完成滤波、分割和 ICA 等 EEG 预处理步骤。EEG 信号批量预处理的代码也将在“代码可用性”中提供。EMG、GSR 和 ECG 信号的文件格式与 EEG 信号的文件格式一致，也可以通过 MATLAB 导入和处理。EMG、GSR 和 ECG 信号的批量预处理代码也将在“代码可用性”中提供。